-
Градиенты: от затухания до взрыва. Методы стабилизации
Глубокие нейронные сети решают задачи классификации, регрессии и прогнозирования временных рядов. Обучение таких моделей основано на методе обратного распространения ошибки (backpropagation), который вычисляет градиенты функции потерь по параметрам сети. Градиенты определяют направление и величину обновления весов. Чем больше нейронная сеть, тем сложнее контролировать градиенты. В сетях с десятками слоев возникает проблема: градиенты либо экспоненциально уменьшаются…
-
LSTM для прогнозирования волатильности: многослойные архитектуры и sequence-to-sequence подходы
В течение последних нескольких лет работы с временными рядами финансовых данных я неоднократно сталкивался с проблемой прогнозирования волатильности. Классические GARCH модели и их вариации показывают ограниченную эффективность при краткосрочных и intraday-стратегиях, особенно когда рынок демонстрирует резкие структурные сдвиги. Сегодня хочу поделиться своими наблюдениями о применении LSTM архитектур для решения этой задачи — от базовых многослойных…
-
Нейросети для прогнозирования последовательных данных
В мире, где объемы данных растут экспоненциально, способность точно прогнозировать будущие значения становится не просто конкурентным преимуществом, а необходимостью. Для решения этой задачи все больше компаний внедряют машинное обучение. И самым передовым подходом машинного обучения являются нейронные сети. Нейросети сегодня применяются для разного круга задач: детекция изображений, генерация текста и изображений, саммаризация и т. д.…
-
Что такое градиентный спуск и как он используется для оптимизации функций?
Градиентный спуск — это не просто метод оптимизации. Это философия поиска оптимума, основанная на понимании локальной геометрии функции потерь. Алгоритм этого метода довольно прост: движение в направлении, противоположном градиенту, с целью прийти к минимуму. Однако за этой простотой скрывается удивительная глубина, которую я постараюсь раскрыть в этой статье. Математические основы: геометрия оптимизации Прежде чем погружаться…
-
Foundation-модели для временных рядов
В последние годы я наблюдаю значительный прогресс исследований в области анализа временных рядов. В том числе в ML-моделях. То, что раньше требовало месяцев кропотливой работы, связанной с генерацией признаков и тонкой настройки специализированных моделей, теперь может быть решено с помощью Foundation-моделей буквально за несколько часов. Эта технология не просто улучшает точность прогнозов — она полностью…