-
Виды функций потерь в машинном обучении
Функция потерь — это способ «сообщить» модели, какие ошибки наиболее критичны. Математическая формулировка напрямую влияет на поведение модели во время обучения: какие ошибки минимизируются в приоритетном порядке, как модель реагирует на выбросы и насколько агрессивно оптимизирует параметры. Оптимизация этой функции через градиентный спуск составляет основу обучения моделей машинного обучения. Разные типы задач требуют разных функций…
-
Градиенты: от затухания до взрыва. Методы стабилизации
Глубокие нейронные сети решают задачи классификации, регрессии и прогнозирования временных рядов. Обучение таких моделей основано на методе обратного распространения ошибки (backpropagation), который вычисляет градиенты функции потерь по параметрам сети. Градиенты определяют направление и величину обновления весов. Чем больше нейронная сеть, тем сложнее контролировать градиенты. В сетях с десятками слоев возникает проблема: градиенты либо экспоненциально уменьшаются…
-
Прогнозирование временных рядов с xLSTM
Классические модели прогнозирования временных рядов, такие как градиентный бустинг, хорошо работают на табличных данных и с короткими историческими окнами. Однако при анализе длинных последовательностей и рядов с взаимозависимыми признаками их эффективность драматически падает. В таких случаях стоит присмотреться к нейронным сетям, так как они лучше моделируют сложные временные зависимости. Одним из интересных решений в этой…
-
LSTM для прогнозирования волатильности: многослойные архитектуры и sequence-to-sequence подходы
В течение последних нескольких лет работы с временными рядами финансовых данных я неоднократно сталкивался с проблемой прогнозирования волатильности. Классические GARCH модели и их вариации показывают ограниченную эффективность при краткосрочных и intraday-стратегиях, особенно когда рынок демонстрирует резкие структурные сдвиги. Сегодня хочу поделиться своими наблюдениями о применении LSTM архитектур для решения этой задачи — от базовых многослойных…
-
Вероятностные модели для прогнозирования цен биржевых активов
В этой статье я хочу поделиться своим подходом к использованию вероятностных моделей для прогнозирования цен активов. Мы разберем, почему традиционные методы часто подводят, какие подходы применяют профессионалы в хедж-фондах, и как вы можете использовать Python для реализации таких моделей. Моя цель — создать подробное руководство, которое будет полезно как для профессионалов в области data science,…
-
Продвинутые методы предиктивной аналитики с глубокими нейронными сетями
В современном мире данные стали новой нефтью, а способность предсказывать будущие тенденции на их основе – критически важным конкурентным преимуществом. За последние несколько лет я реализовал десятки проектов в области предиктивной аналитики с использованием глубокого обучения и нейронных сетей, и сегодня хочу поделиться своим опытом и знаниями в этой захватывающей области. Преимущества deep learning в…