-
Скользящие оконные функции в Pandas
Скользящие оконные функции решают фундаментальную задачу анализа временных рядов: извлечение локальных паттернов из последовательных данных. Метод основан на применении агрегирующих операций к подмножествам наблюдений фиксированного размера, которые последовательно сдвигаются вдоль временной оси. Библиотека Pandas предоставляет три типа окон для работы с временными рядами: rolling — фиксированный размер; expanding — растущее от начала; exponentially weighted —…
-
Ускорение численных вычислений в Python: Numba, JIT на примерах из Data Science
Python остается доминирующим языком в Data Science, однако его интерпретируемая природа создает узкие места при работе с большими объемами данных. Цикл длительных симуляций, обработки миллиона строк может занимать минуты там, где компилируемые языки справляются за секунды. Numba решает эту проблему через JIT-компиляцию, транслируя Python-код в машинный код во время выполнения. Библиотека особенно эффективна для задач…
-
Алгоритмы сбора биржевых данных: практическое руководство
Финансовые рынки генерируют колоссальные объемы данных: котировки тысяч активов, отчеты компаний, новостные потоки. Умение быстро и качественно собирать, обрабатывать и агрегировать эти данные — важное конкурентное преимущество. Профессиональный подход к сбору биржевых данных — это не просто загрузка котировок. Это комплексная система, включающая мониторинг источников, обработку аномалий, синхронизацию временных рядов из разных источников и построение…
-
Массивы NumPy и Pandas. Техники дескриптивного анализа
В мире анализа данных сложно переоценить важность эффективных инструментов для работы с большими массивами информации. В этой статье я хочу поделиться своим опытом использования двух фундаментальных библиотек Python для анализа данных: NumPy и Pandas, а также рассказать о техниках дескриптивного анализа, которые позволяют извлечь максимум полезной информации из имеющихся данных. Фишки NumPy: высокопроизводительные вычисления с…
-
Анализ фьючерса на Brent с помощью Pandas, Sklearn, Hmmlearn
Фьючерсы на Brent являются международным эталоном для мировых цен на нефть, их мониторят нефтяные трейдеры во всем мире. Они представляют собой контракты, которые обязывают покупателя приобрести, а продавца продать определенное количество нефти в будущем по цене, согласованной сегодня. Профессиональный анализ фьючерсов на нефть Brent может дать значительное преимущество трейдерам и инвесторам, особенно если применять современные…
-
Анализ данных с Python на примере исследования изменения температуры в мире и России
Среднегодовая температура воздуха в большинстве стран растет с каждым годом. Это факт. И виноват в этом в первую очередь человек. Ученые подтвердили связь, а также влияние человеческой деятельности на климат. Многочисленные свидетельства указывают на беспрецедентный уровень изменения климата в истории человечества. В период с 2011 по 2020 год глобальная температура поверхности Земли была примерно на…
-
RFM-анализ с помощью Python
RFM-анализ — это мощный метод сегментации клиентов, основанный на трех ключевых метриках их поведения: Recency (давность последней покупки), Frequency (частота покупок) и Monetary Value (денежная ценность клиента). За свою карьеру в области data science я убедился, что это один из самых эффективных способов понять и структурировать клиентскую базу. Каждый раз, когда я применяю RFM-анализ в…
-
Анализ данных с Python на примере инцидентов с автобусами Лондона
Лондон — это столица Великобритании и один из крупнейших городов мира. Этот город также обладает одной из самых развитых транспортных систем в мире. Лондонский метрополитен — один из крупнейших и старейших в мире, общая протяженность его сети превышает 400 км и насчитывает 270 станций. Автобусная сеть Лондона также является одной из крупнейших в мире. Она…
-
Анализ песен рейтинга Billboard Top-100 с 1958 по 2023 гг
Честно говоря, я не очень верю в рейтинги песен. Потому что музыка сегодня — это, в основном, дело вкуса. И то, что популярно в одних сообществах, не обязательно популярно в других. Однако надо признать, что такие рейтинги существуют, за ними следят, их изучают, и артисты стараются попасть в них любой ценой. Особенно если такие рейтинги…
-
Как предсказать отток клиентов с помощью машинного обучения
Клиентский отток — это одна из ключевых проблем современного бизнеса, особенно для компаний, работающих по модели подписки или регулярных продаж. В этой статье я поделюсь своим опытом и расскажу, как построить эффективную модель машинного обучения для предсказания оттока. Почему прогнозирование оттока так важно? Привлечение нового клиента обходится бизнесу в 5-25 раз дороже, чем удержание существующего.…