> Machine Learning Guru|

Высокая размерность данных создает фундаментальную проблему — датасеты с сотнями и тысячами признаков плохо обучаются в моделях машинного обучения, плюс их невозможно визуализировать, что затрудняет понимание структуры данных, выявление паттернов и валидацию гипотез.

Методы снижения размерности решают эту задачу, проецируя многомерные данные в пространство низкой размерности с сохранением важных характеристик исходного распределения.

Однако не все методы снижения размерности одинаково эффективны. Линейные методы, такие как Principal Component Analysis (PCA), эффективны для данных с линейными зависимостями. PCA находит ортогональные направления максимальной дисперсии и проецирует данные на главные компоненты. Но реальные данные часто содержат нелинейные структуры: кластеры сложной формы, многообразия произвольной топологии, иерархические зависимости. В таких случаях PCA искажает структуру данных, объединяя удаленные точки и разрывая близкие.

t-Distributed Stochastic Neighbor Embedding (t-SNE) представляет класс нелинейных методов снижения размерности. Алгоритм фокусируется на сохранении локальной структуры данных: точки, близкие в исходном пространстве, остаются близкими в визуализации. Метод особенно эффективен для выявления кластеров и групп схожих объектов, что делает его эффективным инструментом для исследовательского анализа данных в computer vision, natural language processing, биоинформатике и других областях.

Математическая основа t-SNE

Алгоритм t-SNE работает в два этапа:

1. Построение вероятностного представления сходства в исходном пространстве;
2. Оптимизация расположения точек в пространстве низкой размерности.

Ключевая идея заключается в моделировании близости между точками через условные вероятности и минимизации расхождения между распределениями в разных пространствах.

Рис. 1: Концептуальная схема работы t-SNE. Слева: исходные данные в трехмерном пространстве с тремя кластерами. В центре: процесс оптимизации через минимизацию дивергенции Кульбака-Лейблера. Справа: результат проекции в двумерное пространство с сохранением локальной структуры кластеров

Вероятностное представление сходства

В исходном многомерном пространстве для каждой пары точек i и j вычисляется условная вероятность p(j|i), которая отражает вероятность того, что точка i выберет точку j в качестве соседа. Вероятность моделируется через гауссово распределение с центром в точке i по формуле:

p(j|i) = exp(-||xᵢ — xⱼ||² / 2σᵢ²) / Σₖ≠ᵢ exp(-||xᵢ — xₖ||² / 2σᵢ²)

где:

• xᵢ, xⱼ — векторы признаков точек i и j в исходном пространстве;
• ||xᵢ — xⱼ||² — квадрат евклидова расстояния между точками;
• σᵢ — параметр масштаба гауссова распределения для точки i;
• Σₖ≠ᵢ — сумма по всем точкам кроме i (нормализация).

Формула определяет, что близкие точки получают высокую вероятность, удаленные — низкую. Параметр σᵢ индивидуален для каждой точки и определяется через гиперпараметр перплексии — perplexity.

Для симметризации вводится совместная вероятность:

pᵢⱼ = (p(j|i) + p(i|j)) / 2N

Где N — общее количество точек.

Симметризация устраняет асимметрию условных вероятностей и упрощает оптимизацию. В пространстве визуализации (обычно 2D или 3D) используется распределение Стьюдента с одной степенью свободы (распределение Коши).

Для точек yᵢ и yⱼ в низкоразмерном пространстве вероятность определяется как:

qᵢⱼ = (1 + ||yᵢ — yⱼ||²)⁻¹ / Σₖ≠ₗ (1 + ||yₖ — yₗ||²)⁻¹

где:

• yᵢ, yⱼ — координаты точек в пространстве визуализации;
• (1 + ||yᵢ — yⱼ||²)⁻¹ — ядро распределения Стьюдента;
• Σₖ≠ₗ — нормализующая константа по всем парам точек.

Использование распределения Стьюдента вместо нормального помогает решить проблему «скопления точек в толпу» (crowding problem): в пространстве низкой размерности просто не хватает места, чтобы корректно разнести все точки, сохранив исходные расстояния. Благодаря «тяжелым хвостам» распределения Стьюдента умеренно удаленные точки могут располагаться дальше друг от друга, не получая чрезмерного штрафа в функции потерь.

Рис. 2: Роль распределения Стьюдента в t-SNE. Слева: сравнение нормального распределения и распределения Стьюдента. Тяжелые хвосты распределения Стьюдента допускают большие расстояния без сильного штрафа. Справа: решение crowding problem — при проекции в низкую размерность распределение Стьюдента позволяет точкам разместиться свободнее, избегая чрезмерного сжатия

Оптимизация через дивергенцию Кульбака-Лейблера

Алгоритм минимизирует расхождение между распределениями P (исходное пространство) и Q (пространство визуализации) через дивергенцию Кульбака-Лейблера (KL дивергенцию):

KL(P||Q) = Σᵢ Σⱼ pᵢⱼ log(pᵢⱼ / qᵢⱼ)

где:

• P — распределение сходства в исходном пространстве;
• Q — распределение сходства в пространстве визуализации;
• pᵢⱼ, qᵢⱼ — совместные вероятности для пары точек i, j.

Дивергенция измеряет, насколько распределение Q отличается от P. Минимизация достигается градиентным спуском по координатам yᵢ в пространстве визуализации.

Градиент функции потерь имеет вид:

∂KL/∂yᵢ = 4 Σⱼ (pᵢⱼ — qᵢⱼ)(yᵢ — yⱼ)(1 + ||yᵢ — yⱼ||²)⁻¹

Градиент содержит два типа сил:

1. Притяжение близких точек (когда pᵢⱼ > qᵢⱼ);
2. Отталкивание удаленных точек (когда pᵢⱼ < qᵢⱼ).

Множитель (1 + ||yᵢ — yⱼ||²)⁻¹ обеспечивает, что сила взаимодействия убывает с расстоянием.

Оптимизация выполняется итеративно с использованием градиентного спуска с momentum. На практике применяют адаптивную скорость обучения и прием раннего увеличения значений (early exaggeration): на первых итерациях вероятности pᵢⱼ искусственно завышают — обычно в 4–12 раз. Это помогает точкам быстрее формировать устойчивые кластеры и снижает риск попадания в локальные минимумы.

Ключевые гиперпараметры

Качество визуализации при использовании t-SNE сильно зависит от корректной настройки гиперпараметров. Неверно выбранные значения могут привести к артефактам: искусственному разделению кластеров, объединению несвязанных групп или потере общей структуры данных.

Перплексия — влияние на структуру

Перплексия (perplexity) определяет эффективное число соседей, которое учитывается при построении локальной окрестности каждой точки. Параметр связан с энтропией условного распределения вероятностей и задается пользователем перед запуском алгоритма.

Математически перплексия вычисляется как:

Perplexity = 2^H(Pᵢ)

Где H(Pᵢ) — энтропия распределения вероятностей для точки i:

H(Pᵢ) = -Σⱼ p(j|i) log₂ p(j|i)

Другие параметры формулы:

• H(Pᵢ) — энтропия условного распределения точки i;
• p(j|i) — условная вероятность выбора точки j как соседа точки i;
• 2^H(Pᵢ) — экспоненциальное преобразование энтропии в число соседей.

Формула показывает, что перплексия представляет эффективное число точек в локальной окрестности. Для каждой точки алгоритм подбирает параметр σᵢ методом бинарного поиска так, чтобы энтропия распределения соответствовала заданной перплексии.

Выбор значения перплексии определяет баланс между локальной и глобальной структурой данных:

• Низкая перплексия (5-15) фокусируется на ближайших соседях, выявляет мелкие кластеры и локальные паттерны, но может разбить крупные группы на фрагменты;
• Высокая перплексия (50-100) учитывает более широкую окрестность, сохраняет глобальную структуру и крупные кластеры, но теряет детали локальной организации;
• Рекомендуемый диапазон 30-50 обеспечивает компромисс для большинства задач.

Для датасетов с разным размером оптимальная перплексия масштабируется: малые выборки (100-500 точек) требуют перплексию 10-30, средние (1000-5000) — 30-50, крупные (10000+) — 50-100. Превышение перплексии над количеством точек в кластере приводит к его искусственному разделению.

Рис. 3: Влияние перплексии на визуализацию t-SNE. Датасет содержит два крупных кластера (синий, оранжевый) и два мелких подкластера (зеленый, красный). При perplexity=5 крупные кластеры разбиваются на фрагменты. При perplexity=15 структура более связна, но все еще фрагментирована. При perplexity=30 достигается баланс: все группы различимы. При perplexity=50 мелкие подкластеры сливаются, детали теряются

Практический подход к выбору: запустить t-SNE с несколькими значениями перплексии (например, 10, 30, 50, 100) и сравнить визуализации. Стабильные структуры, появляющиеся при разных значениях, соответствуют реальным паттернам в данных. Артефакты, зависящие от перплексии, требуют дополнительной проверки.

Количество итераций и learning rate

Градиентная оптимизация t-SNE требует достаточного числа итераций для сходимости. Недостаточное количество итераций оставляет точки в локальных минимумах, избыточное — увеличивает время вычислений без улучшения качества.

Стандартные настройки:

• Минимум 250 итераций для простых датасетов с четкой структурой;
• 1000 итераций как базовое значение для большинства задач;
• 5000-10000 итераций для сложных данных с неочевидной структурой или большого размера.

Мониторинг сходимости выполняется через значение функции потерь KL-дивергенции. Если потери продолжают снижаться к концу оптимизации, требуется увеличить число итераций.

Learning rate контролирует размер шага в градиентном спуске. Типичные значения находятся в диапазоне 10-1000, при этом оптимальное значение зависит от размера датасета. Формула для автоматического подбора:

learning_rate = max(N / early_exaggeration / 4, 50)

где:

• N — количество точек;
• early_exaggeration — коэффициент преувеличения (обычно 12).

Для датасета из 1000 точек это дает learning_rate ≈ 200.

Слишком высокий learning rate вызывает нестабильность: точки совершают большие скачки и не успевают сформировать стабильные кластеры. Слишком низкий — замедляет сходимость и оставляет структуру недоформированной. Параметр momentum (обычно 0.5 на начальных итерациях, затем 0.8) сглаживает траектории оптимизации и ускоряет сходимость.

Early exaggeration применяется на первых 50-250 итерациях: все значения pᵢⱼ умножаются на коэффициент 4-12. Преувеличение усиливает притяжение близких точек, помогая им быстро сформировать плотные группы. После отключения преувеличения оптимизация фокусируется на тонкой настройке расположения кластеров.

Реализация на Python

Библиотека scikit-learn предоставляет эффективную реализацию t-SNE через класс TSNE. Для большей наглядности работы алгоритма, я продемонстрирую применение метода на синтетических данных с известной структурой.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from scipy.spatial.distance import pdist, squareform

# Генерация синтетических данных с 5 кластерами в 50-мерном пространстве
np.random.seed(42)
n_samples_per_cluster = 200
n_features = 50
n_clusters = 5

# Создаем кластеры с разной геометрией
clusters = []
labels = []

# Кластер 1: плотный сферический
center1 = np.random.randn(n_features) * 10
cluster1 = center1 + np.random.randn(n_samples_per_cluster, n_features) * 0.5
clusters.append(cluster1)
labels.extend([0] * n_samples_per_cluster)

# Кластер 2: вытянутый эллипсоид
center2 = np.random.randn(n_features) * 10
cluster2 = center2 + np.random.randn(n_samples_per_cluster, n_features)
cluster2[:, :10] *= 3  # Растягиваем первые 10 измерений
clusters.append(cluster2)
labels.extend([1] * n_samples_per_cluster)

# Кластер 3: два связанных подкластера
center3 = np.random.randn(n_features) * 10
subcluster3a = center3 + np.random.randn(n_samples_per_cluster // 2, n_features) * 0.7
subcluster3b = center3 + np.array([2] * n_features) + np.random.randn(n_samples_per_cluster // 2, n_features) * 0.7
cluster3 = np.vstack([subcluster3a, subcluster3b])
clusters.append(cluster3)
labels.extend([2] * n_samples_per_cluster)

# Кластер 4: разреженный
center4 = np.random.randn(n_features) * 10
cluster4 = center4 + np.random.randn(n_samples_per_cluster, n_features) * 2
clusters.append(cluster4)
labels.extend([3] * n_samples_per_cluster)

# Кластер 5: высокоразмерная структура
center5 = np.random.randn(n_features) * 10
cluster5 = center5 + np.random.randn(n_samples_per_cluster, n_features) * 1.2
clusters.append(cluster5)
labels.extend([4] * n_samples_per_cluster)

# Объединяем данные
X = np.vstack(clusters)
y = np.array(labels)

# Стандартизация признаков
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# Визуализации
fig = plt.figure(figsize=(16, 5))

# 1. PCA проекция (линейное снижение размерности)
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

ax1 = plt.subplot(131)
colors_map = ['#2E2E2E', '#4A4A4A', '#666666', '#8C8C8C', '#B0B0B0']
for i in range(n_clusters):
    mask = y == i
    ax1.scatter(X_pca[mask, 0], X_pca[mask, 1],
                c=colors_map[i], label=f'Cluster {i+1}',
                s=20, alpha=0.7, edgecolors='white', linewidth=0.3)

ax1.set_xlabel(f'PC1 ({pca.explained_variance_ratio_[0]:.1%} variance)', fontsize=10)
ax1.set_ylabel(f'PC2 ({pca.explained_variance_ratio_[1]:.1%} variance)', fontsize=10)
ax1.set_title('PCA проекция (линейная)\nИсходное 50D пространство', 
              fontsize=11, fontweight='bold')
ax1.legend(loc='best', fontsize=8, framealpha=0.9)
ax1.grid(True, alpha=0.3)

# 2. Матрица расстояний (heatmap)
# Берем подвыборку для читаемости (по 40 точек из каждого кластера)
sample_indices = []
for i in range(n_clusters):
    cluster_indices = np.where(y == i)[0]
    sample_indices.extend(np.random.choice(cluster_indices, 40, replace=False))

X_sample = X_scaled[sample_indices]
y_sample = y[sample_indices]

# Вычисляем попарные расстояния
distances = squareform(pdist(X_sample, metric='euclidean'))

# Сортируем по кластерам для наглядности
sorted_indices = np.argsort(y_sample)
distances_sorted = distances[sorted_indices][:, sorted_indices]

ax2 = plt.subplot(132)
im = ax2.imshow(distances_sorted, cmap='viridis', aspect='auto')
ax2.set_xlabel('Индекс точки (сортировка по кластерам)', fontsize=10)
ax2.set_ylabel('Индекс точки (сортировка по кластерам)', fontsize=10)
ax2.set_title('Матрица попарных расстояний\nИсходное 50D пространство', 
              fontsize=11, fontweight='bold')

# Добавляем разделители между кластерами
for i in range(1, n_clusters):
    pos = i * 40 - 0.5
    ax2.axhline(pos, color='red', linewidth=1.5, alpha=0.7)
    ax2.axvline(pos, color='red', linewidth=1.5, alpha=0.7)

plt.colorbar(im, ax=ax2, label='Евклидово расстояние')

# 3. t-SNE проекция (нелинейная)
tsne = TSNE(n_components=2, perplexity=50, n_iter=1000, 
            learning_rate=200, random_state=42, init='random')
X_tsne = tsne.fit_transform(X_scaled)

ax3 = plt.subplot(133)
for i in range(n_clusters):
    mask = y == i
    ax3.scatter(X_tsne[mask, 0], X_tsne[mask, 1],
                c=colors_map[i], label=f'Cluster {i+1}',
                s=20, alpha=0.7, edgecolors='white', linewidth=0.3)

ax3.set_xlabel('t-SNE Component 1', fontsize=10)
ax3.set_ylabel('t-SNE Component 2', fontsize=10)
ax3.set_title('t-SNE проекция (нелинейная)\nСохранение локальной структуры', 
              fontsize=11, fontweight='bold')
ax3.legend(loc='best', fontsize=8, framealpha=0.9)
ax3.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

Рис. 4: Сравнение методов визуализации высокоразмерных данных. Слева: PCA проекция показывает линейную структуру, кластеры сильно перекрываются (объясняет только 13% дисперсии). В центре: матрица попарных расстояний в исходном 50-мерном пространстве с блочной структурой, соответствующей пяти кластерам. Справа: t-SNE визуализация четко разделяет все кластеры, сохраняя локальную структуру данных

Код создает синтетический датасет из 1000 точек в 50-мерном пространстве с 5 кластерами разной геометрии: плотный сферический, вытянутый эллипсоид, кластер с двумя связанными подгруппами, разреженный и кластер со стандартной структурой. Такое разнообразие форм позволяет оценить способность t-SNE сохранять различные типы локальной структуры.

Стандартизация данных с помощью StandardScaler является обязательным шагом: t-SNE чувствителен к масштабу признаков, и различия в их дисперсии могут сильно исказить вычисляемые расстояния. После стандартизации все признаки приводятся к нулевому среднему и единичной дисперсии.

Визуализация демонстрирует три подхода к снижению размерности:

1. PCA проекция показывает ограничения линейных методов: первые два главных компонента объясняют лишь 13-15% дисперсии данных, кластеры сильно перекрываются и их границы размыты. Это происходит потому, что PCA ищет направления максимальной дисперсии, игнорируя нелинейные зависимости между точками.
2. Матрица попарных расстояний отображает структуру данных в исходном 50-мерном пространстве. Точки отсортированы по кластерам, что создает характерную блочную структуру: темные квадраты вдоль диагонали соответствуют малым внутрикластерным расстояниям, светлые области между блоками — большим межкластерным расстояниям. Красные линии разделяют кластеры. Матрица подтверждает, что в исходном пространстве кластеры действительно разделены, но визуализировать эту структуру напрямую невозможно из-за высокой размерности.
3. t-SNE проекция с perplexity=50 четко разделяет все пять кластеров в двумерном пространстве. Алгоритм сохраняет локальную структуру: точки, близкие в исходном 50-мерном пространстве, остаются близкими на визуализации. Кластер 3 демонстрирует структуру из двух связанных подгрупп, что соответствует способу генерации данных. Разреженный кластер 4 занимает большую площадь, отражая его низкую плотность в исходном пространстве.

Сравнение трех методов иллюстрирует ключевое преимущество t-SNE: способность выявлять нелинейные структуры, которые линейные методы не различают. PCA оптимален для данных с линейными зависимостями, но теряет информацию при сложной геометрии кластеров. t-SNE фокусируется на сохранении локальных окрестностей, что делает метод эффективным для визуализации данных с произвольной топологией.

Практическое применение

Метод t-SNE используется на этапе исследовательского анализа данных для выявления скрытых паттернов, валидации предположений о структуре данных и оценки качества признаков. Метод дополняет количественные метрики качественной визуальной интерпретацией.

Анализ структуры данных и кластеризация

Визуализация многомерных данных через t-SNE позволяет выявить естественные группировки объектов до применения алгоритмов кластеризации. Если на визуализации наблюдаются четко разделенные кластеры, это указывает на существование дискретных групп в исходных данных. Размытые границы или континуум точек говорят о плавных переходах между состояниями.

В задачах анализа текстов t-SNE применяется к векторным представлениям документов (TF-IDF, word embeddings, document embeddings). Визуализация показывает семантическую близость текстов: документы схожей тематики формируют кластеры, выбросы указывают на уникальный контент. Это помогает оценить качество тематической модели или выявить ошибки в разметке данных.

В компьютерном зрении метод визуализирует признаки, извлеченные из изображений нейросетью. Промежуточные слои CNN создают высокоразмерные представления (512-2048 измерений), которые t-SNE проецирует в 2D. Изображения одного класса должны группироваться вместе, перекрытие кластеров указывает на визуальную схожесть классов и потенциальные ошибки классификации.

Биоинформатика использует t-SNE для анализа данных секвенирования: single-cell RNA-seq датасеты содержат экспрессию тысяч генов для каждой клетки. Визуализация выявляет субпопуляции клеток, траектории дифференциации и редкие типы клеток. Метод стал стандартом для представления результатов в научных публикациях по молекулярной биологии.

Выбор числа кластеров для последующего применения k-means или DBSCAN основывается на визуальной оценке: подсчитывается количество четко разделенных групп на t-SNE визуализации. Этот подход более надежен, чем формальные метрики типа метода «локтя» (elbow method), особенно когда кластеры имеют разную плотность или размер.

Инжиниринг признаков и валидация

t-SNE служит инструментом валидации сконструированных признаков. После создания новых фич проверяется, улучшают ли они разделимость классов в задаче классификации. Исходный датасет и датасет с добавленными признаками визуализируются отдельно: если новые признаки полезны, кластеры целевых классов становятся более компактными и разделенными.

Детекция аномалий усиливается визуальным анализом: выбросы на t-SNE визуализации часто соответствуют аномальным объектам. Точки, находящиеся далеко от любого кластера или образующие крошечные изолированные группы, требуют дополнительной проверки. Это помогает отличить истинные аномалии от шума в данных.

Оценка качества embeddings в NLP задачах выполняется через визуализацию векторных представлений слов или предложений. Синонимы и семантически близкие слова должны располагаться рядом, антонимы — на противоположных сторонах пространства. Для word2vec или BERT embeddings t-SNE показывает, насколько хорошо модель захватила семантические отношения.

Балансировка классов проверяется визуально: в несбалансированных датасетах редкие классы могут теряться на фоне мажоритарного класса. t-SNE визуализация показывает, насколько сильно перекрываются классы и есть ли у минорных классов четкая структура. Это информирует решения о применении техник ресемплинга или взвешивания классов.

Ограничения t-SNE

t-SNE имеет фундаментальные ограничения, которые необходимо учитывать при интерпретации результатов:

1. Нарушение глобальной структуры. t-SNE не сохраняет глобальные расстояния: далекие кластеры могут оказаться рядом, поэтому интерпретировать нужно только локальные группы;
2. Недетерминированность. Разные запуски дают разные проекции. Чтобы выделить устойчивые структуры, t-SNE запускают несколько раз и сравнивают результаты;
3. Высокая вычислительная сложность. Алгоритм O(N² log N) плохо масштабируется. Для больших датасетов используют FIt-SNE, openTSNE или предварительное сжатие PCA;
4. Нет трансформации для новых данных. Нельзя «добавить» новые точки без полного перерасчета — в отличие от PCA. Это ограничивает применение в потоковых задачах;
5. Чувствительность к гиперпараметрам. Неверные значения перплексии или числа итераций вызывают артефакты: разрывы, слияние или искажение кластеров. Требуется подбор параметров;
6. Метод непригоден для количественного анализа. Координаты не имеют самостоятельного значения, важны только относительные расстояния и визуальные структуры.

Заключение

t-SNE является мощным инструментом для эксплораторного анализа, визуализации высокоразмерных данных и выявления локальных структур. Метод особенно полезен для качественного анализа кластеров, выявления закономерностей и предварительной оценки распределений. Однако его ограничения требуют внимательного подхода.

Для получения надежных результатов рекомендуется запускать t-SNE несколько раз, подбирать оптимальные параметры, использовать ускоренные реализации для больших выборок и комбинировать с методами снижения размерности, такими как PCA. При соблюдении этих правил t-SNE позволяет получать информативные и наглядные визуализации, которые помогают лучше понять структуру сложных данных и принять обоснованные решения.