Детектирование аномалий во временных рядах методами больших языковых моделей

Дипломная работа, магистратура ИИ, ФКН ВШЭ.
Руководитель: Гущин Михаил Иванович

Цели и задачи

Основная цель

Современные фундаментальные модели (MOMENT, TimeRCD) по‑разному представляют многомерные временные ряды на входе, однако систематического сравнения этих стратегий не проводилось. В работе исследуются три подхода к обработке каналов, и предлагается собственная стратегия смешивания (channel‑mixing), которая объединяет все каналы в одном токене.

Задачи

• Исследование и обзор стратегий представлений мультиканальных рядов на входе трансформера
• Реализация, оценка и сравнение стратегий
• Разработка рекомендаций по применению той или иной стратегии

Результат

• Предложена и реализована стратегия channel‑mixing с аддитивными канальными представлениями
• Проведено систематическое сравнение трёх стратегий в единой экспериментальной методологии
• Смешивание устойчиво превосходит альтернативы: средний F1 = 0.710 против 0.623 (независимая) и 0.500 (вытягивание)
• Вытягивание (основа TimeRCD) оказалось наименее эффективным при обучении с нуля
• Сформулированы практические рекомендации по выбору стратегии в зависимости от числа каналов, силы межканальных связей и требований к полноте

Таблица 1. Результаты экспериментов для стратегии вытягивания

Метрика	Global	Contextual	Seasonal	Shapelet	Trend	Среднее
RMSE	0.1731	0.1419	0.2090	0.1390	0.2244	0.1775
MAE	0.1112	0.1043	0.1275	0.1068	0.1368	0.1173
AUC-ROC	0.9870	0.8682	0.8922	0.7281	0.8570	0.8665
F1	0.8770	0.5951	0.4975	0.3690	0.4598	0.5597
Precision	0.9446	0.8612	0.9579	0.8507	0.7076	0.8644
Recall	0.8185	0.4546	0.3360	0.2356	0.3405	0.4370

Таблица 2. Результаты экспериментов для независимой стратегии

Метрика	Global	Contextual	Seasonal	Shapelet	Trend	Среднее
RMSE	0.1649	0.1289	0.3438	0.1315	0.2867	0.2112
MAE	0.1029	0.0940	0.2691	0.1002	0.1851	0.1503
AUC-ROC	0.9777	0.8770	0.8098	0.7469	0.8777	0.8578
F1	0.9032	0.6201	0.5767	0.4094	0.7230	0.6465
Precision	0.9700	0.7550	0.8790	0.8700	0.8760	0.9060
Recall	0.8449	0.5261	0.4291	0.2677	0.6015	0.5339

Таблица 3. Результаты экспериментов для стратегии смешивания

Метрика	Global	Contextual	Seasonal	Shapelet	Trend	Среднее
RMSE	0.1565	0.1164	0.1869	0.1155	0.3523	0.1855
MAE	0.0950	0.0825	0.0980	0.0860	0.1252	0.0973
AUC-ROC	0.9770	0.8904	0.9341	0.8051	0.9586	0.9130
F1	0.9218	0.7166	0.7619	0.4188	0.7387	0.7096
Precision	0.9900	0.8725	1.0000	0.8900	0.9800	0.9465
Recall	0.8624	0.6080	0.6154	0.2738	0.5927	0.5905

Таблица 4. Сравнение стратегий по средним значениям метрик

Метрика	Вытягивание	Независимая	Смешивание
RMSE	0.1775	0.2112	0.1855
MAE	0.1173	0.1503	0.0973
AUC-ROC	0.8665	0.8578	0.9130
F1	0.5597	0.6465	0.7096
Precision	0.8644	0.9060	0.9465
Recall	0.4370	0.5339	0.5905

Дополнительно

В репозитории доступна итоговая презентация.

В папке res-img собраны визуализации результатов для каждого набора данных