Вот некоторые официальные репозитории и важные ресурсы, связанные с большими-масочными языковыми моделями (LLM-MLM):
Примеры кодовых репозиториев:
- Пример реализации RAG с GigaChat: https://github.com/SweetB0nes/RAG_GigaChat/tree/main
- Проект DeepHack.Agents (потенциально связанный с LLM): https://github.com/Syrenny/DeepHack.Agents_2024/tree/main
Ключевые статьи и объяснения:
- Обзор концепций LLM: https://habr.com/ru/articles/791034/
- Практические применения и идеи: https://habr.com/ru/articles/823568/
- Пример реализации с кодом: https://habr.com/ru/companies/X5Tech/articles/834832/
Основные концепции:
- Понимание векторизации: https://habr.com/ru/articles/778048/
- Формирование баз знаний для LLM: https://github.com/hundredblocks/concrete_NLP_tutorial/blob/master/NLP_notebook.ipynb
Архитектуры моделей и вариации:
- Аналоги BERT: https://habr.com/ru/articles/680986/
- BERT и маскированное языковое моделирование (MLM): https://towardsdatascience.com/how-to-use-bert-from-the-hugging-face-transformer-library-d373a22b0209/
- Изучение различных архитектур LLM: https://habr.com/ru/companies/just_ai/articles/733110/
Обширные ресурсы:
- Awesome LLM - Курируемый список языковых моделей: https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file
- Connected Papers - Граф научной литературы по языковым моделям: https://www.connectedpapers.com/main/df2b0e26d0599ce3e70df8a9da02e51594e0e992/graph
Визуализации и смежные концепции:
- Визуализация векторных представлений слов (Word2Vec): https://habr.com/ru/articles/446530/
- Последние достижения в нейронных сетях (MLP и KAN): https://habr.com/ru/news/811619/