[Книга][Рашка С.] Строим LLM с нуля [RUS, 2025]

Оригинальные искодные коды:
https://github.com/rasbt/LLMs-from-scratch

Оглавление:

1. ✅ Знакомство с большими языковыми моделями
2. ✅ Работа с текстовыми данными
3. Программирование механизмов внимания
4. Создание GPT-подобной модели для генерации текста с нуля
5. Предварительное обучение на неразмеченных данных
6. Тонкая настройка по классификации
7. Тонкая настройка по инструкциям

Python Environment Setup Video

$ mkdir -p ~/projects/dev/ml/llm
$ cd ~/projects/dev/ml/llm
$ git clone https://github.com/webmakaka/Build-a-Large-Language-Model-From-Scratch
$ cd Build-a-Large-Language-Model-From-Scratch/

$ pip install uv
$ uv venv --python=python3.12
$ source .venv/bin/activate
$ uv pip install -r requirements.txt
$ uv run jupyter lab