從 Andrej Karpathy 的 Repo 循序漸進學習深度學習與 LLM 的底層實作。每個階段聚焦一個核心 Repo，用筆記逐篇拆解原始碼。
📖 線上閱讀站：https://andrej-karpathy-tech.vercel.app/
這也是一個 Obsidian Vault — clone 下來用 Obsidian 開啟資料夾即可開始閱讀。
| Phase | 資料夾 | Repo | 主題 |
|---|---|---|---|
| 1 | 01-micrograd | micrograd | 自動微分與反向傳播 |
| 2 | 02-microgpt | microgpt Gist | 純 Python GPT 核心 |
| 3 | 03-nanochat | nanochat | 完整 LLM 訓練流程 |
| 4 | 04-llama2.c | llama2.c | C 語言模型推理 |
| 5 | 05-llm.c | llm.c | CUDA 底層訓練 |
| 6 | 06-autoresearch | autoresearch | AI Agent 自動實驗 |
| 7 | 07-LLM-Wiki | LLM Wiki Gist | 知識庫方法論 |
從零實現反向傳播。micrograd 以約 100 行 Python 建構自動微分引擎，是理解深度學習最純粹的起點。
→ 01-micrograd/index-micrograd
用純 Python（無 PyTorch）實現 GPT。microgpt 把 Transformer 架構縮減到極致，專注呈現核心演算法。
nanochat 涵蓋從預訓練、指令微調到對齊（Alignment）的完整生命週期，用最少預算跑完 ChatGPT 流程。
llama2.c 在單一 C 檔案中實作 Llama 2 推理，不需任何依賴即可在 CPU 上運行大模型。
llm.c 用純 C + CUDA 訓練 GPT-2，效能超越主流框架。深入 GPU 並行運算與記憶體管理。
autoresearch 讓 AI Agent 自動修改程式碼與超參數，進行架構搜索與實驗迭代。
→ 06-autoresearch/index-autoresearch
LLM Wiki 概念：用 AI Agent 自動維護個人 Markdown 知識庫（Second Brain），三層結構（Raw → Wiki → Schema）。
git clone https://github.com/shumingyang-opencode/AndrejKarpathy-Tech.git用 Obsidian → 「開啟其他保管庫」→ 「開啟資料夾作為保管庫」→ 選取本專案目錄。
所有筆記皆為 .md 格式，支援 [[wiki-link]]、標籤、圖譜檢視。
AndrejKarpathy-Tech/
├── 01-micrograd/ # Phase 1
├── 02-microgpt/ # Phase 2
├── 03-nanochat/ # Phase 3
├── 04-llama2.c/ # Phase 4
├── 05-llm.c/ # Phase 5
├── 06-autoresearch/ # Phase 6
├── 07-LLM-Wiki/ # Phase 7
├── _private/ # 私有文件（不公開到網站）
├── .vitepress/ # VitePress 設定
├── package.json
├── vercel.json
└── README.md
Andrej Karpathy 是深度學習領域知名的教育家與研究者。他曾是 OpenAI 的 founding member、Tesla 的 AI 總監（領導 Autopilot 視覺團隊），目前重返 OpenAI。他以其極簡、從零實作的教學風格聞名——從史丹佛 CS231n 課程到 micrograd / nanoGPT 系列專案，影響了無數 AI 開發者。
MIT
- 學習路徑建議服務：learning-path-advisor — 依角色推薦教學網站學習路徑