LLaMA-Factory + Unsloth テンプレート

LLaMA-FactoryとUnslothを組み合わせた高速でLLMのファインチューニングを行えるテンプレート

環境

• OS: Ubuntu 20.04+ / WSL2
• Python: 3.11以上
• CUDA: 12.x
• GPU: NVIDIA GPU
• uv: Pythonパッケージマネージャー

クイックスタート

1. リポジトリをクローン

git clone git@github.com:Yuji181181/LLamaFactory-Unsloth-template.git
cd LLamaFactory-Unsloth-template

2. 環境構築

chmod +x setup.sh
./setup.sh

これで以下がインストールされます：

• LLaMA-Factory（最新版）
• Unsloth（2026.1.2+）
• PyTorch（CUDA対応）
• その他120+の依存パッケージ

所要時間: 約5-10分

3. アクティベート

cd LLaMA-Factory
source .venv/bin/activate

4. Web UIの起動

DISABLE_VERSION_CHECK=1 llamafactory-cli webui

ブラウザで http://127.0.0.1:7860 が自動的に開きます。

5. Unslothを有効化

Web UIの上部にある Booster ドロップダウンで unsloth を選択してください。

6. モデルのダウンロード

付属のスクリプトを使って、Unslothの軽量モデルなどをダウンロードします。

1. download_models.sh を開き、MODEL_ID をダウンロードしたいモデルに変更します。

   MODEL_ID="unsloth/Llama-3.2-3B-Instruct"

2. スクリプトを実行します。

   chmod +x download_models.sh
   ./download_models.sh

7. Web UIでのモデル設定

ダウンロードしたモデルを使用するには、Web UIで以下のように設定します。

1. Model name: （空欄またはCustom）
2. Model path: ダウンロードしたモデルの絶対パスを入力
   • 例: /home/haseg/GitHub/LLamaFactory-Unsloth-template/models/Llama-3.2-3B-Instruct
   • ※右側のフォルダアイコンから選択すると確実です。

---

ディレクトリ構成

/home/haseg/GitHub/LLamaFactory-Unsloth-template/
├── LLaMA-Factory/        (LLaMA-Factory本体)
│   └── data/             <-- 2. 合成データセット配置場所 (.json / .jsonl)
│       └── dataset_info.json  <-- データセット登録用ファイル
├── models/               <-- 3. 事前学習済み モデル配置場所
├── scripts/              <-- 1. 合成データ生成プログラム配置場所
└── setup.sh              

1. 合成データ生成プログラム

• 配置場所: scripts/ ディレクトリ
• ここにデータ作成用のPythonスクリプトなどを配置します。

2. 作成した合成データ

• 配置場所: LLaMA-Factory/data/ ディレクトリ
• 生成したデータ（例: my_synth_data.json）はここに移動または保存します。
• 保存後、同ディレクトリ内の dataset_info.json にデータセット情報を登録する必要があります。

3. 事前学習済みモデル

• 配置場所: models/ ディレクトリ
• UnslothやHugging Faceからダウンロードしたモデルフォルダをここに配置します。
• Web UIの "Model path" には、このディレクトリ内の各モデルフォルダの絶対パス（例: /home/haseg/GitHub/LLamaFactory-Unsloth-template/models/Llama-3-8B-Unsloth）を指定します。

---