Локальна AI-станція: Gemma 4 + Ollama + Open WebUI

Цей проєкт дозволяє розгорнути приватну мовну модель (LLM) для роботи з кодом (Unity/C#, .NET, Python) та документацією (Obsidian) на локальному залізі з підтримкою GPU NVIDIA.

📋 Вимоги

• GPU: NVIDIA RTX 5060 16GB (або аналогічна з підтримкою CUDA)
• ОС: Windows 10/11 + WSL2 або Linux
• ПЗ: Docker Desktop + NVIDIA Container Toolkit

🏗️ Структура проєкту

ai-station/
├── docker-compose.yml    # Конфігурація сервісів
├── .gitignore            # Виключення папок з даними з Git
├── ollama_data/          # (Створюється автоматично) Моделі нейромереж
└── webui_data/           # (Створюється автоматично) База знань та чати

🚀 Швидкий старт

1. Підготовка оточення

Переконайтеся, що Docker бачить вашу відеокарту. У терміналі виконайте:

wsl nvidia-smi

2. Розгортання контейнерів

Створіть файл docker-compose.yml з наступним вмістом:

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ./ollama_data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    environment:
      - 'OLLAMA_BASE_URL=http://ollama:11434'
      - 'WEBUI_SECRET_KEY=change_me_locally'
    volumes:
      - ./webui_data:/app/backend/data
    depends_on:
      - ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

Запустіть сервіси командою:

docker compose up -d

3. Налаштування моделі

1. Перейдіть у браузері на http://localhost:3000.
2. Зареєструйте адміністратора (дані зберігаються локально).
3. Перейдіть у Settings > Models та завантажте модель: gemma4:26b.

🛠️ Робота з проєктами Unity та Obsidian

1. RAG (База знань): У меню Workspace > Documents додайте папку з вашим Unity-проєктом або нотатками Obsidian.
2. Чат: Використовуйте символ # у чаті, щоб вибрати потрібний документ або папку для контексту.
3. Код: Для Rider/VS Code встановіть плагін Continue, вказавши в налаштуваннях адресу http://localhost:11434.

⚠️ Git-безпека

Створіть файл .gitignore, щоб не завантажувати гігабайти моделей у репозиторій:

ollama_data/
webui_data/
*.log
.env