Default-LLM mistral-small3.2:24b passt nicht in 16 GB VRAM → 38% CPU-Offload → Ingest extrem langsam

[markus7h]

Problem

Auf der RTX 5080 (16 GB) belegt mistral-small3.2:24b ~18 GB und läuft mit 38% CPU / 62% GPU Offload (ollama ps; GPU 13,4/16,3 GB voll). Die Extraktion wird dadurch so langsam, dass ein Ingest von ~48 Dokumenten weit über den MCP-Timeout hinaus läuft (→ #1). Das Modell selbst ist dauerhaft geladen (UNTIL=Forever), es ist reines Durchsatz-Problem, kein Ladeproblem.

Fix-Vorschlag

• Default auf ein Modell, das voll auf 16 GB GPU passt (7–14B-Klasse), oder
• VRAM-Anforderung + MAX_ASYNC-Empfehlung in README dokumentieren; model_check.sh um eine VRAM-/Offload-Warnung ergänzen.