El modelo está fijado en el código (MODEL_ID = "Hermes-3-Llama-3.1-8B-q4f16_1-MLC"). En equipos con menos VRAM no se puede usar la demo.
Propuesta
- Selector con los modelos de WebLLM que soportan function calling.
- Filtrar u ordenar según la VRAM estimada que ya calculamos en el panel de capacidades.
- Recordar la elección y avisar si el modelo seleccionado no soporta tools.
A tener en cuenta
Solo los modelos de la familia Hermes tienen function calling en WebLLM. Con el resto la parte de WebMCP no funcionaría, así que hay que dejarlo claro en la UI.
El modelo está fijado en el código (
MODEL_ID = "Hermes-3-Llama-3.1-8B-q4f16_1-MLC"). En equipos con menos VRAM no se puede usar la demo.Propuesta
A tener en cuenta
Solo los modelos de la familia Hermes tienen function calling en WebLLM. Con el resto la parte de WebMCP no funcionaría, así que hay que dejarlo claro en la UI.