Skip to content

Improve SmartRouter #23

@apenab

Description

@apenab

Smart Router para RLM (Hybrid / Adaptive Router)

Mirar el prompt en milisegundos y decide si usar el LLM normal (baseline) o activar el modo **RLM completo + REPL

  • Decisión ultra-rápida: un modelo pequeño (1-3B) o incluso reglas heurísticas simples deciden en <50 ms.
  • Criterios clave:
    • Longitud del input
    • Complejidad y número de subtareas detectadas
    • Tipo de tarea (QA simple vs análisis profundo, coding, investigación larga…)
    • Score de confianza del modelo base
  • Ahorro brutal: 70-90 % menos tokens y latencia en queries normales (solo pagas el overhead de RLM cuando realmente vale la pena).
  • Combo perfecto: con RAG (como filtro) + paralelismo (llm_batch()) se vuelve casi imbatible.

Implementaciones más trending y activas

  1. rand/rlm-claude-code ← la más explícita y trending
    Incluye una sección dedicada a Smart router con config avanzada (root model vs recursive models) y ya funciona con Claude + RLM.
    https://github.com/rand/rlm-claude-code
    (ver el archivo: rlm-claude-code-spec.md)

  2. rileyseaburg/codetether-agent ← muy activo en “RLM Router Enhancement”
    Trabajo específico en routing adaptativo para agentes RLM.
    https://github.com/rileyseaburg/codetether-agent

  3. Prime Intellect – RLMEnv (la base más fuerte y usada en producción)
    Soporta dispatch y paralelismo nativo. La mayoría de forks construyen su Smart Router encima de aquí.
    https://github.com/PrimeIntellect-ai/verifiers (busca rlm_env.py)

Otras tendencias calientes:

  • Difficulty-aware routing (inspirado en papers como RADAR y ODAR)
  • Routers con modelos pequeños (1B-3B) como primer filtro

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions