Skip to content

Feat/metricas spider - #5

Merged
Petroncini merged 11 commits into
devfrom
feat/metricas_spider
May 7, 2026
Merged

Petroncini merged 11 commits into
devfrom
feat/metricas_spider

Conversation

@Petroncini

Copy link
Copy Markdown
Collaborator

Merge para dev da branch de métricas spider. Alterações:

  • avaliação do modelo com métricas spider
  • refinamento do prompt do crítico
  • historico de tentativas no grafo
  • bigfix: limite de retentativas do critico

JonasMelo21 and others added 11 commits April 6, 2026 21:19
- Novo módulo src/spider/ com data_loader, query_executor, metrics, csv_reporter
- Script scripts/test_spider_eval.py para avaliar agente contra 1.034 exemplos
- Rastreia cada tentativa individualmente em CSV (1 linha por tentativa)
- Calcula similarity score, resultado match, feedback do crítico
- Suporta filtrar por db_id, seed, sample-size, max-attempts
- Gera resumo com estatísticas por pergunta
- Atualiza documentação: DESENVOLVIMENTO.md e README.md
…ifiquei o prompt do crítico para ser menos crítico
@Petroncini
Petroncini merged commit 2a08f47 into dev May 7, 2026
2 of 3 checks passed
@Petroncini
Petroncini deleted the feat/metricas_spider branch May 11, 2026 18:37
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

3 participants