Skip to content

v0.1 e além: motor, sete adaptadores, catálogo CSV, estimativa de cobertura - #1

Merged
luccas-amorim merged 2 commits into
mainfrom
claude/busy-einstein-u4i274
Oct 4, 2026
Merged

luccas-amorim merged 2 commits into
mainfrom
claude/busy-einstein-u4i274

Conversation

@luccas-amorim

@luccas-amorim luccas-amorim commented Oct 4, 2026 •

Copy link
Copy Markdown
Owner

O que entra

Motor, só biblioteca padrão, 100 testes sem rede:

  • captura com .part e sentinela; corpus por hash do texto, ou nenhum texto guardado ("guardar_texto": false)
  • léxico como dado (exemplos/lexico.schema.json), casamento sem acento e sem caixa, por palavra inteira, com exclusões, categorias e reticências (art. 121 … Código Penal casa art. 121, § 2º, IV, do Código Penal)
  • triagem em níveis 0 a 3, com motivo e trecho; nada é apagado
  • estado por fonte com pendentes: item que falhou volta em toda rodada, mesmo fora da janela
  • saídas: JSONL (itens, aceitos, pede juízo), relatório completo e resumo, catálogo CSV cumulativo (id, url, identificadores)
  • cliente HTTP: identifica o projeto, obedece limite e robots.txt, acusa BloqueadoPorPais
  • CLI: rodar, retriar, estimar, validar-lexico

Adaptadores

Fonte
rss RSS 2.0 e Atom
datajud API pública do CNJ (técnica do Dikemetria); margem de 30 dias e tempo limite de 180 s, medidos no STM
djen Diário de Justiça Eletrônico Nacional; ementa como destaque; destinatários descartados na listagem
lista tabela HTML que muda devagar (teses, súmulas); linha alterada ganha id novo
wayback servidor CDX por domínio, filtro no endereço, paginação por resumeKey
openalex produção acadêmica; chave por OPENALEX_API_KEY
gdelt notícias na janela de 90 dias; dia cheio repartido em faixas de 6 h

argos estimar: captura e recaptura entre canais (Chapman par a par, Chao como piso), canal pelo prefixo do id da fonte, estratos declarados na configuração e --desde para alinhar no tempo.

Docs: docs/jurisprudencia.md (o que se mediu das fontes judiciais), docs/precatorios.md (cenários para decidir a expansão). Os planos de uso foram para os consumidores: AtlasPen (.superpowers/specs/) e observatory.

Medido em 04/10/2026

  • DataJud (STM): índice com atraso (mais recente: 23/09) e lento (22 a 40 s por consulta). A resposta real, gravada como fixture, corrigiu a leitura dos complementos de movimento.
  • DJEN e dados abertos do STJ recusam conexão de fora do Brasil.

Como conferir

pip install -e ".[dev]"
ruff check . && ruff format --check . && pytest -q
python -m argos validar-lexico exemplos/lexico.exemplo.json

🤖 Generated with Claude Code

https://claude.ai/code/session_01Nztke5ztyPC5aFNL3kqbsB

claude added 2 commits October 4, 2026 02:26
O motor descrito no README, inteiro e testado sem rede:

- captura com .part e sentinela; corpus por hash do texto
- léxico como dado, com schema publicado e validador que não diverge dele;
  casamento sem acento, sem caixa, por palavra inteira, com exclusões e
  categorias de catalogação
- triagem em níveis 0 a 3 com motivo e trecho; nada é apagado
- estado por fonte com pendentes: item que falhou é tentado de novo em
  toda rodada, mesmo fora da janela de datas
- saídas JSONL (itens, aceitos, pede juízo), relatório completo e resumo
- cliente HTTP que identifica o projeto, obedece limite e robots.txt
- CLI: rodar, retriar (léxico novo sobre o corpus, sem rede),
  validar-lexico; códigos de saída 0, 2 e 3

Adaptadores: rss (RSS 2.0 e Atom) e datajud (técnica do Dikemetria).
Primeira rodada real contra o DataJud do STM: o índice carrega com
atraso e é lento, daí margem de 30 dias e tempo limite de 180 s. A
resposta real gravada como fixture corrigiu a leitura dos complementos
de movimento.

docs/jurisprudencia.md e docs/carandiru.md respondem o que dá e o que
não dá para fazer em cada uso, com fontes e ordem de trabalho.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Nztke5ztyPC5aFNL3kqbsB
- djen: Diário de Justiça Eletrônico Nacional, portado do Dikemetria. Um
  dia por vez, filtro por tribunal, tipo de documento e texto da API; a
  ementa do acórdão vira destaque do nível 3. Destinatários (partes e
  advogados) descartados já na listagem: nunca chegam ao estado nem ao
  corpus.
- BloqueadoPorPais: o DJEN recusa conexões de fora do Brasil (CloudFront,
  medido em 04/10/2026); o cliente HTTP agora diz isso em vez de um 403
  genérico.
- Catálogo CSV cumulativo (id, url, identificadores), pedido pelo
  observatório do Carandiru, e "guardar_texto": false para não guardar
  o texto integral.
- docs/stf.md: o que se sabe, o que falta sondar e a ordem de trabalho.
- docs/jurisprudencia.md corrigido: o STF não está no DataJud; a adesão
  do STM ao DJEN não está conferida; a rodada precisa de IP brasileiro.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Nztke5ztyPC5aFNL3kqbsB
@luccas-amorim
luccas-amorim merged commit d6c2ce3 into main Oct 4, 2026
6 checks passed
@luccas-amorim luccas-amorim changed the title v0.1: motor, adaptadores rss, datajud e djen, catálogo CSV e planos v0.1 e além: motor, sete adaptadores, catálogo CSV, estimativa de cobertura Oct 4, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants