Skip to content

Commit e9c482c

Browse files
committed
docs(workbench): move the improvement leads out of the reference tree, and correct them
`technical-documentation/` is reference — "describe, don't narrate", no plans, no changelogs — and a list of leads with a run table and (fixed)/(not fixed) markers is what that rule exists to keep out. It belongs next to the bench that produced the measurements, so that is where it goes; what gets settled will go to `decisions.md`, and the anti-overfitting guardrail lands in the bench README where it will actually be read — at the moment someone touches the system prompt. Corrections, from checking every claim against the code: - The customScale lead opened on a false premise. `depthIsOverridden` is emitted by the snapshot, explained by `zoomNote`, and `setZoom`'s description already says word for word that passing `depth` clears the override. The real gap is narrower and is now stated: it reaches the snapshot and the tool description, not the tool RESULTS nor the system prompt. - The whisper bullet was stale. The failure has reached a toast since the automatic transcription landed — a commit that is an ancestor of this document's own first commit. What survives is the developer-facing wording and the untested path. - The zoom-grounding numbers were filed under "Mesuré". No oracle computes the focus-to-cursor gap; it is a manual observation, and writing the missing oracle is now the first lead of that section rather than an afterthought. - 356 points became 148 two sections earlier. The lead that told the reader to reduce the noise first was asking for work already done. - Lossless became lossless within the 0.02 tolerance, the depth-to-scale "table" became the legend announced to the model, "19 round trips" became 19 calls with the note that `rounds` is the number that would prove the latency claim, and the batch-tool lead now cites `replaceTimeline` — the repo's own precedent for refusing a batch outright — instead of raising the risk hypothetically. Every figure that no versioned artefact can reproduce now says so, once, at the top.
1 parent 556b1f2 commit e9c482c

2 files changed

Lines changed: 205 additions & 36 deletions

File tree

workbench/README.md

Lines changed: 17 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -3,6 +3,9 @@
33
Fait tourner l'agent LLM d'OpenScreen **sans interface graphique**, pour itérer vite sur les
44
prompts et sur le contexte fourni au modèle.
55

6+
Ce fichier décrit le banc tel qu'il est. Ce qu'il a révélé et qui reste à traiter vit à côté, dans
7+
[agent-improvement-leads.md](agent-improvement-leads.md).
8+
69
Deux axes sont notés séparément, jamais moyennés ensemble :
710

811
| axe | question | source de vérité |
@@ -391,6 +394,20 @@ trajectoire » sont **deux checks séparés**.
391394
repose** : observation live, ou mécanisme lu dans le code. Une prédiction n'y a pas sa place.
392395
9. `npm run wb && npm run wb:typecheck && npx biome check --write workbench`.
393396

397+
### Répondre à un échec sans surajuster au banc
398+
399+
Un échec mesuré donne envie d'ajouter la ligne de prompt qui règle ce cas précis. Fait huit fois,
400+
le prompt système devient la liste des réponses au jeu de tests, et le banc mesure sa propre
401+
mémoire. Le garde-fou est une question, à se poser avant de committer :
402+
403+
> **Ce correctif se justifie-t-il sans mentionner le scénario qui l'a révélé ?**
404+
405+
Si la seule façon de le défendre est « sinon `describe-zooms` est rouge », ce n'est pas un
406+
correctif, c'est une réponse apprise. Un correctif légitime se formule comme une propriété du
407+
produit — « le modèle n'a aucun moyen de savoir qu'un `customScale` rend le `depth` inerte » — et
408+
le scénario n'en est que le témoin. Cela vaut pour le prompt système comme pour les descriptions
409+
d'outils, qui sont du prompt sous un autre nom.
410+
394411
### Où vit quoi
395412

396413
```

0 commit comments

Comments
 (0)