Aller au contenu

Production blockers · eval-case v1

Signal terrain pour agents réels. 

Agent Ergonomics : facteurs humains pour les opérateurs IA. Blockers observés dans du travail réel outillé, réduits en repros eval-ready : claim, action, preuve, oracle, frontière.

Inspecter case/0012 Écrire à Julien

Signal terrain réduit — metadata-only, sans session client brute.

case/0012

Une trace réduite, inspectable.

Branche prête, claim « done » — sans preuve d’exécution des tests. Repro public téléchargeable.

  • Famille FCE — fausse complétion après frontière d’outil
  • JSONL conforme au schéma eval-case v1
  • Trois vues : trace (claim/action) · oracle (preuve exigée) · replay (repro eval-ready)

Familles

Là où l’agent affirme sans preuve.

Le moment où la frontière d’outil est franchie sans vérification — c’est ce qui devient un cas.

  • FCE — fausse complétion après frontière d’outil
  • Capture metadata-only : pas de contenu client
  • Réduction terrain → signal produit gouverné

Rejeu

Trois vues du même cas.

Trace (claim/action), oracle (preuve exigée), replay (verdict) — le format public derrière case/0012.

  • Trace — claim vs action observée
  • Oracle — preuve minimale exigée
  • Replay — verdict eval-ready

Essayer dans le terminal

Inspecter un cas public.

labs/case-0012
curl -fsSL https://julientalbot.com/labs/case-0012.eval-case-v1.jsonl \
  -o case-0012.eval-case-v1.jsonl

Record

Vérifiable sans croire cette page.

Liens upstream, corpus et cadrage public — inspectables directement.

Upstream Enforcement d’usage d’outils — adopté upstream.

Un signal d’usage d’outils observé sur le terrain a été réduit en motif d’issue upstream, puis adopté et mergé par le mainteneur de hermes-agent.

 Crédit Continuité de cache conversationnel — crédit upstream.

Un patch de continuité de cache testé sur le terrain a été crédité et cherry-pické dans la mainline hermes-agent.

 Corpus Traces réduites, pas sessions brutes.

Le cadrage public derrière le format d’eval et la frontière de confidentialité.

Ce que ça couvre

Du terrain au signal produit — réduit et gouverné.

  • Famille FCE

    Fausse complétion après une frontière d’outil.

  • Metadata-only

    Pas de contenu client, secrets ni chemins complets.

  • eval-case v1

    JSONL public, schéma et oracle documentés.

  • Claim ≤ evidence

    Pas de « done » sans preuve observable.

  • Upstream

    Signaux terrain crédités en PR hermes-agent.

  • Confidentialité

    Traces réduites avant tout usage externe.

Travailler le signal

Du cas au partenariat.

01 · Inspecter

case/0012

Télécharger le JSONL public et lire le schéma eval-case v1.

02 · Cadrer

Un échange

Scope, confidentialité et livrable — avant tout set de blockers.

03 · Réduire

Un blocker

Du terrain au repro eval-ready : claim, action, oracle, gate.

Partenariat

Un cas, une hypothèse, une contrainte.

Signal terrain, eval-case, ou intégration dans votre stack — décrivez le blocker et la décision à prendre. Premier échange pour voir si le signal colle.

Inspecter case/0012 Partenariat signal