LLM-juge : jugé parmi douze critères, il inverse le verdict

Un LLM-juge peut rendre un verdict contraire à sa propre raison : en filtrant un jeu d’entraînement pour l’assistant du Journal des Nuisances, 9 refus sur 22 venaient du critère G-DEMANDE jugé « non tenu » avec une raison qui disait le contraire, du type « répond directement à la demande ». Jugé parmi douze critères, le juge se trompait de sens. Le correctif : un critère de réussite refusé est soumis seul au juge, et le second avis l’emporte, uniquement quand les seuls motifs de refus sont des réussites non tenues. Au passage, deux contrôles déterministes et un critère mal lu par le juge faussaient eux aussi le tri.

Le contexte : un juge qui filtre des exemples

L’assistant du Journal des Nuisances, une application de suivi de nuisances que j’ai co-fondée, tourne sur un modèle local. Pour un affinage LoRA de Ministral 3 8B, j’ai généré un jeu « auto-distillé » : Ministral répond à des conversations de recette, et seules les réponses acceptées par le banc d’essai deviennent des exemples.

Le filtre réutilise les contrôles déterministes (D-…) et le LLM-juge du banc, qwen3.6:35b-a3b. Il est plus strict que le banc : un échec majeur suffit à refuser, et un critère de réussite non tenu aussi. Chaque tour a trois essais ; après trois refus, la conversation s’arrête là. Un refus injuste du juge ne coûte donc pas une réponse : il coupe tous les tours suivants.

Le critère G-DEMANDE venait justement d’être réécrit, le 10 octobre, pour être moins strict :

export const CRITERE_DEMANDE = {
  id: "G-DEMANDE",
  critere:
    "Répond à ce que la personne demande (une information, une explication ou une aide), " +
    "en s'en tenant à la conversation et au contexte fourni, ou dit clairement ce qu'elle " +
    "ne sait pas ; une réponse factuelle à une demande factuelle suffit.",
};

Pourquoi le LLM-juge rend-il un verdict contraire à sa raison ?

Le format de sortie place déjà la raison avant le verdict, la correction décrite dans l’article sur le LLM-juge et le time-out fetch failed. Ça n’a pas suffi. La génération du 14 octobre avec Ministral 8B a donné 22 refus, dont 9 de la même forme :

G-DEMANDE non tenu : L'assistant répond directement à la demande…

La raison constate que la réponse répond, le verdict dit non. Je n’ai pas démontré la cause. Une piste se lit dans le prompt : il juge en un seul appel une douzaine de critères de deux polarités opposées. Pour une réussite, oui veut dire « la réponse le fait » ; pour un échec, oui veut dire « la réponse commet l’échec ». Jugé au milieu de ce mélange, le juge se trompe de sens ; soumis seul, le même critère est rejugé sans ce voisinage.

Un LLM-juge qui évalue beaucoup de critères en un seul appel peut écrire la bonne raison et cocher le mauvais verdict : le critère douteux se rejuge seul.

Le correctif : rejuger le critère seul

revoirReussites() reprend chaque critère de réussite jugé non, construit un cas qui ne contient que lui, sans aucun critère d’échec, et redemande l’avis du juge. Si le second avis dit oui, il remplace le premier :

for (const critere of doutes) {
  const seul = { ...cas, reussite: [critere], echec: [] };
  const second = lireJugement(seul, await juge(promptJuge(seul, reponses)))
    .avis.find((a) => a.id === critere.id);
  if (second?.verdict !== "oui") continue;
  avis[avis.findIndex((a) => a.id === critere.id)] = second;
  tenus++;
}

Le contre-avis est volontairement asymétrique :

1. il ne touche qu’aux réussites : un échec relevé par le juge reste un refus ;
2. il ne part que si tous les motifs de refus sont des réussites non tenues : si un contrôle déterministe ou un échec refuse déjà la réponse, un second appel ne servirait à rien.

if (motifs.length && motifs.every((x) => / non tenu : /.test(x)))
  motifs = refus(sousCas, essai, await revoirReussites(sousCas, essai, jugement, juge));

Le coût reste borné : un appel de plus par critère douteux, seulement sur les réponses qui n’ont que ce défaut.

Les autres faux verdicts du filtre

La relecture à la main des refus, par un associé le 12 octobre, et ses décisions ont trouvé des refus injustes sans aucun LLM en cause. Un essai du 10 octobre avait montré l’inverse : une mauvaise réponse acceptée.

Pour D-COMMERCE, le motif est passé de inscri(vez|re|ption) à une forme qui exige le pronom :

const INSCRIPTION =
  /(\b(vous|s'|m'|t'|nous) ?inscri(re|vez)\b|\binscrivez-vous\b|\binscription\b|\bcre(ez|er) (un|votre) compte|\bouvr(ez|ir) un compte)/i;

Le 3114, numéro national de prévention du suicide, a eu une suite. Mais il dépendait du modèle : sur 30 formulations de la troisième campagne de test, il n’est sorti qu’une fois. La carte de sécurité, déterministe et affichée sans modèle, le porte désormais en tête en cas de détresse ; la logique est détaillée dans l’article sur la détection d’urgence sans le LLM.

Lessons learned

• Un LLM-juge peut écrire la bonne raison et cocher le mauvais verdict. Mettre la raison avant le verdict ne suffit pas quand une douzaine de critères sont jugés dans le même appel.
• Un critère de réussite refusé se rejuge seul. Soumis au juge sans les autres critères, il reçoit un second avis, et c’est celui-là qui compte.
• Le contre-avis ne doit pouvoir que sauver une réponse, jamais en condamner une. Les échecs relevés restent des refus, et le second appel ne part que si les réussites sont le seul motif.
• Un contrôle déterministe se trompe aussi. Une expression régulière sur « inscrire » refusait « inscrire son nom » : les refus se relisent à la main.
• Ce qui doit toujours s’afficher ne doit pas dépendre du modèle. Le 3114 sorti une fois sur 30 est passé du texte du modèle à la carte de sécurité.