Pourquoi nous avons choisi un petit modèle
Notre modèle de base — ce que nous appelons le Core — est Qwen3, dans sa version à 8 milliards de paramètres. C'est un choix délibéré, et il mérite d'être expliqué, parce qu'il peut sembler contre-intuitif.
Un très grand modèle sait déjà beaucoup de choses. Confronté à un élève en difficulté, il produira souvent, tout seul, une réponse acceptable — bien structurée, plutôt bien adaptée. Cela en fait un mauvais banc d'essai pour ce que nous cherchons à mesurer : si le modèle réussit déjà par lui-même, comment savoir ce que notre intervention a réellement apporté ?
Un modèle plus petit rend l'effet lisible. Il a les connaissances mathématiques nécessaires, mais il ne devine pas comment s'adresser à un élève en particulier. L'écart entre ce qu'il fait spontanément et ce qu'il faudrait faire est donc large, visible, mesurable. C'est exactement la marge que nous voulons observer.
Autrement dit : nous n'avons pas choisi un petit modèle par contrainte, mais parce qu'il constitue le meilleur instrument de mesure pour cette phase du projet.
Le protocole : trois élèves, vingt questions, zéro instruction
Nous avons construit trois profils d'élèves volontairement très différents — non pas trois nuances du même élève, mais trois manières d'apprendre qui appellent des réponses réellement distinctes.
Le profil 1 a besoin qu'on dédramatise avant d'expliquer. Une erreur le bloque ; il faut d'abord lever la pression, puis avancer pas à pas, avec des images concrètes.
Le profil 2 va trop vite. Il applique une méthode avant d'avoir lu l'énoncé jusqu'au bout. Ce qui l'aide, c'est qu'on l'arrête, qu'on nomme explicitement le piège dans lequel il vient de tomber, et qu'on lui donne une vérification à faire.
Le profil 3 est le cas extrême. Il travaille en dialogue — c'est lui qui pose les questions — et utilise une notation personnelle qu'aucun modèle ne produit spontanément. C'est le profil le plus éloigné de tout ce qu'un modèle a pu voir pendant son entraînement.
Pour chacun, nous avons préparé vingt questions de mathématiques, et posé ces questions dans deux conditions.
Condition A — le modèle seul. Le Core reçoit la question, et rien d'autre. Aucun prompt système, aucune description de l'élève, aucun exemple. C'est le point de départ : ce que le modèle fait naturellement.
Condition B — le modèle avec Latcher. Exactement la même question, exactement le même modèle, les mêmes paramètres de génération. La seule chose qui change : Latcher est branché. Et — c'est le point essentiel — le prompt reste rigoureusement identique. Pas un mot sur l'élève n'est ajouté. Rien n'entre par le texte : toute l'adaptation passe par une modulation interne du calcul du modèle.
Les réponses ont ensuite été évaluées par un juge automatique, aveugle au système qui les a produites. Il ne sait pas laquelle vient de quelle condition. Il note chaque réponse sur six critères propres à l'élève concerné, et produit un score sur 10 qui mesure une seule chose : cette réponse est-elle réellement taillée pour cet élève-là ?
Les résultats
Sans Latcher, le modèle obtient 3,5 sur 10 pour le premier profil, 0,8 pour le deuxième et 0,2 pour le troisième.
Avec Latcher — même modèle, même question, toujours aucune information dans le prompt — ces scores passent respectivement à 8,0, 9,2 et 7,4.
Soit des écarts de +4,5, +8,4 et +7,2 points.
Deux choses méritent d'être soulignées. D'abord, les trois profils franchissent le seuil de 7 sur 10 alors que deux d'entre eux étaient pratiquement à zéro. Ensuite, et c'est le point que nous tenons le plus à mettre en avant : tout cela sans un seul mot ajouté au prompt. Le modèle n'a jamais lu « cet élève a besoin qu'on le rassure ». Le comportement adapté n'a pas été dicté — il a émergé d'une modification de la manière dont le modèle construit sa réponse.
Plus l'élève est exigeant, plus l'écart se creuse
C'est le résultat le plus intéressant, et il n'apparaît pas dans les chiffres pris isolément — il apparaît quand on les met en relation.
Regardons ce que fait le modèle seul. Le premier profil obtient 3,5 : le modèle produit spontanément un ton encourageant et une explication progressive, ce qui le sert partiellement, presque par accident. Le deuxième tombe à 0,8. Le troisième à 0,2 — pratiquement rien.
Cette dégradation n'est pas un hasard. Plus les attentes d'un élève s'éloignent de ce qu'un modèle générique produit par défaut — une réponse claire, complète, bien structurée, adressée à personne en particulier — moins il a de chances d'être servi correctement. Un élève qui a simplement besoin d'encouragement bénéficie d'un comportement que le modèle a déjà. Un élève qui exige qu'on l'interrompe, qu'on nomme son erreur type, ou qu'on adopte une notation personnelle demande des gestes que rien, dans le comportement moyen d'un modèle, ne produit spontanément.
Et c'est exactement là que Latcher apporte le plus. Le gain le plus faible — +4,5 — concerne le profil que le modèle servait déjà à moitié. Les gains les plus forts — +8,4 et +7,2 — concernent les deux profils que le modèle ratait presque entièrement.
Autrement dit : l'apport croît avec la difficulté. La personnalisation profite le plus à ceux que le modèle générique sert le moins bien — et ce n'est pas un effet secondaire, c'est précisément ce que le projet cherche à obtenir. Un système qui n'aiderait que les cas faciles n'aurait pas grand intérêt : les cas faciles sont déjà couverts. La valeur se trouve dans les élèves que la moyenne laisse de côté, et c'est sur eux que l'écart mesuré est le plus large.
Ce que ces résultats valident
Notre hypothèse de départ était qu'il existe, dans un modèle déjà entraîné, bien plus de comportements accessibles qu'il n'en manifeste spontanément — et que le problème n'est pas la capacité du modèle, mais l'accès à ces comportements.
Ces résultats la soutiennent. Le modèle possédait déjà, quelque part, la capacité de répondre comme le deuxième profil en a besoin : nous ne la lui avons pas enseignée, nous l'avons rendue accessible. Un modèle qui obtient 0,8 sans intervention et 9,2 avec, sur la même question et avec exactement les mêmes poids, ne s'est pas mis à savoir quelque chose de nouveau. Il s'est mis à mobiliser autrement ce qu'il savait déjà.
La suite
Ces expérimentations et les résultats qu'elles produisent valident notre travail. L'architecture que nous avons conçue fonctionne, l'effet est mesurable, et la direction que nous avons prise est la bonne.
Surtout, nous savons désormais exactement ce qu'il nous reste à faire pour atteindre le résultat que nous visons. C'est peut-être l'acquis le plus important de cette phase : nous ne cherchons plus quoi construire — nous le construisons.
Latcher est un programme de recherche développé au sein de Yoovi.
