Famille de modèles d’IA · développement logiciel

Formic — Optimiser l’exécution des tâches de développement logiciel par l’IA.

Les modèles d’IA les plus puissants sont aujourd’hui capables de raisonner, de programmer, d’utiliser des outils et de piloter des missions complexes. Mais utiliser systématiquement un très grand modèle pour chaque étape d’exécution reste coûteux et souvent disproportionné par rapport au travail réellement demandé.

C’est à partir de ce constat que nous développons Formic. Formic est un projet de recherche et d’ingénierie autour de modèles spécialisés dans la génération de code et l’exécution de tâches de développement logiciel.

27B La cible Standard, quantifiée pour réduire le coût d’inférence.

≈ 14B La cible Lite, distillée pour pousser plus loin l’efficacité.

1 métrique Le coût par tâche réellement réussie.

Répartir l’intelligence là où elle compte.

Notre objectif n’est pas de remplacer les grands modèles généralistes. Nous voulons mieux répartir l’intelligence dans un système agentique.

Un modèle puissant peut comprendre le problème, définir la stratégie et décomposer la mission, tandis que plusieurs agents Formic prennent en charge son exécution.

Utiliser l’intelligence la plus coûteuse là où elle est réellement nécessaire, et optimiser profondément tout le reste.

Un modèle conçu pour exécuter.

Une fois une mission correctement définie, une grande partie du travail logiciel consiste à comprendre un dépôt, identifier les dépendances, modifier plusieurs fichiers, utiliser des outils, lancer des tests, détecter des erreurs, corriger et terminer proprement la tâche.

C’est précisément sur cette partie que nous voulons spécialiser Formic.

Le projet repose aujourd’hui sur deux déclinaisons : Formic Standard et Formic Lite.

01Comprendre le dépôtStructure et contexte
02Identifier les dépendancesPérimètre utile
03Modifier les fichiersIntervention ciblée
04Utiliser les outilsExécution réelle
05Lancer les testsPreuves vérifiables
06Corriger et terminerMission accomplie

Une famille, deux niveaux d’efficacité.

Standard vise le meilleur compromis entre très haute qualité et efficacité. Lite cherche à pousser encore plus loin la réduction du coût.

Formic Standard

27B

Formic Standard est construit à partir d’une version quantifiée de Qwen3.8-27B.

La quantification nous permet de réduire fortement le coût mémoire et le coût d’inférence du modèle. Mais notre objectif n’est pas simplement de produire une version plus petite ou moins chère de Qwen.

Notre cible est plus ambitieuse : conserver au minimum la qualité du Qwen3.8-27B non quantifié sur la génération de code et l’exécution de tâches, et idéalement la dépasser.

La quantification réduit le coût. Le reste du travail autour de Formic doit permettre de récupérer les éventuelles pertes liées à cette compression, puis d’améliorer encore les comportements qui comptent réellement pour un agent de développement.

L’objectif peut donc se résumer ainsi :Réduire fortement le coût d’inférence sans sacrifier la qualité d’exécution.

Formic Lite

≈ 14B

En parallèle, Formic Lite explore une version autour de 14 milliards de paramètres.

L’objectif est de transférer une partie importante des capacités de Formic Standard vers un modèle beaucoup plus léger, notamment grâce à la distillation, puis à l’optimisation et à la quantification.

Standard vise donc le meilleur compromis entre très haute qualité et efficacité, tandis que Lite cherche à pousser encore plus loin la réduction du coût.

Transférer l’exécution spécialisée vers un modèle plus léger et plus accessible.

Notre métrique centrale n’est d’ailleurs pas simplement le prix d’un token ou le nombre de paramètres du modèle. C’est le coût par tâche réellement réussie.

Post-training et Reinforcement Learning.

Transformer un bon modèle de code en un bon exécuteur logiciel demande plus qu’une simple quantification.

Nous travaillons donc également sur un programme de post-training et de Reinforcement Learning dédié aux tâches de développement logiciel.

L’idée est de spécialiser Formic sur les comportements nécessaires à l’exécution réelle : compréhension de dépôts, modifications multi-fichiers, utilisation d’outils, suivi précis des instructions, exécution de tests, correction après échec, respect du périmètre demandé et gestion de tâches longues.

Le RL permet ensuite d’optimiser directement les comportements que nous recherchons.

Un bon agent ne doit pas seulement produire du code correct. Il doit aussi savoir :

Intervenir uniquement là où c’est nécessaire.
Ne pas modifier inutilement le projet.
Utiliser efficacement ses outils.
Vérifier son propre travail.
Récupérer après un échec.
Respecter précisément les contraintes.
Comprendre quand la mission est réellement terminée.

Nous voulons donc faire de Formic non pas simplement un modèle qui sait programmer, mais un modèle particulièrement optimisé pour exécuter du travail logiciel.

CAPE-R repenser l’exécution.

Cette spécialisation comportementale s’accompagne également d’un travail sur l’architecture. Pour Formic, nous avons conçu CAPE-R — Contract-Aware Progressive Executor, Revised.

CAPE-R cherche à rendre l’exécution plus efficace, plus contrôlable et plus structurée.

L’un de ses principes est le calcul adaptatif. Un modèle classique utilise généralement toute sa profondeur pour chaque token, quelle que soit la difficulté de l’action.

Avec CAPE-R, une opération simple peut potentiellement utiliser une partie du réseau, tandis qu’une décision plus complexe ou plus risquée peut mobiliser la profondeur complète du modèle.

L’objectif est de conserver toute la puissance du 27B lorsqu’elle est nécessaire, sans systématiquement payer son coût maximal pour chaque décision.

CAPE-R introduit également une logique d’exécution plus structurée autour du modèle : objectifs, contraintes, état du dépôt, progression, preuves et résultats de tests peuvent être explicitement représentés et vérifiés.

La philosophie est simple :

Retrouvez plus de détails dans notre article CAPE-R.

Nous détaillerons CAPE-R et son fonctionnement interne dans un article dédié.

Profondeur mobilisée selon la décision

Opération simplecalcul partiel

Décision complexe ou risquéecalcul complet

Comprendre→Agir→Vérifier→Accepter ou corriger

Comprendre → agir → vérifier → accepter ou corriger.

Formic-Link permet aux agents de mieux collaborer.

La deuxième grande direction architecturale du projet est Formic-Link.

Dans la majorité des systèmes multi-agents actuels, les modèles communiquent essentiellement à travers du texte. Un agent doit générer une explication, la transmettre, puis un autre modèle doit la relire et l’interpréter.

Formic-Link explore une autre forme de collaboration : permettre aux agents Formic d’échanger directement des représentations latentes issues de leurs états internes.

L’idée est qu’un agent puisse transmettre une information pertinente à un autre dans un format directement exploitable par son réseau, sans devoir systématiquement recréer un dialogue textuel complet.

Chaque agent reste indépendant : ses caches, son contexte et son exécution lui appartiennent. Formic-Link agit comme un canal neuronal de communication entre plusieurs agents Formic.

Les informations exactes comme les fichiers, les versions, les permissions, les commits ou les résultats de tests restent séparées et structurées. Le canal latent sert principalement à partager plus efficacement du contexte, de la compréhension et des informations utiles à la coopération.

Retrouvez plus de détails dans notre article Formic-Link.

Nous consacrerons également un article spécifique à cette architecture.

La vision derrière Formic.

Formic n’est pas simplement une version quantifiée d’un modèle existant. Le projet combine plusieurs niveaux d’optimisation :

01QuantificationRéduire fortement le coût d’inférence.

02Post-training et RLSpécialiser le modèle sur l’exécution de tâches de développement logiciel.

03CAPE-RRepenser la manière dont chaque agent utilise son calcul, son état et ses mécanismes de vérification.

04Formic-LinkRepenser la manière dont plusieurs agents peuvent travailler ensemble.

La vision finale est celle d’un système dans lequel un modèle stratégique puissant peut piloter une mission complexe sans devoir lui-même exécuter chaque opération.

Plusieurs agents spécialisés peuvent prendre en charge le travail, coopérer, utiliser leurs outils, vérifier leurs actions et mobiliser davantage de calcul uniquement lorsque la situation l’exige.

Notre objectif avec Formic est de conserver une qualité de génération de code et d’exécution très élevée, comparable ou supérieure au modèle 27B non quantifié, tout en réduisant fortement le coût, la latence et les ressources nécessaires pour accomplir une mission.

C’est la direction que nous poursuivons avec Formic.

Lecture recommandée

Formic-Link — une nouvelle forme de coopération entre agents IA.

Retrouvez les détails de l’architecture, du bus latent et de la collaboration entre agents dans notre article dédié.

Lire l’article Formic-Link