NC01 — Native Consolidation : protection temporaire des lectures dans une mémoire récurrente

Une banque mémoire est représentée par une matrice :

Pour une requête \(q\in\mathbb{R}^{d_k}\), le lecteur produit :

La transition native de référence appartient à une famille de règles delta avec portes :

La clé \(k\) définit la direction de l’écriture, \(v\) sa valeur, \(\alpha\) le facteur de conservation et \(\beta\) l’intensité de la mise à jour.

Dans le domaine étudié, les clés et les valeurs sont bornées en norme, avec \(0\leq\beta\leq1\) et \(0\leq\alpha<1\).

Un engagement associe une adresse \(r_j\) à une cible historique \(v_j\). À l’admission, le mécanisme établit une valeur épinglée \(u_j\), proche de cette cible.

Cette distinction est importante : la conservation porte sur \(u_j\), tandis que l’erreur d’acquisition est mesurée entre \(u_j\) et \(v_j\).

Pour \(m\) engagements actifs, on définit :

Le conditionnement de \(H\) contrôle la compatibilité géométrique des adresses. La configuration étudiée impose nominalement :

Les adresses protégées ne peuvent donc pas être arbitrairement redondantes.

La mémoire est représentée sous la forme :

La première composante réalise les lectures épinglées. Le complément \(X\) contient les degrés de liberté orthogonaux aux adresses protégées.

Il en résulte :

Cette identité constitue l’invariant central de la construction.

Le lecteur factorisé reste équivalent à celui de la matrice physique :

Les deux termes contribuent à une seule application linéaire. La factorisation ne crée pas un second lecteur chargé de consulter les cibles historiques.

Le projecteur sur le sous-espace des adresses protégées est :

La composante libre d’une nouvelle clé est :

Elle vérifie :

Une correction portée par \(p\) peut donc modifier le complément sans déplacer les lectures épinglées, sous réserve que l’orthogonalité soit effectivement maintenue.

La projection est complétée par un ajustement des coefficients d’écriture et de récurrence.

À engagements fixés, la transition s’écrit :

Les coefficients sont définis par :

Le paramètre \(\rho>0\) règle le compromis de compensation. Sa présence évite une division singulière lorsque la composante libre de la clé tend vers zéro.

Le facteur \(\sigma\in[0,1]\) correspond à la garde de norme.

En l’absence d’action de la garde, soit \(\sigma=1\), la transition est la solution en forme close du problème :

sous la contrainte :

où \(B_0=F_0(B;k,v,\alpha,\beta)\).

L’objectif combine deux critères : rester proche de l’état produit par la transition native et préserver autant que possible sa réponse sur la clé courante.

Cette propriété d’optimalité concerne le problème épinglé sans garde active. Lorsque la garde intervient, son effet doit être pris en compte dans l’analyse de la sortie.

À partir de \(K^\top X=0\) et \(K^\top p=0\), on obtient :

La composante protégée restant fixée entre événements :

La conservation est donc une propriété de la transition en arithmétique exacte, à engagements fixés. Elle ne repose pas sur une réinjection périodique de la cible dans chaque écriture.

La garde limite l’amplitude de l’écriture libre afin de maintenir la norme physique de la mémoire dans la borne prévue.

Elle utilise les entrées, les épingles et le budget de norme disponible pour le complément. Dans la construction étudiée, elle ne dépend pas de la valeur courante de \(X\). La transition reste ainsi affine par rapport au complément pendant un segment à registre fixe.

Sous les hypothèses du domaine :

L’opérateur appliqué à \(X\) est alors non expansif avant le facteur \(\alpha\). Pour des entrées, des engagements et des coefficients identiques, la dépendance de la sortie au complément entrant est contractante d’un facteur au plus \(\alpha\).

Cette propriété locale ne constitue pas une borne globale lorsque les clés, les cibles ou le registre varient.

L’admission vérifie la validité de la paire proposée, la capacité du registre et la compatibilité géométrique de l’adresse avec les engagements actifs.

La nouvelle épingle est choisie près de la cible. Le complément est ensuite reconstruit dans l’espace orthogonal au registre augmenté. Une garde de frontière contrôle la norme de l’état obtenu.

Les nouveaux objets sont préparés avant publication. Cette organisation vise à éviter qu’une admission refusée ou une erreur laisse un état partiellement modifié.

Une protection admise après le token \(t\) peut être définie sur un horizon de \(N\) lectures :

À son expiration, le registre est réduit et la factorisation est réorganisée.

Pour une expiration seule, avec les invariants satisfaits, la construction conserve la matrice physique en arithmétique exacte. Les directions libérées rejoignent les degrés de liberté disponibles pour les transitions suivantes.

La levée de la protection ne correspond donc pas à une remise à zéro de la mémoire.

Les événements d’admission et d’expiration interviennent après les sorties du token concerné.

Une information récupérée au token \(t\) ne modifie pas rétroactivement les représentations ou sorties déjà produites pour \(t\). Son effet commence dans les calculs futurs.

Dans les expériences, les associations candidates proviennent de fournisseurs historiques causaux. Certaines campagnes utilisent une archive de test des paires effectivement écrites ; cette archive appartient au protocole de vérification, pas au stockage auxiliaire de la banque.

Le volume exécuté est :

transitions.

Dans cette campagne, l’erreur de rétention reste proche de l’erreur initialement introduite par l’épinglage. Les écritures suivantes n’entraînent pas de dépassement du seuil prévu.

Réserve d’audit. L’audit du générateur a toutefois identifié trois valeurs de \(\alpha\) légèrement supérieures à la limite prescrite, dans deux historiques. Les résultats ont été conservés sans modification rétroactive des entrées. Dix-neuf des 21 historiques sont entièrement conformes au domaine des portes contrôlé par cet audit.

Un ensemble complémentaire comporte 24 états géométriques, chacun soumis à 512 transitions dans les deux précisions :

transitions.

Ces états sollicitent notamment des adresses corrélées, des écritures contradictoires et une mémoire proche de la limite de norme.

En FP32 mixte :

• l’erreur maximale de rétention est d’environ 0,01561075 ;
• la norme maximale est d’environ 63,98 ;
• aucune violation du seuil de rétention n’est observée.

Les états initiaux de ce lot sont construits géométriquement. Leur acquisition complète depuis une mémoire vide n’est pas établie.

Un sous-ensemble de 21 historiques de 1 024 tokens est évalué en FP64 et FP32 mixte, en exécution séquentielle et par segments.

Les deux modes GPU et les deux précisions représentent 86 016 transitions, comparées à la référence CPU.

Aucune divergence de décision n’est observée sur les événements comparés. L’écart maximal de matrice physique aux frontières atteint environ 1,76 × 10⁻⁶ en FP32 mixte.

Cette comparaison vérifie la concordance entre réalisations. Un stress GPU distinct de 32 768 transitions contrôle les lectures protégées avant expiration et ne relève aucune violation sur les parcours exécutés.

Une vérification complémentaire utilise 32 banques initialement nulles, sur 32 832 étapes chacune :

transitions.

Le parcours comprend 2 080 admissions et un fournisseur historique scripté causal. Aucun dépassement recherché n’a été reproduit sur ce parcours.

Ce résultat porte sur une évolution effectivement exécutée depuis zéro. Il ne démontre pas que toutes les configurations géométriques difficiles sont inaccessibles, ni que les associations produites par une véritable GQA suivraient la même distribution.

Les volumes des différentes campagnes ne sont pas additionnés comme s’ils représentaient des scénarios indépendants. Certaines vérifications réutilisent des historiques ou comparent plusieurs modes d’exécution.

Des tests ciblés complètent les campagnes séquentielles.

Ces résultats corroborent les identités implémentées dans leur domaine de test. Ils ne remplacent pas les hypothèses des démonstrations.

A memory bank is represented by a matrix:

For a query \(q\in\mathbb{R}^{d_k}\), the reader returns:

The reference native transition belongs to a family of gated delta rules:

The key \(k\) sets the direction of the write, \(v\) its value, \(\alpha\) the retention factor and \(\beta\) the strength of the update.

In the domain studied, keys and values are norm-bounded, with \(0\leq\beta\leq1\) and \(0\leq\alpha<1\).

A commitment links an address \(r_j\) to a historical target \(v_j\). At admission, the mechanism sets a pinned value \(u_j\), close to that target.

This distinction matters: retention applies to \(u_j\), while the acquisition error is measured between \(u_j\) and \(v_j\).

For \(m\) active commitments, define:

The conditioning of \(H\) controls the geometric compatibility of the addresses. The configuration studied nominally requires:

Protected addresses therefore cannot be arbitrarily redundant.

The memory is represented as:

The first component realises the pinned reads. The complement \(X\) holds the degrees of freedom orthogonal to the protected addresses.

It follows that:

This identity is the central invariant of the construction.

The factorised reader remains equivalent to that of the physical matrix:

The two terms contribute to a single linear map. The factorisation does not create a second reader that would consult the historical targets.

The projector onto the subspace of protected addresses is:

The free component of a new key is:

It satisfies:

A correction carried by \(p\) can therefore modify the complement without moving the pinned reads, provided orthogonality is actually maintained.

The projection is completed by an adjustment of the write and recurrence coefficients.

With commitments fixed, the transition reads:

The coefficients are defined by:

The parameter \(\rho>0\) sets the compensation trade-off. It avoids a singular division when the free component of the key tends to zero.

The factor \(\sigma\in[0,1]\) is the norm guard.

When the guard is inactive, that is \(\sigma=1\), the transition is the closed-form solution of the problem:

subject to the constraint:

where \(B_0=F_0(B;k,v,\alpha,\beta)\).

The objective combines two criteria: staying close to the state produced by the native transition and preserving, as far as possible, its response on the current key.

This optimality property concerns the pinned problem without an active guard. When the guard acts, its effect must be taken into account in analysing the output.

From \(K^\top X=0\) and \(K^\top p=0\), we obtain:

Since the protected component stays fixed between events:

Conservation is therefore a property of the transition in exact arithmetic, with commitments fixed. It does not rely on periodically re-injecting the target into each write.

The guard limits the amplitude of the free write so as to keep the physical norm of the memory within the intended bound.

It uses the inputs, the pins and the norm budget available to the complement. In the construction studied, it does not depend on the current value of \(X\). The transition therefore remains affine in the complement over a segment with a fixed register.

Under the assumptions of the domain:

The operator applied to \(X\) is then non-expansive before the factor \(\alpha\). For identical inputs, commitments and coefficients, the dependence of the output on the incoming complement is contractive by a factor of at most \(\alpha\).

This local property is not a global bound when keys, targets or the register vary.

Admission checks the validity of the proposed pair, the capacity of the register and the geometric compatibility of the address with the active commitments.

The new pin is chosen near the target. The complement is then rebuilt in the space orthogonal to the augmented register. A boundary guard controls the norm of the resulting state.

New objects are prepared before publication. This organisation aims to prevent a refused admission or an error from leaving a partially modified state.

A protection admitted after token \(t\) can be defined over a horizon of \(N\) reads:

When it expires, the register is reduced and the factorisation is reorganised.

For an expiration alone, with the invariants satisfied, the construction preserves the physical matrix in exact arithmetic. The freed directions join the degrees of freedom available to later transitions.

Lifting the protection is therefore not a reset of the memory.

Admission and expiration events occur after the outputs of the token concerned.

Information retrieved at token \(t\) does not retroactively change the representations or outputs already produced for \(t\). Its effect begins in future computations.

In the experiments, candidate associations come from causal history providers. Some campaigns use a test archive of the pairs actually written; this archive belongs to the verification protocol, not to the bank’s auxiliary storage.

The volume run is:

transitions.

In this campaign, the retention error stays close to the error initially introduced by pinning. Later writes do not cause the intended threshold to be exceeded.

Audit caveat. The audit of the generator did identify three values of \(\alpha\) slightly above the prescribed limit, in two histories. The results were kept without retroactively changing the inputs. Nineteen of the 21 histories fully comply with the gate domain checked by this audit.

A complementary set contains 24 geometric states, each subjected to 512 transitions in both precisions:

transitions.

These states exercise correlated addresses, contradictory writes and a memory close to the norm limit, among other things.

In mixed FP32:

• the maximum retention error is about 0.01561075;
• the maximum norm is about 63.98;
• no breach of the retention threshold is observed.

The initial states of this batch are built geometrically. Their full acquisition from an empty memory is not established.

A subset of 21 histories of 1,024 tokens is evaluated in FP64 and mixed FP32, in sequential and segment-wise execution.

The two GPU modes and the two precisions represent 86,016 transitions, compared with the CPU reference.

No decision divergence is observed on the events compared. The maximum gap in the physical matrix at boundaries reaches about 1.76 × 10⁻⁶ in mixed FP32.

This comparison checks agreement between implementations. A separate GPU stress run of 32,768 transitions checks protected reads before expiration and finds no violation on the paths run.

A complementary check uses 32 initially zero banks, over 32,832 steps each:

transitions.

The run includes 2,080 admissions and a scripted causal history provider. No sought-after breach was reproduced on this run.

This result concerns a trajectory actually run from zero. It does not show that all difficult geometric configurations are unreachable, nor that the associations produced by a real GQA would follow the same distribution.

The volumes of the different campaigns are not added together as if they were independent scenarios. Some checks reuse histories or compare several execution modes.

Targeted tests complement the sequential campaigns.

These results corroborate the implemented identities within their test domain. They do not replace the assumptions of the proofs.