Galahad : 50 millions de tokens de mémoire, pas une ligne de moteur dans la vitrine

Le 1er octobre, une société belge a lancé Galahad, une couche mémoire pour modèles de langage qui promet jusqu'à 50 millions de tokens de contexte et 98,7 % de calcul GPU économisé. Le principe est superbe : un LLM ne devrait jamais relire deux fois le même texte. Sauf que la licence du paquet PyPI porte la mention « Proprietary », le dépôt GitHub est une démo en HTML sans le code du moteur, et les cinq papiers qui fondent la science n'ont qu'une signature, celle du fondateur.

Le gaspillage que tout le monde paie, personne ne le voit

Quand un modèle lit un texte, il calcule son état d'attention, le fameux cache KV. C'est ce calcul qui lui permet de se souvenir de ce qui précède. Or, à chaque requête, ce cache est recalculé. De zéro. Même si le document n'a pas changé d'une virgule depuis la dernière lecture.

Personne n'en parle, et c'est pourtant le poste le plus absurde de la facture. On paie pour relire ce qu'on a déjà lu. Le prix du token baisse, les budgets explosent. L'explication tient en une ligne : les agents relisent sans cesse les mêmes documents, les mêmes instructions, les mêmes contextes. À chaque passage, le GPU recompute ce qu'il savait déjà.

Corbenic AI avance un chiffre pour mesurer ce gaspillage. Sur sept jeux de données réels, 98,7 % des tokens d'invite étaient du texte déjà lu. Vous avez bien lu. Sur cent tokens envoyés au modèle, un peu plus d'un seul était réellement nouveau. Le reste, du réchauffé.

Et le timing n'est pas un hasard. C'est l'ère des agents. On n'en lance plus un, on en lance cinq, dix, cinquante, qui relisent les mêmes specs, les mêmes logs, les mêmes wikis, encore et encore. Le recalcul, invisible sur une requête isolée, devient la ligne principale du devis dès qu'on parallélise. Corbenic ne vend pas un outil. Elle vend la fin d'une facture.

Taliesin et Blaise, les deux briques

L'idée de Galahad tient en deux composants aux noms de chevaliers arthuriens.

Taliesin, la mémoire. Il sauvegarde l'état KV d'un bloc de texte et le recharge à la requête suivante qui contient les mêmes octets, au lieu de recalculer. L'éditeur parle d'un état « bit-identique ». Le composant se branche comme connecteur KV de vLLM, comme backend de stockage HiCache de SGLang, et comme slot de sauvegarde/restauration de llama.cpp.

Blaise, la bibliothèque. Il conserve les documents en texte exact et ne transmet au modèle que la section pertinente pour une question donnée. Pas d'embeddings qui dérivent, pas d'approximation.

L'argument contre les moteurs existants est frontal. « vLLM fait-il déjà cela ? Non », tranche la grille tarifaire. « Tous les autres caches se souviennent en approximant... nous, nous nous souvenons exactement, bit pour bit, prouvablement identique. » C'est la thèse de Corbenic, résumée par elle-même : la précision n'est pas un détail, c'est l'architecture.

Les chiffres viennent du papier arXiv 2609.39358. Un test de rappel : cent faits cachés dans un corpus de 97 000 tokens, sur Gemma 4 31B. Avec Taliesin seul, le modèle répond 98 sur 100, à 3 secondes et 572 joules par question. Sans Galahad, 10 sur 100, à 9,3 secondes et 2 754 joules, le modèle ne retenant que les 12 000 derniers tokens. Avec Blaise en plus, 100 sur 100, 668 tokens lus par question, 0,59 à 0,64 seconde, 200 à 213 joules. Un pipeline RAGFlow réglé plafonne à 77.

Et la fenêtre annoncée fait rêver : jusqu'à 50 millions de tokens, avec une mémoire GPU maintenue plate à 34,1 Go, que le texte fasse un million ou cinquante millions de tokens. Le coût de stockage du corpus, environ 100 secondes et 28 kilojoules, est récupéré dès la treizième question. Joli.

Galahad n'est pas sorti de nulle part. Avant lui, il y a eu Merlin, un moteur de déduplication byte-exact qui retire le texte redondant avant qu'il n'atteigne le modèle. C'est en validant Merlin que l'équipe a mis le doigt sur le vrai gaspillage : ce n'est pas la redondance du texte, c'est le recalcul de l'état. Taliesin est né de ce constat. Merlin, lui, reste en open source, édition communautaire. La trajectoire est nette : un premier étage ouvert, un second fermé.

Sauf que. Tous ces chiffres sont auto-déclarés. Mesurés par l'éditeur, sur son banc, avec un seul modèle, présentés dans des preprints qui n'ont pas passé de revue par les pairs. À lire comme des revendications documentées. Pas comme des résultats établis.

Un seul auteur, cinq papiers

C'est ici que le dossier devient intéressant. La science derrière Galahad, ce sont cinq papiers arXiv. Cinq papiers, une seule signature : Sietse Schelpe, le fondateur et PDG. Le monsieur est un système, C++ bare-metal, vérification formelle Z3 et Lean. Compétent, sans doute. Mais il est seul.

Et les titres ne font pas dans la discrétion. « A Frozen 12B Beats Frontier Models... 100% Accuracy, 0 Tokens, Bit-Exact, Forever ». Traduisez : un modèle gelé de 12 milliards battrait les modèles de pointe, 100 % de précision, zéro token, éternel. C'est un preprint auto-publié, pas un consensus.

La comparaison « 100/100 contre 77 pour RAGFlow » porte sur un banc maison, un modèle unique. Elle ne se généralise pas telle quelle. Le dire n'est pas de la mauvaise foi. C'est de l'honnêteté.

Open source sur la vitrine, propriétaire dans le paquet

Plusieurs résumés de l'affaire croient voir un projet open source. Il est sur GitHub, il publie des papiers, il est « gratuit ». Facile de se tromper.