eclipse

La distillation au niveau du jeton suppose que l’élève partage le tokeniseur de l’enseignant. Ce n’est pas le cas d’un étudiant au niveau octet, donc la distribution du jeton suivant de l’enseignant doit être convertie en une distribution de l’octet suivant avec un état terminal bien défini.

Ce projet teste si cette conversion peut être exacte, si un étudiant en petits octets peut en tirer des leçons et si les cibles de fin de jeton battent Marginalize-It et l'entropie croisée des octets simples dans une comparaison contrôlée.

Le teacher est Ornith-1.5-9B, un modèle hybride Qwen3.5 de 9B, quantifié en Q5_K_M pour l'extraction massive et Q8_0 pour l'audit de précision. Le student est un Transformer byte dense de ~48M avec un contexte de 1 024 octets et un vocabulaire de 260 symboles. Le corpus fait ~20 Mo de texte et de code normalisés NFC : 6 592 718 tokens d'entraînement et 136 916 de validation. L'entraînement tourne sur une seule RTX 3070 8 Go.

Les logs de l'enseignant sont diffusés à partir de llama.cpp et sont convertis par rapport à un essai d'octets du vocabulaire de 248 000 jetons dans l'ordre DFS, de sorte que chaque sous-arbre de préfixes constitue une plage contiguë. Les distributions d'octets proviennent de masses de sous-arbres enfants ; le nœud terminal reçoit p(token) / mass(prefix) sur le symbole EOT.

Marginaliser-Il est dérivé de la même ligne à 260 dimensions en mettant à zéro EOT et en renormalisant. Les logits bruts ne sont jamais conservés ; les cibles sont stockées sous forme de fragments fp16 avec des étiquettes explicites de symbole suivant.

Une somme cumulée en float32 du convertisseur Python pouvait mal allouer les cibles de préfixes rares (jusqu’à 0,789 contre une référence float64). Le convertisseur C++ est le chemin de référence et correspond au float64 à 1,3e-7.

L’extraction 1M a produit 4 014 129 positions à partir de 1 000 497 tokens du teacher : 2,087 Go, 431 tokens/s, 38,7 minutes. Cinq positions sous-débordent en fp16 ; le shard valide avec des sommes de lignes et des comptes exacts.

Ensuite : une voie GPU 24 Go avec un student de 100–300M et des cibles à la volée, un objectif centré sur la génération, et une seconde graine ou un contrôle token-student. Le résultat actuel est une étude de faisabilité, pas un produit entraîné.