Xiaomi annonce un modèle IA à plus de 1 000 tokens par seconde
Xiaomi annonce plus de 1 000 tokens par seconde pour son modèle MiMo-V2.5-Pro-UltraSpeed grâce à la quantification FP4 et à TileRT.
Xiaomi affirme avoir franchi la barre des 1 000 tokens par seconde avec MiMo-V2.5-Pro-UltraSpeed, une version accélérée de son modèle de langage développée avec TileRT.
Le modèle repose sur une architecture Mixture of Experts comprenant un billion de paramètres au total, soit mille milliards, mais environ 42 milliards sont activés pour chaque token.
Selon Xiaomi, la vitesse de génération peut atteindre environ 1 200 tokens par seconde sur un seul serveur équipé de huit GPU standards.
Xiaomi utilise également DFlash, une méthode de décodage spéculatif capable de proposer plusieurs tokens en parallèle. Le modèle principal vérifie ensuite ces propositions avant de les accepter.
Pour les tâches de programmation, Xiaomi annonce une moyenne de 6,3 tokens acceptés sur un bloc de huit. Cette technique réduit le nombre de passages nécessaires dans le modèle principal.
TileRT complète le dispositif avec un moteur d’exécution persistant, des kernels spécialisés et une organisation destinée à limiter les synchronisations et les échanges inutiles avec la mémoire des GPU.
Le modèle exact des huit GPU et le protocole complet du benchmark ne sont pas précisés. Cette performance n’a pas non plus été reproduite indépendamment pour le moment.
Xiaomi annonce une vitesse environ dix fois supérieure à celle de MiMo-V2.5-Pro, pour un tarif trois fois plus élevé. L’accès à l’API UltraSpeed reste limité et soumis à candidature entre le 9 et le 23 juin 2026.
Le checkpoint FP4 avec les paramètres DFlash est disponible sur Hugging Face. Une partie de TileRT est également publiée sur GitHub, mais cela ne garantit pas encore que les 1 000 tokens par seconde puissent être facilement reproduits.
Présentation technique de TileRT
Checkpoint MiMo-V2.5-Pro FP4-DFlash
Publication consacrée à DFlash
← Retour aux posts
Le modèle repose sur une architecture Mixture of Experts comprenant un billion de paramètres au total, soit mille milliards, mais environ 42 milliards sont activés pour chaque token.
Selon Xiaomi, la vitesse de génération peut atteindre environ 1 200 tokens par seconde sur un seul serveur équipé de huit GPU standards.
Quantification FP4 et génération spéculative
Cette performance ne vient pas uniquement de la puissance du matériel. Les experts du modèle sont quantifiés en FP4 afin de réduire leur taille et les transferts en mémoire. Les autres composants conservent une précision supérieure pour limiter la dégradation des résultats.Xiaomi utilise également DFlash, une méthode de décodage spéculatif capable de proposer plusieurs tokens en parallèle. Le modèle principal vérifie ensuite ces propositions avant de les accepter.
Pour les tâches de programmation, Xiaomi annonce une moyenne de 6,3 tokens acceptés sur un bloc de huit. Cette technique réduit le nombre de passages nécessaires dans le modèle principal.
TileRT complète le dispositif avec un moteur d’exécution persistant, des kernels spécialisés et une organisation destinée à limiter les synchronisations et les échanges inutiles avec la mémoire des GPU.
Un chiffre à replacer dans son contexte
Les 1 000 tokens par seconde correspondent à la vitesse de génération annoncée dans les conditions de Xiaomi. Cette mesure ne suffit pas à connaître le temps nécessaire avant l’apparition du premier token, les performances avec plusieurs utilisateurs ou le coût réel de l’infrastructure.Le modèle exact des huit GPU et le protocole complet du benchmark ne sont pas précisés. Cette performance n’a pas non plus été reproduite indépendamment pour le moment.
Xiaomi annonce une vitesse environ dix fois supérieure à celle de MiMo-V2.5-Pro, pour un tarif trois fois plus élevé. L’accès à l’API UltraSpeed reste limité et soumis à candidature entre le 9 et le 23 juin 2026.
Le checkpoint FP4 avec les paramètres DFlash est disponible sur Hugging Face. Une partie de TileRT est également publiée sur GitHub, mais cela ne garantit pas encore que les 1 000 tokens par seconde puissent être facilement reproduits.
Pour les agents IA, une génération plus rapide peut réduire les temps d’attente entre deux appels d’outils. Elle ne rend toutefois pas automatiquement le modèle plus fiable ou plus intelligent.
Annonce officielle de XiaomiPrésentation technique de TileRT
Checkpoint MiMo-V2.5-Pro FP4-DFlash
Publication consacrée à DFlash