Inférence quantifiée : environ 200B de paramètres
Les poids quantifiés sont plus compacts, mais de l’espace doit aussi être réservé aux caches de contexte, au framework et au système. Cette taille indicative ne garantit pas le fonctionnement avec n’importe quelle longueur de contexte ou n’importe quel niveau de concurrence.
Avant le déploiement, consigner la précision de quantification, la longueur du contexte, le niveau de concurrence visé et les versions des dépendances, puis vérifier l’utilisation mémoire et les performances avec une charge de travail réelle.