Quantisierte Inferenz: etwa 200B Parameter
Quantisierte Gewichte benötigen weniger Speicher. Zur Laufzeit muss jedoch zusätzlicher Platz für Kontext-Cache, Framework und System verfügbar sein. Der Richtwert zur Modellgröße garantiert nicht, dass beliebige Kontextlängen oder Parallelität unterstützt werden.
Vor der Bereitstellung Quantisierungsgrad, Kontextlänge, gewünschte Parallelität und Abhängigkeitsversionen dokumentieren. Speicherverbrauch und Antwortverhalten anschließend mit der tatsächlichen Arbeitslast testen.