Huaweis Computing Systems Lab hat mit MACaQ ein quelloffenes Werkzeug veröffentlicht, das KI-Modelle für die Ausführung mit niedriger Zahlenpräzision aufbereitet. Es adressiert Sprachmodelle ebenso wie Modelle für Bild-, Video- und Audioerzeugung. Für den praktischen Einsatz ist allerdings eine Unterscheidung entscheidend: Die vollständige Vier-Bit-Quantisierung und die Nachbearbeitung vorhandener GGUF-Dateien haben unterschiedliche Anforderungen an die Laufzeitumgebung.
Das unter Apache 2.0 veröffentlichte Repository wurde am 10. November 2026 angelegt. Das zugehörige Paper wurde bereits am 7. November bei arXiv eingereicht. Dokumentiert sind Integrationen für llama.cpp, vLLM, Diffusers und PyTorch. Das ergibt eine breite Auswahl an Einsatzwegen, aber noch keinen einheitlichen Ablauf, der für beliebige Modelle und Installationen gleichermaßen funktioniert.
Vier Bit sind nicht überall dasselbe
MACaQ steht für Model Agnostic Calibrated Quantization. Das Verfahren setzt nach dem Training an und behandelt jede lineare Schicht separat. Im Mittelpunkt steht MXFP4 mit Vier-Bit-Gewichten und Vier-Bit-Aktivierungen, kurz W4A4. Gewichte sind die gelernten Modellparameter; Aktivierungen sind die während der Verarbeitung entstehenden Zwischenwerte. Beide mit niedriger Präzision zu verarbeiten, stellt andere Anforderungen als eine ausschließlich gewichtsbasierte Quantisierung.
Um den dabei entstehenden Fehler zu begrenzen, kombiniert MACaQ eine kanalweise Skalierung mit einer Block-Hadamard-Transformation. Diese Transformationen werden während der Inferenz auf die Aktivierungen angewandt; die zugehörigen inversen Transformationen sind in die Gewichte eingerechnet. Hinzu kommt das sogenannte Flip-Refinement: Es verschiebt einzelne FP4-Codes gezielt auf benachbarte darstellbare Werte, statt sich mit dem jeweils nächstgelegenen Rundungsergebnis zu begnügen.
Die zusätzliche Verarbeitung zur Laufzeit ist also Teil des Verfahrens. Laut Paper verursacht sie bei Qwen3-32B in vLLM einen End-to-End-Overhead von 2,3 Prozent gegenüber reinem MXFP4, gemessen bei Batchgröße eins und einer Kontextlänge von 512. Das ist ein konkreter Messpunkt, keine allgemeine Obergrenze für andere Modelle oder Lastprofile.
„Modellagnostisch“ beschreibt dabei den schichtweisen Ansatz, der ohne architekturspezifische Anpassung der Methode auskommen soll. Daraus folgt nicht, dass jedes Modell bereits validiert ist. Die dokumentierten Beispiele belegen eine gewisse Breite; wie weit sich deren Ergebnisse auf weitere Modellfamilien übertragen lassen, bleibt offen.
Für GGUF gibt es zwei unterschiedliche Wege
Für Nutzer lokaler Sprachmodelle ist vor allem die llama.cpp-Anbindung interessant. Hier nennt das Repository GGUF-Formate mit zwei, drei und vier Bit und führt getrennte Rezepte für dichte Modelle, Mixture-of-Experts-Modelle und hybride Architekturen auf. Dieser Pfad ist vom W4A4-Betrieb in anderen Backends zu unterscheiden. Ein GGUF-Artefakt ist nicht automatisch gleichbedeutend mit durchgängiger Vier-Bit-Verarbeitung von Gewichten und Aktivierungen.
Besonders konkret ist die Angabe für MACaQ-R. Diese Variante bearbeitet die Gewichtscodes einer bereits quantisierten GGUF-Datei nach, lässt deren Format und Block-Skalen aber bestehen. Laut Repository soll das Ergebnis mit einer Standardinstallation von llama.cpp laufen. Für die vollständige MACaQ-Quantisierung ist dagegen nicht eindeutig belegt, dass sie ohne den mitgelieferten Runtime-Fork nutzbar ist.
Als Beispiel für MACaQ-R führen die Entwickler Qwen3.6-35B-A3B an. Bei identischer Dateigröße von 22,36 GB sinkt die angegebene KL-Divergenz gegenüber FP16 von 0,015731 bei Unsloth UD-Q4_K_XL auf 0,013367. Nach dieser Kennzahl liegt die nachbearbeitete Variante näher am FP16-Modell. Daraus lässt sich jedoch weder ein Geschwindigkeitsgewinn noch eine entsprechend große Verbesserung der Antwortqualität im Alltag ableiten.
Der praktische Reiz dieses Weges liegt in der Formatkompatibilität: Eine vorhandene Datei soll sich nachbearbeiten lassen, ohne für das Ergebnis zwingend eine angepasste Inferenzsoftware vorauszusetzen. Diese ausdrücklich dokumentierte Eigenschaft von MACaQ-R sollte aber nicht pauschal auf sämtliche MACaQ-Ausgaben übertragen werden.
Die Leistungszahlen brauchen ihren Messkontext
Für vLLM nennt das Repository bei Qwen3.8-27B einen 2,33-fachen Prefill-Durchsatz und einen 2,58-fachen Decode-Durchsatz gegenüber BF16. Prefill bezeichnet die Verarbeitung der Eingabe, Decode die anschließende schrittweise Textausgabe. Die angegebene Perplexität steigt dabei von 2,8463 in BF16 auf 2,8994 mit MACaQ W4A4. In diesem Test steht dem höheren Durchsatz somit eine geringfügig schlechtere Vorhersagegüte nach dieser Metrik gegenüber.
Diese Werte stammen von den Entwicklern. Unabhängige Reproduktionen liegen in den verfügbaren Belegen nicht vor. Sie sind deshalb als Ergebnisse bestimmter Versuchsanordnungen zu lesen, nicht als zugesicherte Beschleunigung für einen lokalen Rechner oder eine andere Serving-Umgebung. Auch ein pauschaler Spitzenplatz gegenüber anderen Quantisierungsverfahren lässt sich daraus nicht ableiten.
Ähnlich einzuordnen ist die Angabe, ein Modell mit 122 Milliarden Parametern in 64 Minuten bei 32,5 GB GPU-Speicher zu quantisieren. Sie betrifft die Aufbereitung des Modells. Sie sagt für sich genommen nichts darüber aus, mit welchem Speicherbedarf oder welcher Geschwindigkeit dieses Modell anschließend in einer konkreten Anwendung läuft.
Mehrere Modalitäten, mehrere Integrationsaufgaben
Die Diffusers-Anleitung dokumentiert unter anderem FLUX.2-klein-4B für Bilder, Wan2.2-TI2V-5B für Videos und einen Community-Checkpoint von Stable Audio. Dabei werden die Transformer-Projektionen mit W4A4 quantisiert. Textencoder, VAE und nicht adressierte Schichten behalten ihre ursprüngliche Präzision. Die Bezeichnung Vier-Bit-Quantisierung gilt hier also für ausgewählte Modellteile, nicht für die vollständige Erzeugungspipeline.
Auch die Kalibrierung benötigt passende Eingaben: Die Beispiele verwenden repräsentative Prompts oder Kalibrierungstext, bei Image-zu-Video zusätzlich Konditionierungsbilder. Für jedes der vier Backends ist eine eigene Python-3.12-Umgebung vorgesehen. Die gemeinsame Methode beseitigt damit nicht die unterschiedlichen Anforderungen der jeweiligen Softwarestacks.
Bei Huaweis eigener Ascend-Plattform ist ebenfalls zwischen Komponenten und fertiger Integration zu unterscheiden. Das Repository verweist auf W4A4-Kernel für dichte und gruppierte Matrixmultiplikation in CANN-Pull-Requests. Für die vollständige Modellausführung ist laut Dokumentation noch die Einbindung in eine Ascend-Inferenzruntime erforderlich.
Für einen ersten Einsatz ist deshalb die Wahl des konkreten Pfades wichtiger als die allgemeine Reichweite des Projekts. Wer bestehende GGUF-Dateien nachbearbeiten will, findet bei MACaQ-R eine ausdrücklich dokumentierte Kompatibilitätsangabe. Wer Gewichte und Aktivierungen mit vier Bit ausführen möchte, muss Backend, Modellabdeckung und Laufzeitanforderungen gesondert prüfen. Ob sich die veröffentlichten Qualitäts- und Durchsatzwerte dabei bestätigen, bleibt eine Aufgabe für unabhängige Tests.
