Im Juli 2026 veröffentlichte Moonshot AI Kimi K3, das größte jemals ausgelieferte Open-Weight-Modell, und seine Benchmark-Charts zeigten Siege über amerikanische Frontier-Modelle bei Coding- und Agenten-Aufgaben. Unabhängige Tests fanden anschließend eine Halluzinationsrate von rund 51 Prozent, die in diesen Charts nie auftauchte. Nach siebzehn Jahren in der Enterprise-Security, über zweihundert Audits und mehr ISO-27001-Programmen, als ich zählen möchte, kenne ich dieses Muster in- und auswendig. Es ist Compliance-Theater mit Leaderboard, und man verteidigt sich dagegen so, wie ein guter Auditor arbeitet: die Eigenbelege der geprüften Partei niemals als die ganze Geschichte akzeptieren.
Das hier ist eigentlich kein Beitrag über ein einzelnes chinesisches Modell. Kimi K3 ist nur das sauberste Anschauungsobjekt für einen Fehlermodus, den die gesamte KI-Branche inzwischen im großen Maßstab betreibt.
Was passiert ist, und was weggelassen wurde
Der Release selbst war beeindruckend: 2,8 Billionen Parameter, ein Kontextfenster von einer Million Token, offene Gewichte zum Herunterladen. Das Modell führte mehrere öffentliche Leaderboards an, darunter eine Frontend-Coding-Arena, in der es die besten geschlossenen US-Modelle schlug, und es landete mitten in einem geopolitischen Feuersturm: Das Weiße Haus behauptete, das Modell sei durch Destillation eines US-Konkurrenten entstanden, und Peking entwarf als Antwort Exportkontrollen.
Dann kamen die unabhängigen Zahlen. Tests fanden das Modell in etwa der Hälfte der gemessenen Fälle halluzinierend, eine Zahl, die in Moonshots veröffentlichten Benchmark-Charts fehlt, und das britische Cyber Institute stellte fest, dass Cyber- und Mathematik-Fähigkeiten trotz der Schlagzeilen-Siege weit hinter der geschlossenen Spitze zurückbleiben. Niemand hat Moonshot beschuldigt, einen Score gefälscht zu haben. Das war auch nicht nötig. Sie haben schlicht die Benchmarks veröffentlicht, die das Modell gewinnt, und die Messung weggelassen, die es verliert.
Selektive Offenlegung ist keine chinesische Erfindung, und es wäre naiv, das als Sünde eines einzelnen Labors zu lesen. Jede Model Card jedes Anbieters ist ein kuratiertes Dokument. Kimi K3 zählt, weil die Lücke zwischen kuratierter Geschichte und gemessener Realität binnen Tagen öffentlich von Dritten beziffert wurde. Meistens prüft niemand nach.
Ich habe diesen Film in zweihundert Audit-Räumen gesehen
Siebzehn Jahre Compliance-Arbeit lehren einen Folgendes: Organisationen optimieren nicht darauf, sicher zu sein. Sie optimieren auf die Messung des Sicherseins. Gib Menschen eine Checkliste, und sie bauen auf die Checkliste hin. Gib ihnen einen Audit-Termin, und die Kontrollen funktionieren am Audit-Termin wunderbar. Das Zertifikat an der Wand ist echt; die Sicherheit, die es suggeriert, ist eine separate Frage, für deren Beantwortung das Zertifikat nie gebaut wurde.
Über die operative Version davon habe ich in Sicherheitskontrollen, die still versagen geschrieben: das Backup, das seit drei Jahren jede Nacht erfolgreich läuft und aus dem noch nie wiederhergestellt wurde, die Alert-Regel, die in einen Kanal feuert, den niemand liest. Die Kontrolle besteht ihre Prüfung. Die Prüfung hat leise aufgehört, das zu messen, worauf es ankommt. Goodharts Gesetz ist der akademische Name, „wenn eine Messgröße zum Ziel wird, hört sie auf, eine gute Messgröße zu sein“, aber Auditoren kannten das, lange bevor Ökonomen es benannten.
KI-Benchmarks sind die am schnellsten laufende Instanz dieses Gesetzes, die ich je beobachtet habe. Training auf dem Testset hat einen höflichen Branchennamen, Kontamination. Handverlesene Evaluations-Suiten heißen Model Card. Ein für das Leaderboard getunter Release, während die ausgelieferte Variante sich anders verhält, heißt Optimierung. Jedes davon hat ein exaktes Gegenstück in der Compliance, und jedes davon würde in einem halbwegs ordentlichen Audit auffallen.
Benchmark-Theater und Compliance-Theater im Vergleich
| Compliance-Theater | Benchmark-Theater | |
|---|---|---|
| Das Artefakt | Zertifikat, Audit-Bericht | Leaderboard-Platz, Model Card |
| Optimiert auf | Die Checkliste des Auditors | Die Benchmark-Suite |
| Was verborgen bleibt | Lücken bei kompensierenden Kontrollen, Scope-Ausschlüsse | Halluzinationsraten, kontaminierte Trainingsdaten |
| Das Erkennungszeichen | Kontrollen, die nur am Audit-Tag funktionieren | Scores, die nur auf der veröffentlichten Suite halten |
| Wer es herausfindet | Incident Responder, irgendwann | Ihre Nutzer, in Produktion |
| Die Abhilfe | Unabhängige Tests jenseits der Checkliste | Unabhängige Evals auf dem eigenen Workload |
Die letzte Zeile ist die ganze Lektion. In beiden Welten ist die Eigenauskunft der geprüften Partei ein Startpunkt, nie ein Ergebnis. Die unabhängige Messung des britischen Cyber Institute hat für die Wahrheit über Kimi K3 in einem Bericht mehr geleistet als jedes Leaderboard, das es anführte. Genau dafür gibt es unabhängige Prüfung, und genau diese Disziplin habe ich in von CVSS zur Angriffs-Erfolgsrate bei KI-Risiken vertreten: Messen Sie das Verhalten, mit dem Sie leben werden, nicht den Score, den jemand anderes zu veröffentlichen beschloss.
Was Benchmarks strukturell nicht leisten können
Selbst ehrliche, sauber durchgeführte Benchmarks beantworten eine schmale Frage: Wie schneidet dieses Modell auf diesem festen Aufgabensatz ab, in diesem Moment, mit diesen Einstellungen. Drei Lücken zählen für jeden, der KI produktiv einsetzt:
- Sie testen nicht Ihren Workload. Ein Modell, das eine Coding-Arena gewinnt, kann bei Ihrer Dokumenten-Extraktion, Ihren Tonvorgaben, Ihren regulatorischen Formulierungen mittelmäßig sein. Die Korrelation zwischen Leaderboard-Platz und Eignung für eine konkrete Enterprise-Aufgabe ist weit schwächer, als Procurement-Folien annehmen.
- Sie testen kein Fehlverhalten. Eine Halluzinationsrate von 51 Prozent ist kein Fähigkeits-Score, sondern ein Zuverlässigkeits-Score, und Zuverlässigkeit bei Mehrdeutigkeit, feindseligen Eingaben oder fehlendem Kontext trennt die Demo vom System. Die Fehlermodi der OWASP LLM Top 10 liegen genau in dem Gelände, das Benchmarks auslassen.
- Sie überleben die Zeit nicht. Modelle werden still aktualisiert, fürs Serving quantisiert, in neue System-Prompts verpackt. Das Artefakt, das Sie im Juli gebenchmarkt haben, ist nicht zwingend das Artefakt, das im November Ihren Kunden antwortet. Ein Score ist ein Schnappschuss; Produktion ist ein Film.
Modelle so evaluieren, wie ein Auditor Kontrollen prüft
Die übertragbare Methode aus zweihundert Audits passt in fünf Schritte:
- Belege verlangen, nicht Behauptungen. Eine Model Card ist eine Management-Aussage. Behandeln Sie sie als solche. Fragen Sie, was gemessen wurde, auf welchen Daten, mit welchen Einstellungen, und was gemessen, aber nicht veröffentlicht wurde. Schweigen zu Halluzinations-Metriken ist selbst ein Befund.
- Auf eigenen Daten testen. Bauen Sie ein privates Eval-Set aus Ihrem realen Workload, fünfzig bis zweihundert Fälle mit bekannt richtigen Antworten, und lassen Sie jeden Kandidaten dagegen laufen. Privat ist der Punkt: Worauf der Anbieter keinen Blick hat, darauf kann er nicht trainieren.
- Fehlermodi gezielt testen. Mehrdeutige Eingaben, Fragen ohne Antwort im Kontext, feindselige Formulierungen. Bewerten Sie Verweigerungen und Halluzinationen getrennt. Ein Modell, das „ich weiß es nicht“ sagt, besteht; ein Modell, das erfindet, fällt durch, egal welchen Arena-Platz es hält.
- Nach Plan erneut testen. Mindestens quartalsweise, und bei jedem anbieterseitigen Modell-Update, das Sie erkennen können. Drift in Eval-Scores ist Ihr Frühwarnsystem, dieselbe Rolle, die Log-Auswertung in der KI-Bedrohungserkennung spielt.
- Unabhängige Messungen immer über Anbieter-Messungen stellen. Wo eine dritte Partei adversariale oder Zuverlässigkeits-Tests veröffentlicht hat, schlägt diese Zahl die Hochglanz-Zahl. Die Lücke zwischen beiden ist die informativste Metrik, die es über einen Anbieter gibt.
Das unbequeme Fazit
Die KI-Branche wiederholt gerade, in zehnfacher Geschwindigkeit, die fünfzehnjährige Reise der Security-Branche von „wir haben das Audit bestanden“ zu „wir testen unsere Kontrollen selbst, weil das Audit der Boden ist, nicht die Decke“. Manche Organisationen lernten diese zweite Haltung nach einem Vorfall. Andere lernen noch. Wer Modelle auf Basis von Leaderboard-Screenshots produktiv setzt, stellt sich für dieselbe Lektion an, und wie die autonomen Angriffs-Vorfälle dieses Jahres zeigen, steigen die Studiengebühren.
Kimi K3s fehlende 51 Prozent wurden nicht durch Lügen versteckt. Sie wurden durch Weglassen versteckt, und so wird in meinem Fach fast alles versteckt. Die Verteidigung hat sich in siebzehn Jahren nicht geändert: unabhängige Messung, auf eigenem Terrain, nach Plan, mit der Annahme, dass jede Eigenauskunft Marketing ist, bis sie verifiziert wurde. Die Lektion verallgemeinert weit über ein Modell hinaus, wie die meisten Compliance-Lektionen. Benchmarks sind nützlich. Benchmarks von der Partei, die gebenchmarkt wird, sind Theater, bis eine dritte Partei hinter der Bühne war.
Wenn Sie KI-Modelle auf Basis von Benchmark-Belegen auswählen oder einsetzen und eine unabhängige Bewertung wollen, wie sie sich auf Ihrem tatsächlichen Workload verhalten, fragen Sie ein Review an. Ich führe KI-Security- und Evaluierungs-Engagements durch, verankert in über 17 Jahren Enterprise-Cybersecurity.