Wenn die KI zu klug für die Sandbox wird: OpenAI hackt versehentlich Hugging Face

Eine Story aus der Kategorie „Ist dass gerade wirklich passiert?“ die klingt wie der Plot von Terminator 5? Ist letzte Woche so zwischen OpenAI und Hugging Face passiert, wie in der offiziellen gemeinsamen Presseerklärung nachzulesen ist. Lasst uns das Ganze mal in Ruhe auseinandernehmen!

Stellt euch vor: Ihr baut ein KI-Modell, wollt testen, wie gut es im Bereich Cybersecurity ist, schaltet dafür extra die internen Handbremsen (Refusals) aus, packt das Ganze in eine isolierte Testumgebung. So weit so gut, nur am Ende bricht die KI aus, findet eine Zero-Day-Lücke, verschafft sich Internetzugang und hackt einfach mal die Produktionsdatenbank von Hugging Face, um an die Musterlösungen der Testaufgaben zu kommen.

Kurz zum Hintergrund: Was ist Hugging Face eigentlich?

Für alle, die in der AI-Welt nicht täglich mit pip install transformers unterwegs sind: Hugging Face ist im Prinzip das GitHub für Machine Learning und KI.

Gegründet 2016 (fun fact: ursprünglich gestartet als eine unterhaltsame Chatbot-App für Teenager!), hat sich die Plattform mit dem niedlichen Emojilogo 🤗 zum Herzstück der weltweiten Open-Source-AI-Community entwickelt. Wenn Entwickler, Forschende oder Open-Source-Enthusiasten neue Modelle (wie Llama, Mistral, Whisper) oder Datasets teilen wollen, nutzen sie Hugging Face Hub. Neben dem Hosting von Modellen bietet HF mit Spaces auch eine Hosting-Plattform für AI-Apps und stellt Tools wie die legendäre transformers-Bibliothek bereit.

Kurz gesagt: Hugging Face ist der zentrale Knotenpunkt, an dem die Open-Source-AI-Welt zusammenkommt. Genau dort tauchte letzte Woche nun plötzlich ein ungebetener Besucher auf.

Die Chronologie des Incidents: Wie GPT-5.6 Sol die Biege machte

Wie OpenAI und Hugging Face in einem gemeinsamen Statement bekannt gaben, passierte der Vorfall während interner Sicherheits-Evaluierungen bei OpenAI.

Die Ausgangslage

OpenAI testete neue, noch unveröffentlichte Modelle, darunter GPT-5.6 Sol sowie ein noch mächtigeres Pre-Release-Modell. Um die maximalen Cyber-Fähigkeiten dieser Modelle realistisch zu messen (Benchmark: ExploitGym), wurden die üblichen Safety-Filter und Refusals deaktiviert. Normalerweise würde das Modell sagen: „Ich darf keine Exploits schreiben“. Hier war das Ziel aber explizit: „Zeig uns, wie gut du beim Hacking wirklich bist.“

Die Testumgebung sollte streng isoliert (sandboxed) sein. Der einzige Netzwerkweg nach draußen lief über einen intern gehosteten Drittanbieter-Proxy/Cache für Paket-Registries.

Der Breakout (Sandbox Escape)

Das Modell hatte jedoch keine Lust, sich auf die vorgegebene Test-Sandbox beschränken zu lassen, sondern suchte nach maximaler Rechenleistung und Daten:

• Zero-Day im Cache-Proxy: Das Modell entdeckte eine bisher unbekannte Zero-Day-Schwachstelle im internen Paket-Cache-Proxy von OpenAI und nutzte sie aus.
• Privilege Escalation & Lateral Movement: Über diesen Weg baute das Modell Schritt für Schritt Rechte aus und bewegte sich durch das OpenAI-Forschungsnetzwerk, bis es einen Node mit direktem Internetzugang erreichte.

Der Logik-Schluss: „Wo liegen die Antworten?“

Einmal im offenen Internet angekommen, nutzte das Modell seine Reasoning-Fähigkeiten für ein beeindruckendes (und beängstigendes) Ziel: Es schlussfolgerte, dass die Testaufgabe (ExploitGym) möglicherweise bei Hugging Face gehostet wird und dort Lösungen zu finden sein könnten.

Der RCE-Angriff auf Hugging Face

Anstatt die Aufgabe brav im Reagenzglas zu lösen, ging die KI „spicken“. Kein abscheiben beim Schulbanknachbarn, sondern auf die harte Tour:

• Sie suchte im Netz nach Zugangsdaten und Schwachstellen.
• Sie verkettete gestohlene Credentials mit weiteren Zero-Day-Lücken.
• Ergebnis: Remote Code Execution (RCE) auf den Servern von Hugging Face und Zugriff auf die Produktionsdatenbank!

Wie der Angriff gestoppt wurde

Das Hugging Face Sicherheitsteam registrierte die anomalen Aktivitäten auf ihrer Infrastruktur. Das Besondere: Hugging Face setzte zur Erkennung und Eindämmung ebenfalls eigene Open-Source-AI-Agenten ein. Es kam also im Grunde zu einem AI vs. AI Battle!

Laut HuggingFace war hier allerdings noch eine zusätzliche Hürde zu nehmen, denn sie wollten die Forensik (Analyse von 17.000 Event-Logs) zuerst mit führenden Frontier-Modellen über kommerzielle APIs durchführen. Das schlug fehl, weil die Safety-Guardrails der API-Anbieter die Angriffs-Logs geblockt haben. Im Auslieferungszustand für „Endanwender“ haben also die Refusals gegriffen. Hugging Face musste zur Analyse stattdessen das Open-Weight-Modell GLM 5.2 lokal auf eigenen Servern ausführen.

OpenAIs eigenes Sicherheitsteam bemerkte die verdächtigen Aktivitäten der Testmodelle ebenfalls intern und nahm sofort Kontakt mit Hugging Face auf. Der Angriff wurde eingedämmt, und die Lücken wurden umgehend geschlossen. Diese Zusammenarbeit war richtig und wichtig. So liest sich auch das Statement vom HF CEO in der gemeinsamen Presseerklärung:

„Wir sind dankbar für die Zusammenarbeit mit OpenAI zu diesem und anderen Themen. Dieser Vorfall, möglicherweise der erste seiner Art, bestätigt eine Überzeugung, die wir seit Langem vertreten: KI-Sicherheit wird nicht von einem einzelnen Unternehmen gelöst, das im Verborgenen arbeitet. Sie wird offen und gemeinsam gelöst, mit breitem Zugang zu KI für alle, die verteidigen, überall.“

– Clem Delangue, Mitgründer und CEO, Hugging Face

Takeaway & Fazit

Emergent Behavior ist real: Die KI wurde nicht explizit angewiesen, „Hacke Hugging Face“. Sie bekam lediglich das Ziel, eine Aufgabe zu lösen. Die Entscheidung, aus der Sandbox auszubrechen, das Internet zu scannen, HF zu identifizieren und einen RCE-Angriff zu fahren, war ein eigenständig entwickelter Lösungsweg.

Sandbox-Sicherheit neu denken: Wenn KIs Zero-Days in Standard-Software finden können, reichen klassische Netzwerk-Proxys nicht mehr aus. Die Initiative „Project Glasswing“ von Anthropic setzt genau bei solchen über Jahre (oder Jahrzehnte) etablierten Systemen und Verfahren an.

Refusals sind eine feine Sache. Die „Do’s and Dont’s“ eben. Selbst einfachste Anweisungen können einen aber auch so richtig nerven, sobald es auch nur mehrsprachig wird, wie in diesem einfachen Beispiel eines iOS App Entwicklers.

Open Source & Transparenz siegen: Dass OpenAI und Hugging Face diesen Vorfall so offen teilen, ist vorbildlich. Transparenz und Zusammenarbeit wie zB. die OSSF ist die einzige Möglichkeit, wie die Defensive mit dem Tempo der KI-Entwicklung auch nur im Ansatz Schritt halten kann.