Wird "Soofi" Deutschlands Weg zur KI-Souveränität?

Hey Leute! Wenn es um künstliche Intelligenz geht, schauen alle immer erst gebannt ins Silicon Valley zu OpenAI (ChatGPT) oder Anthropic (Claude). Doch im Hintergrund brennt nach wie vor eine fundamentale Frage für Europa:

Wie unabhängig sind wir eigentlich, wenn die US-Giganten morgen den Stecker ziehen, die Preise vervielfachen oder den Zugriff drosseln?

Genau hier kommt Soofi ins Spiel, Deutschlands aktuellstes Projekt für digitale KI-Souveränität. (Ausgesprochen: Sovereign OpenSource Foundation) Doch kaum war Mitte Juni das erste Modell Soofi-S am Start, gab es in der Tech-Szene ordentlich Gegenwind: Von „Spitzenleistung und Meilenstein für den Standort Deutschland“ relative à: „Geldverschwendung und geschönten Leistungstests“ bis hin zu „Oh. So they Volkswagen’d it“ war zB. auf X/Twitter erstmal alles dabei.

Wir haben uns die Hintergründe genauer angeschaut, den Technik-Jargon für euch aufgedröselt und dem ganzen ein wenig auf den Zahn gefühlt!

Die Key-Facts auf einen Blick:

Fördersumme Phase 1: ~25 Millionen Euro vom Bundeswirtschaftsministerium (BMWE).
Modellgröße Soofi-S: 31,6 Milliarden Parameter insgesamt, aber nur 3,2 Milliarden aktiv pro Rechenschritt.
Trainingsdaten: Gigantische 26 Billionen Tokens (hochqualitative deutsche & englische Daten).
Rechenpower: 253.000 GPU-Stunden auf Nvidias B200-Chips.
Licence : Apache-Lizenz (Open Source bei Code, Gewichten und Daten).
Télécharger: via Huggingface.co

Was ist Soofi überhaupt und warum zahlt der Steuerzahler dafür?

Das Wirtschaftsministerium hat rund 25 Millionen Euro investiert, um ein Konsortium aus Unis, Forschungsinstituten (wie Fraunhofer und DFKI) sowie Start-ups (Ellamind, Merantix Momentum) zusammenzutrommeln. Rund 30 Experten arbeiten direkt an dem Projekt.

Das Ziel: Ein europäisches Open-Source-Foundation-Modell aufzubauen. Das Besondere im Vergleich zu US-Anbietern: Nicht nur der Code, sondern auch die Modellgewichte und die Trainingsdaten sind offen. Unternehmen sollen sich diese Basis nehmen und sie für ihre eigenen, hochspeziellen Bedürfnisse anpassen können. Nur eben OpenSource und ohne dass sensible Firmendaten auf amerikanischen Servern landen!

Technik verständlich: Wie Soofi-S wirklich funktioniert

Soofi-S ist kein riesiges, unhandliches Mega-Modell, sondern setzt auf ein cleveres, modernes Architektur-Design.

Tech-Talk übersetzt: Mixture of Experts (MoE) Stellt euch ein riesiges Bürogebäude vor. Statt dass ein einziger Mitarbeiter versuchen muss, ALLES perfekt zu wissen, sitzen in diesem Büro viele spezialisierte Experten. Wenn eine Frage reinkommt (z. B. zur Chemie), leitet der Pförtner (der sogenannte „Router“) die Frage genau an den Chemie-Experten weiter.

Bei Soofi-S heißt das: Von den insgesamt 31,6 Milliarden Parametern (Gesamtwissen) werden bei jeder Aufgabe immer nur ca. 3,2 Milliarden Parameter aktiviert. Die Idee dahinter: Das spart extrem viel Rechenleistung, macht die Antworten blitzschnell und hält die Serverkosten niedrig!

Als Basis diente zwar Nvidias Modell Nemotron 3 Nano (was Kritiker bemängelten), aber das Team hat das Modell nicht einfach kopiert. Sie haben ein eigenes Trainings- und Reinforcement-Learning-Konzept entwickelt und es mit 26 Billionen Tokens gefüttert, darunter ein großer Brocken aus hochqualitativen, deutschen Fach- und Zeitungsdaten (u. a. über eine Lizenz des Genios-Archivs).

Klingt doch erstmal gut, warum also der Shitstorm? Hat Soofi beim Leistungstest geschummelt?

Kaum war Soofi-S veröffentlicht, gab es die ersten Dämpfer. Der Leistungstest (Benchmark) von Soofi-S sei manipuliert worden!

Das Problem: Test Data Leakage Wenn eine KI trainiert wird und versehentlich die Prüfungsfragen aus dem späteren Leistungstest (z. B. dem renommierten GPQA-Diamond Test) im Trainingsmaterial enthalten sind, ist das wie ein Schüler, der vor einer Klausur genau den Lösungsbogen zum Auswendiglernen bekommt. Das Modell glänzt im Test phänomenal, ist in der Praxis aber gar nicht so schlau.

Was sagt der Macher dazu? Prof. Dr. Alexander Löser erklärt im Interview mit Golem, dass durch einen Fehler beim Herunterladen eines externen Datensatzes (TUDA/QA-base von Hugging Face) fälschlicherweise paraphrasierte Prüfungsfragen in die Trainingsphase gerutscht sind. Das Team hat den Fehler transparant gemacht, den GPQA-Test komplett aus den Benchmarks herausgerechnet und den wissenschaftlichen Bericht korrigiert. Löser betont, dass die mehr als 80 anderen Tests völlig sauber waren und das Modell nach wie vor exzellent abschneidet.

Auch empfehlenswert ist hier der VDI-Podcast „Technik aufs Ohr“

In der Podcastfolge 136 diskutiert Host Christopher Baczyk die Frage ob Europa seine Souveränität verliert mit eben diesem oben genannten Professor Löser von der Berliner Hochschule für Technik. Falls Ihr euch jetzt fragt warum denn ausgerechnet er sowohl bei Golem und auch dem VDI der Ansprechpartner ist: Er hat an Soofi mitgearbeitet!

Die Strategie: „Internet der Experten“ statt Mega-Monolithe

Warum bauen wir in Deutschland nicht einfach unser eigenes ChatGPT mit 1.000 Milliarden Parametern? Löser bringt es gewohnt pragmatisch auf den Punkt: Dafür fehlen Europa schlicht die Milliarden-Budgets und die nötige Energie-Infrastruktur für riesige Datenzentren!

Europas Erfolgsrezept liegt nicht in gigantischen Allrounder-Modellen, sondern im Ensemble-Ansatz:

Spezialisierte KI-Experten: Ein deutsches Industrieunternehmen nimmt ein Soofi-Basismodell und trainiert es mit seinem eigenen Fachwissen (z. B. Batterieforschung oder Maschinenbau).
Das „Internet der Experten“: Viele spezialisierte KIs vernetzen sich untereinander. Wenn ein Problem gelöst werden muss (z. B. die Entwicklung eines E-Autos), arbeiten die KI-Experten für Chemie, Regulierungen und Mechanik Hand in Hand zusammen.
Bezahlbar & Sicher: Solche spezialisierten Mini-KIs laufen auf normaler Firmen-Hardware oder bei europäischen Cloud-Anbietern.

Der Hardware-Haken: Wie „souverän“ sind wir wirklich?

Hier müssen wir ehrlich sein: Soofi-S wurde in der Industrial AI Cloud von T-Systems in München (Link zum Whitepaper) auf 1.024 Nvidia B200 GPUs trainiert. Rund 19 Millionen Euro des Budgets flossen direkt in die Rechenzeit.

Das zeigt die grösste Schwachstelle der europäischen Digitalpolitik: Selbst wenn der Code und die Daten zu 100 % europäisch sind, ohne US-Hardware von Nvidia läuft aktuell fast nichts. Sollten die USA unter aktueller oder einer zukünftigen Regierung den Export von KI-Hardware nach Europa einschränken, stünden wir im Regen. Eigene europäische Chip-Projekte wie Vsora ou Dare stehen leider noch am Anfang.

Da dass Projekt aktuell auch noch im Beta Stadium ist und die von der Telekom gehostete Testphase läuft ist auch die finale lizenzrechtliche Einordnung bisher offen, auch wenn die Open Source AI Definition 1.0 voll erfüllt wird, vom Einsatz in Prduktivsystemen ist noch dringend abzuraten.

Ausblick: Wie geht es weiter?

Ab Q4 2026: Die verbesserten und feingetunten Versionen von Soofi-S (inkl. Instruct- und Reasoning-Modellen wie Isar et Rhine) sollen komplett frei auf Hugging Face bereitstehen. Rechtlicher Hinweis hierzu:
Praxis-Guide für Firmen: Bis Ende 2026 will das Team auch Anleitungen veröffentlichen, wie kleine und mittlere Unternehmen ihre Daten passend aufbereiten können, um damit Ihre ganz eigene Soofi-Experten zu bauen.
Soofi Phase 2 (möglichwerweise ab 2027): Geplant ist eine zweite Förderphase mit 30 bis 40 Millionen Euro. Damit soll ein noch größeres MoE-Modell mit 300 bis 800 Milliarden Parametern gebaut werden.

Kurzanleitung SOOFI-S Beta selbst ausprobieren

Soofi-S lokal mit LM Studio für Einsteiger (oder vLLM falls Du keine Angst vor Kommandozeilen hast)

Du willst das deutsche Open-Source-Modell Soofi-S auf deiner eigenen Hardware laufen lassen? Nicht wie die üblichen Verdächtigen, sondern ganz ohne Cloud, ohne Abo und mit 100 % Datenschutz? Mit passender Hardware und LM Studio (GGUF Versionen) oder vLLM (BF8, EntQuant,…) geht das in wenigen Klicks/Befehlen!

1. Hardware-Check (Bevor du startest)

Arbeitsspeicher (RAM/VRAM): Für die quantisierten Version von Soofi-S reicht dir in der Regel 24 GB RAM (besser: VRAM auf deiner Grafikkarte, sonst schläft dir der Huf ein).
Soofi S ist ein Mixture-of-Experts-Modell mit 31,6 Milliarden Parametern insgesamt, wovon pro Token nur rund 3,2 Milliarden aktiviert werden. Trotzdem müssen tous Gewichte im Speicher liegen.
Je nach Quantisierung brauchst Du laut offizieller GGUF-Seite: Q4_K_M ≈ 21 GB, Q5_K_M ≈ 25–26 GB (empfohlener Standard), Q8_0 ≈ 32–34 GB. Plane mindestens 32 GB RAM (oder VRAM/Unified Memory bei Mac) ein. Apple-Silicon-Macs (M2/M3/M4 Pro/Max mit ausreichend Unified Memory) eignen sich wegen der MoE-Architektur gut, ebenso Windows/Linux-PCs mit potenter GPU + viel VRAM
Espace de stockage: Halte auch ca. 5 bis 10 GB freien NvME/SSD-Speicher bereit.

2. LM Studio vorbereiten

Télécharger: Falls noch nicht geschehen, hol dir LM Studio von lmstudio.ai und installiere es. Alte Versionen bitte updaten und zusätzlich in den Einstellungen (Developer-Modus) die Runtime/Engine aktualisieren: Soofi S nutzt eine Custom-Architektur („nemotron_h_moe“), die ältere llama.cpp/LM-Studio-Versionen noch nicht kannten (Fehlermeldung „unknown model architecture“). Diese Unterstützung wurde erst im Laufe 2026 nachgerüstet, ohne aktuelle Runtime lädt das Modell nicht.
App starten: Öffne die Anwendung und wechsel über die linke Seitenleiste in den „Entdecken“-Tab (Lupe oder Kürzel Ctrl + 2 / ⁇ + 2).

3. Soofi-S auf Hugging Face finden & herunterladen

Suchleiste nutzen: Gib oben in die Suche Soofi-S GGUF un. (Alternativ: Kopiere direkt die Hugging Face URL der Soofi-S GGUF-Version in die Suchleiste).
Die richtige Quantisierung (GGUF-Datei) wählen:
- Empfehlung für den Einstieg: Wähle eine Version wie Q4_K_M dann kommst Du evtl. auch schon mit 24GB (V)RAM ans Ziel, wenn auch quälend langsam.
Download starten: Klicke neben deiner Wunsch-Datei auf „Herunterladen“. Den Fortschritt siehst du im Tab Downloads.

4. Modell laden & loschatten

Modell auswählen: Wechsel zum Chat-Tab (Sprechblasen-Symbol auf der linken Seite).
In den Speicher laden: Klicke oben auf die Dropdown-Leiste („Select a model to load“) und wähle dein heruntergeladenes Soofi-S GGUF-Modell à partir de.
Chat starten: Sobald der Ladebalken grün ist, ist Soofi-S einsatzbereit! Stelle der KI Fragen auf Deutsch oder lass sie Aufgaben lösen, wie gesagt läuft dass nun komplett offline auf deinem Rechner.

Pro-Tipps für Power-User:

Offloading auf GPU: Wenn du eine NVIDIA/AMD-Grafikkarte oder einen Apple-M-Chip hast, schalte in den Modelleinstellungen das GPU Offloading an/hoch, um maximale Generation-Geschwindigkeit (Tokens/Sekunde) herauszukitzeln.
Lokaler API-Server (Optional): Nutze im Developer-Modus von LM Studio den Local Server-Tab. Damit stellt dir LM Studio eine OpenAI-kompatible Schnittstelle (http://localhost:1234/v1) bereit, über die du Soofi-S in eigene Scripts, Browser-Extensions oder Workflows einbinden kannst!
Alle EntQuant-Varianten sind weiterhin vLLM-only, brauchen Docker + Linux (ggf. WSL2 unter Windows) nicht LM Studio.

TL:DR

Is Soofi die sofortige Rettung unserer KI-Zukunft? Nein, dafür ist die Hardware-Abhängigkeit von den USA noch zu groß. Aber es ist ein extrem wichtiger und durchdachter Schritt!

Der Ansatz, nicht stur das US-Konzept der gigantischen, stromfressenden „Monolith-KIs“ zu kopieren, sondern ein vernetztes Ökosystem aus spezialisierten Open-Source-Modellen aufzubauen, passt perfekt zur europäischen Industrie. Wenn Phase 2 liefert und die Unternehmen mitziehen, könnte Soofi genau der Nischen-Spezialist werden, den Europa braucht!

Wird „Soofi“ Deutschlands Weg zur KI-Souveränität oder ist das nur schöner Schein?