Apertus: Ein Schweizer Sprachmodell krempelt Teile der KI-Welt um

Habt ihr euch schon mal gefragt, wie Sprachmodelle wie ChatGPT eigentlich funktionieren? Oft bleibt das ein Geheimnis, weil die großen Tech-Konzerne ihre Daten und Algorithmen streng hüten.

In der Schweiz wurde im September ein neues Kapitel aufgeschlagen: Mit Apertus gibt es ein Sprachmodell, das von Grund auf offen und transparent entwickelt wurde. Das ist ein Meilenstein für die Wissenschaft und für uns alle.

Warum ist Apertus so besonders?

Der Name Apertus kommt aus dem Lateinischen und bedeutet „offen“. Und das beschreibt die Philosophie dahinter perfekt. Dieses Projekt, das federführend von der EPFL, der ETH Zürich und dem CSCS (dem Schweizerischen Supercomputing-Zentrum) vorangetrieben wurde, ist ein Gegenentwurf zu den „Blackbox“-Modellen. Hier ist der gesamte Entwicklungsprozess – von der Architektur über die Trainingsdaten bis hin zum Quellcode – frei zugänglich und umfassend dokumentiert.

Diese Transparenz ist nicht nur ein nettes Gimmick, sie ist ein Game Changer. Sie ermöglicht es Forschenden und Entwickelnden, die Funktionsweise genau zu verstehen, das Modell für ihre eigenen Projekte anzupassen und die Ergebnisse zu reproduzieren. Martin Jaggi, Professor an der EPFL, nennt es ein „Musterbeispiel für ein vertrauenswürdiges KI-Modell“.

Ein Sprachmodell für die globale Vielfalt

Eines der größten Probleme vieler großer Sprachmodelle ist ihre starke Ausrichtung auf die englische Sprache. Aber Apertus geht einen anderen Weg. Es wurde auf gigantischen 15 Billionen Worten trainiert, die aus über 1.000 Sprachen stammen. 40 % dieser Daten sind nicht-englischsprachig! Das ist eine echte Besonderheit.

Dadurch hat Apertus auch Zugang zu Sprachen, die sonst in der KI-Welt oft ignoriert werden, wie zum Beispiel Schweizerdeutsch und Rätoromanisch. Dies macht das Modell nicht nur vielseitiger, sondern auch kulturell relevanter, vor allem im mehrsprachigen Schweizer Kontext.

Open Source – ein Impuls für die Zukunft

Die Initiatoren sehen Apertus nicht einfach als fertiges Produkt. Thomas Schulthess, Direktor des CSCS, beschreibt es vielmehr als „Impulsgeber für Innovationen“. Es soll eine Basistechnologie sein, die das Fundament für neue Anwendungen wie Chatbots, Übersetzer oder digitale Lernwerkzeuge bildet.

Das Modell steht in zwei verschiedenen Größen bereit: eine Variante mit 8 Milliarden Parametern für individuelle Nutzer und eine mit 70 Milliarden Parametern für größere Projekte. Beide Versionen sind unter einer permissiven Open-Source-Lizenz veröffentlicht, die sogar die kommerzielle Nutzung erlaubt.

Zugang für alle: Von Fachleuten bis zu Enthusiasten

Wollt ihr selbst mit Apertus experimentieren? Für Fachleute und erfahrene Anwendende ist der Zugang unkompliziert:

• Ihr könnt die Modelle auf der Plattform Hugging Face herunterladen. Dort findet ihr auch alle wichtigen Dokumentationen.
• Als strategischer Partner stellt auch Swisscom das Modell über ihre souveräne Swiss AI Platform für Firmen zur Verfügung.
• Für alle, die an einer globalen Bewegung für offene KI teilnehmen wollen, ist das Modell auch über die Public AI Inference Utility zugänglich.

Für alle, die sich direkt in die Materie stürzen wollen, bieten die Swiss-AI-Weeks seit Anfang September eine ideale Gelegenheit. Hier finden Hackathons statt, bei denen Entwickelnde das Modell ausprobieren und wertvolles Feedback für die Weiterentwicklung geben können.

Transparenz und Ethik als Grundprinzipien

Ein weiterer wichtiger Aspekt bei der Entwicklung von Apertus war die Einhaltung höchster ethischer Standards. Die Entwickler haben sichergestellt, dass das Modell alle Schweizer Datenschutz- und Urheberrechtsgesetze sowie die Transparenzvorgaben des EU AI Act erfüllt.

Das Training basierte ausschließlich auf öffentlich zugänglichen Daten. Dabei wurden strenge Filter eingesetzt, um persönliche Daten und unerwünschte Inhalte zu entfernen. Apertus zeigt, dass man ein leistungsstarkes KI-Modell bauen kann, ohne Kompromisse bei den Grundwerten wie Transparenz, Verantwortung und Gemeinwohl einzugehen.

Ein gemeinschaftliches Projekt

Apertus ist ein Gemeinschaftswerk. Es ist das Ergebnis der Zusammenarbeit von Forschenden, Ingenieuren und Studierenden aus der ganzen Schweiz. Das Projekt wurde durch eine Investition von über 10 Millionen GPU-Stunden auf dem Supercomputer Alps am CSCS sowie durch den ETH-Rat finanziert. Auch Swisscom hat als strategischer Partner maßgeblich zur Finanzierung beigetragen.

Wie Antoine Bosselut von der EPFL betont, ist die Veröffentlichung von Apertus „kein Endpunkt, sondern der Beginn einer Reise“. Ziel ist es, eine offene, vertrauenswürdige und souveräne KI-Grundlage für das weltweite Gemeinwohl zu schaffen.