Apertus : Un modèle linguistique suisse bouleverse une partie du monde de l'IA

Vous êtes-vous déjà demandé comment fonctionnent les modèles vocaux tels que ChatGPT? Souvent, cela reste un secret, car les grandes entreprises technologiques gardent strictement leurs données et leurs algorithmes.

En Suisse, un nouveau chapitre a été ouvert en septembre: Avec Apertus Il existe un modèle linguistique qui part de zéro. Ouvert et transparent développé. C'est une étape importante pour la science et pour nous tous.

Pourquoi Apertus est-il si spécial?

Le nom Apertus vient du latin et signifie «ouvert». C'est ce que décrit parfaitement la philosophie qui la sous-tend. Ce projet, mené par la EPFL, qui EPF de Zurich et le CSCS (Centre suisse de supercalcul) est un contre-projet aux modèles de «boîte noire». Voici l’ensemble du processus de développement, de l’architecture aux données de formation en passant par le code source: Librement accessible et largement documenté.

Cette transparence n'est pas seulement un joli gadget, c'est un changeur de jeu. Elle permet aux chercheurs et aux développeurs de bien comprendre le fonctionnement, d'adapter le modèle à leurs propres projets et de reproduire les résultats. Martin Jaggi, professeur à l’EPFL, le qualifie de «modèle d’un modèle d’IA digne de confiance».

Un modèle linguistique pour la diversité mondiale

L'un des plus grands problèmes de nombreux grands modèles linguistiques est leur forte orientation vers la langue anglaise. Mais Apertus prend une autre voie. Il s'agit d'un gigantesque 15 billions de mots s'entraînent, qui Plus de 1000 langues d'origine. 40 % Ces données sont: non anglophone! C'est une vraie particularité.

Cela permet également à Apertus d'accéder à des langages qui sont souvent ignorés dans le monde de l'IA, tels que: Allemand suisse et romanche. Cela rend le modèle non seulement plus polyvalent, mais aussi plus pertinent sur le plan culturel, en particulier dans le contexte suisse multilingue.

L’open source, une impulsion pour l’avenir

Les initiateurs ne voient pas Apertus simplement comme un produit fini. Thomas Schulthess, directeur du CSCS, le décrit plutôt comme un «stimulateur d’innovation». Il s'agit d'une technologie de base qui jette les bases de nouvelles applications telles que les chatbots, les traducteurs ou les outils d'apprentissage numérique.

Le modèle est disponible en deux tailles différentes: Une variante avec 8 milliards de paramètres pour les utilisateurs individuels et un avec 70 milliards de paramètres pour les grands projets. Les deux versions sont sous une Licence open source permissive publié, ce qui permet même l'utilisation commerciale.

Accès pour tous: Des professionnels aux passionnés

Vous voulez expérimenter avec Apertus? Pour les professionnels et les utilisateurs expérimentés, l'accès est simple:

• Vous pouvez utiliser les modèles sur la plate-forme Hugging Face télécharger. Vous y trouverez également tous les documents importants.
• En tant que partenaire stratégique, il Swisscom Le modèle de votre Swiss AI Platform souveraine disponible pour les entreprises.
• Pour tous ceux qui souhaitent participer à un mouvement mondial pour l'IA ouverte, le modèle est également disponible via Public AI Inference Utility accessible.

Pour tous ceux qui veulent se plonger directement dans la matière, les Swiss-AI-Weeks C'est une opportunité idéale depuis début septembre. C'est là que des hackathons ont lieu, où les développeurs peuvent essayer le modèle et donner de précieux commentaires pour le développement ultérieur.

La transparence et l'éthique comme principes de base

Un autre aspect important du développement d'Apertus a été le respect des normes éthiques les plus élevées. Les développeurs ont veillé à ce que le modèle Lois suisses sur la protection des données et le droit d'auteur ainsi que les exigences de transparence du Loi sur l'IA de l'UE satisfaite.

La formation était basée exclusivement sur données accessibles au public. Des filtres stricts ont été utilisés pour supprimer les données personnelles et les contenus indésirables. Apertus montre qu'il est possible de construire un modèle d'IA puissant sans compromettre les valeurs fondamentales telles que la transparence, la responsabilité et le bien commun.

Un projet collaboratif

Apertus est une œuvre communautaire. C'est le résultat de la collaboration de chercheurs, d'ingénieurs et d'étudiants de toute la Suisse. Le projet a été réalisé grâce à un investissement de plus de 10 millions d'heures GPU sur le superordinateur Alps au CSCS financés par le Conseil des EPF. En tant que partenaire stratégique, Swisscom a également contribué de manière significative au financement.

Comme le souligne Antoine Bosselut de l’EPFL, la publication d’Apertus «n’est pas un point final, mais le début d’un voyage». L’objectif est de créer une base d’IA ouverte, digne de confiance et souveraine pour le bien commun mondial.