Das am Dienstag veröffentlichte Modell trägt den Namen «Apertus». Sowohl der Programmcode als auch die Trainingsdaten und die Architektur der Künstlichen Intelligenz (KI) seien öffentlich einsehbar, teilten die beiden Eidgenössischen Technischen Hochschulen Zürich (ETH Zürich) und Lausanne (EPFL), die dieses Modell entwickelt haben, mit. 

Damit unterscheide es sich von kommerziellen Systemen, von denen die meisten in den USA oder in China in nicht nachvollziehbaren Prozessen entwickelt worden seien, hiess es von den Forschenden.

«Die Zutaten, die zur Herstellung dieser Systeme verwendet werden, werden geheim gehalten. Und die Zahl der Menschen, die diese Geheimnisse tatsächlich aufdecken können, wird aufgrund der hohen Investitionen, die für die Entwicklung erforderlich sind, immer kleiner.» Das sagte Antoine Bosselut von der EPFL, der das Projekt zusammen mit seinem EPFL-Kollegen Martin Jäggi und Imanol Schlag von der ETH Zürich leitet, an einer Vorstellung von «Apertus».

Diese KI-Modelle sind den Forschenden zufolge damit eine Blackbox. Es lässt sich kaum überprüfen, wohin die während der Nutzung entstehenden Daten tatsächlich fliessen. Auch ist es schwer nachzuvollziehen, ob die generierten Antworten möglicherweise manipuliert wurden, um eine bestimmte politische Sichtweise zu fördern.

Chatbot oder Übersetzer

Die Modelle öffentlich zugänglich zu machen, hat laut den Forschenden aber auch Vorteile für die Weiterentwicklung von KI. «Aus langjähriger Erfahrung wissen wir, dass diese Systeme in gewisser Weise immer Fehler aufweisen werden. Doch wenn wir die Bestandteile verstehen, aus denen diese Modelle trainiert werden, und wie sie aufgebaut sind, können wir die Schwachstellen dieser Systeme verbessern, um einige dieser Fehler abzumildern», erklärte Bosselut

«Apertus» ist wie ChatGPT oder Copilot ein sogenanntes «Large Language Model» (LLM). Ein Chat-Interface liefern die Hochschulen allerdings nicht. Anders als bei bekannten KI-Sprachmodellen wie ChatGPT können Nutzerinnen und Nutzer also nicht direkt auf das System zugreifen.

Es soll aber für Entwicklerinnen und Entwickler als Baustein für künftige Anwendungen wie Chatbots oder Übersetzungssysteme dienen. Eine solche Zusammenarbeit haben die Forschenden bereits mit Swisscom.

Schweizerdeutsch und Rätoromanisch

Entwickelt und trainiert wurde es auf dem Supercomputer «Alps» am nationalen Supercomputer-Zentrum CSCS in Lugano. Dabei kamen 15 Billionen sogenannter Tokens aus über 1000 Sprachen zum Einsatz. Ein Token ist eine kleine Einheit von Text - das kann ein Wort, ein Teil eines Wortes oder sogar ein einzelnes Zeichen sein -, die das Modell beim Lernen und Verarbeiten von Sprache nutzt.

Rund 40 Prozent der Daten stammen laut den Hochschulen nicht aus dem Englischen. Das Modell kann laut den Forschenden auch Schweizerdeutsch und Rätoromanisch. Die Entwicklung von «Apertus» erfolgte im Rahmen der «Swiss AI Initiative», die von der EPFL und der ETH Zürich geleitet wird.

(AWP)