Dossier: Apertus – Eine Analyse des Schweizer KI-Modells für Transparenz und Souveränität

Einleitung: Apertus als strategisches Instrument für digitale Souveränität

Am 2. September 2025 wurde mit der Veröffentlichung von Apertus ein bedeutender Meilenstein in der europäischen KI-Landschaft gesetzt.¹ Entwickelt im Rahmen der “Swiss AI Initiative”, einer strategischen Kooperation der Eidgenössischen Technischen Hochschule Lausanne (EPFL), der Eidgenössischen Technischen Hochschule Zürich (ETH Zürich) und dem Nationalen Hochleistungsrechenzentrum der Schweiz (CSCS), stellt Apertus das erste grossangelegte, offene und mehrsprachige Sprachmodell (Large Language Model, LLM) der Schweiz dar.¹ Das Projekt wird von seinen Initiatoren nicht nur als technologische Errungenschaft, sondern als “Meilenstein für Transparenz und Diversität in der generativen KI” positioniert.²

Die Philosophie hinter Apertus geht weit über das hinaus, was gemeinhin als “Open Source” im KI-Bereich verstanden wird. Der Name, abgeleitet vom lateinischen Wort für “offen”, ist programmatisch gewählt und signalisiert ein Bekenntnis zu radikaler Transparenz.¹ Im Gegensatz zu vielen “Open-Weight”-Modellen, bei denen lediglich die finalen Modellgewichte veröffentlicht werden, legt die Swiss AI Initiative den gesamten Entwicklungsprozess offen. Dies umfasst die detaillierte Architektur, die vollständigen Trainingsdatensätze und die dazugehörigen “Rezepte” zur Datenaufbereitung, die Modellgewichte inklusive aller Zwischen-Checkpoints sowie den Quellcode für das Training.³ Dieser Ansatz gewährleistet eine vollständige wissenschaftliche Reproduzierbarkeit – ein in dieser Grössenordnung seltenes Merkmal, das Vertrauen schafft und eine unabhängige Überprüfung ermöglicht.⁷

Damit ist die strategische Positionierung von Apertus klar definiert: Es konkurriert nicht primär auf der Ebene reiner Leistungsbenchmarks mit den führenden proprietären Modellen von US-amerikanischen oder chinesischen Technologiekonzernen. Vielmehr stellt es einen bewussten Gegenentwurf dar – eine “Blaupause” (Blueprint) für die Entwicklung vertrauenswürdiger, souveräner und inklusiver KI-Systeme.¹ Das eigentliche Produkt ist nicht nur das LLM selbst, sondern der dokumentierte, auditierbare und nachvollziehbare Prozess seiner Entstehung. Dies macht Apertus zu einem “Governance-Artefakt” ¹¹, dessen Wert massgeblich in seiner Eignung für den Einsatz in regulierten Umgebungen und seiner Konformität mit europäischen Werten und Gesetzen, insbesondere dem EU AI Act, liegt. Es wird als eine Form öffentlicher Infrastruktur konzipiert, vergleichbar mit Strassen, Wasser- oder Stromnetzen, die der Gesellschaft und Wirtschaft als Grundlage für zukünftige Innovationen dienen soll.¹

Architektur und Technische Innovation: Einblicke in die Grundlagen von Apertus

Die technische Umsetzung von Apertus zeugt von einem tiefgehenden, forschungsorientierten Ansatz, der darauf abzielt, fundamentale Herausforderungen im LLM-Training zu lösen, anstatt lediglich bestehende Architekturen zu replizieren. Das Projektteam hat mehrere Kernkomponenten von Grund auf neu entwickelt, um die Ziele der Stabilität, Effizienz und rechtlichen Konformität zu erreichen.

Die Modellfamilie

Apertus wird in einer Familie von Modellen angeboten, die unterschiedliche Anwendungsbereiche und Hardware-Voraussetzungen abdecken.¹ Alle Varianten basieren auf einer modernen Decoder-only Transformer-Architektur.⁷

• Apertus-8B: Ein Modell mit 8 Milliarden Parametern, das für den Einsatz durch Einzelpersonen, Forschende und für Anwendungen in ressourcenbeschränkten Umgebungen optimiert ist. Es stellt einen Kompromiss zwischen Leistungsfähigkeit und Effizienz dar.¹
• Apertus-70B: Ein Modell mit 70 Milliarden Parametern (in den Repositories als 71B geführt ¹⁴), das für anspruchsvolle Unternehmens- und Forschungsanwendungen konzipiert ist. Zum Zeitpunkt seiner Veröffentlichung zählte es zu den leistungsfähigsten vollständig offenen Modellen weltweit.⁷

Für beide Grössen existieren eine Basis-Variante (z.B. Apertus-8B-2509), die das vortrainierte Grundwissen enthält, sowie eine instruktionsoptimierte Variante (z.B. Apertus-8B-Instruct-2509), die durch Supervised Fine-Tuning und Alignment-Methoden auf die Befolgung von Anweisungen im Dialogformat trainiert wurde.¹⁴

Technologische Alleinstellungsmerkmale

Die Entwickler von Apertus haben mehrere innovative Techniken eingeführt, die das Modell von anderen Architekturen abheben und direkt auf die Kernprinzipien des Projekts einzahlen ⁷:

• Goldfish Objective: Eine der signifikantesten Innovationen ist dieses alternative Trainingsziel, das die herkömmliche Cross-Entropy-Loss-Funktion ersetzt. Es wurde entwickelt, um die wörtliche Memorierung und Wiedergabe von Trainingsdaten gezielt zu unterdrücken. Indem während des Trainings zufällig ein kleiner Prozentsatz der Token von der Verlustberechnung ausgenommen wird, lernt das Modell generalisierbare Muster anstatt spezifischer Textpassagen. Dies ist eine direkte technische Antwort auf die wachsenden Bedenken hinsichtlich Datenschutz und Urheberrechtsverletzungen und ein entscheidender Baustein für die rechtliche Konformität des Modells.⁷
• xIELU Activation Function: Anstelle etablierter Aktivierungsfunktionen wie ReLU oder GeLU kommt eine neu entwickelte Funktion namens xIELU zum Einsatz. Sie ist eine Erweiterung der Squared ReLU und wurde speziell dafür konzipiert, das Training von extrem grossen Modellen zu stabilisieren, die Konvergenz zu beschleunigen und Instabilitäten zu reduzieren.⁷
• AdEMAMix Optimizer: Auch der Optimierungsalgorithmus wurde neu entwickelt. AdEMAMix verbessert bestehende Methoden, indem er einen zusätzlichen langfristigen exponentiellen gleitenden Durchschnitt (EMA) der Gradienten einführt. Dies ermöglicht eine effizientere Nutzung vergangener Gradienteninformationen, was zu einer schnelleren Konvergenz während des langen und rechenintensiven Pre-Trainings führt.⁷
• Langer Kontext: Die Apertus-Modelle unterstützen standardmässig eine Kontextlänge von bis zu 65.536 Token, was die Verarbeitung und Analyse sehr langer Dokumente und Konversationen ermöglicht.¹²

Datenfundament und Mehrsprachigkeit

Das Fundament von Apertus ist ein aussergewöhnlich grosser und sorgfältig kuratierter Trainingsdatensatz, dessen Zusammensetzung und Aufbereitung transparent dokumentiert sind.

• Umfang und Vielfalt: Das Modell wurde auf einem Datensatz von 15 Billionen () Token trainiert, was es zu einem der datenintensivsten offenen Modelle macht.³ Dieser Datensatz umfasst Webinhalte, Code-Repositories und mathematische Datensätze.⁷
• Mehrsprachigkeit als Designprinzip: Ein zentrales Differenzierungsmerkmal ist der Fokus auf linguistische Diversität. Etwa 40 % des gesamten Trainingsdatensatzes bestehen aus nicht-englischen Inhalten, um den in vielen LLMs vorherrschenden “English-centric bias” aktiv zu reduzieren.³ Das Modell wurde auf Texten aus über 1.800 Sprachen trainiert.¹² Besonderes Augenmerk wurde auf in der KI unterrepräsentierte Sprachen wie Schweizerdeutsch und Rätoromanisch gelegt.³
• Daten-Compliance und Ethik: Der gesamte Trainingskorpus basiert ausschliesslich auf öffentlich zugänglichen Daten. In einem aufwändigen Prozess wurden die Daten gefiltert, um die Anweisungen in robots.txt-Dateien von Webseiten zu respektieren – selbst wenn diese erst nachträglich hinzugefügt wurden (retroaktive Anwendung).⁸ Darüber hinaus wurden Filter zur Entfernung von personenbezogenen Daten (PII) und anderen unerwünschten oder toxischen Inhalten eingesetzt.³ Um die Transparenz zu gewährleisten, stellt das Projekt Skripte zur Verfügung, mit denen Dritte den Pre-Training-Datensatz rekonstruieren können.⁷

Die folgende Tabelle fasst die wichtigsten Spezifikationen der Apertus-Modelle zusammen:

Merkmal	Apertus-8B	Apertus-70B
Parameter	8 Milliarden	71 Milliarden
Architektur	Decoder-only Transformer	Decoder-only Transformer
Kontextlänge	65.536 Token	65.536 Token
Trainings-Token	15 Billionen	15 Billionen
Sprachabdeckung	> 1.800 Sprachen	> 1.800 Sprachen
Nicht-engl. Datenanteil	ca. 40 %	ca. 40 %
Aktivierungsfunktion	xIELU	xIELU
Optimizer	AdEMAMix	AdEMAMix
Lizenz	Apache 2.0	Apache 2.0

Leistungsbewertung und Community-Urteil: Benchmarks im Realitätscheck

Die Bewertung der Leistungsfähigkeit von Apertus ergibt ein differenziertes Bild. Während die offiziellen Benchmarks des vortrainierten Basismodells eine solide Position im Feld der offenen Modelle attestieren, zeichnet das Feedback der Nutzergemeinschaft zur instruktionsoptimierten Variante ein deutlich kritischeres Bild.

Formale Evaluierung

Auf Basis standardisierter akademischer Benchmarks positioniert sich Apertus als konkurrenzfähig zu anderen führenden, vollständig offenen Modellen. Die Pre-Training-Ergebnisse werden als vergleichbar oder sogar besser als die von Metas Llama 3 beschrieben.⁷ In spezifischen mehrsprachigen Aufgaben, wie der Übersetzung zwischen Deutsch und Rätoromanisch, zeigt das 70B-Modell sogar eine überlegene Leistung gegenüber Llama-3.3-70B.⁷

Die auf der Hugging Face-Plattform veröffentlichten Benchmark-Ergebnisse für allgemeine Sprachverständnisaufgaben (z.B. ARC, HellaSwag, WinoGrande) zeigen, dass Apertus-70B im Durchschnitt eine ähnliche Leistung wie Llama3.1-70B und OLMo2-32B erzielt. Es liegt jedoch leicht hinter neueren Modellen wie Qwen2.5-72B zurück.¹³ Diese Ergebnisse deuten darauf hin, dass das Basismodell über ein robustes und breites Weltwissen verfügt, das auf dem massiven 15T-Token-Datensatz aufbaut.

Die Stimme der Community: Ein Realitätscheck

Die Reaktionen aus der technisch versierten Community, insbesondere auf Plattformen wie Reddit, fallen nach der Veröffentlichung der Instruct-Modelle ernüchternd aus. Die Diskrepanz zwischen den vielversprechenden Pre-Training-Daten und der praktischen Anwendbarkeit ist ein wiederkehrendes Thema.

• Allgemeine Leistung: Der Konsens ist, dass die Leistung der instruktionsoptimierten Modelle enttäuschend ist und nicht dem aktuellen Stand der Technik entspricht. Nutzer vergleichen die Fähigkeiten mit denen von Modellen aus dem Jahr 2023 oder mit der älteren Llama-2-Generation.²³ Ein Nutzer bezeichnete die 15 Billionen Trainings-Token angesichts der schwachen Leistung als “verschwendet”.²³
• Mehrsprachigkeit in der Praxis: Trotz des theoretischen Supports für über 1.800 Sprachen berichten Nutzer von erheblichen Schwächen in weit verbreiteten europäischen Sprachen. Die Leistung in Niederländisch wird als “dramatisch” ²⁵, in Französisch als “enttäuschend schlecht” ²³ und in Deutsch als “schrecklich” beschrieben.²³ Auch in Finnisch und Bulgarisch konnte das Modell nicht überzeugen.²³ Dies deutet darauf hin, dass die blosse Präsenz von Sprachdaten im Trainingskorpus keine Garantie für eine hohe funktionale Kompetenz ist.
• Zensur und Verweigerungen: Ein zentraler Kritikpunkt ist das übermässig vorsichtige und restriktive Verhalten des Modells. In einem viel zitierten Beispiel weigerte sich Apertus, eine harmlose Fantasy-Geschichte über “fleischfressende Kaninchen” zu skizzieren, mit der Begründung, dies stelle Gewalt verherrlichend dar und verstosse gegen seine Grundprinzipien.²⁶ Dieses Verhalten wird als “nahezu wertlos” für kreative Anwendungen kritisiert und deutet auf ein überaggressives Alignment hin, das die Nützlichkeit stark einschränkt.

Analyse der Diskrepanz: Die “Alignment-Lücke”

Die auffällige Lücke zwischen den starken Pre-Training-Benchmarks und der schwachen Post-Training-Performance ist der Schlüssel zum Verständnis der aktuellen Schwächen von Apertus. Ein Nutzer in der Community brachte es auf den Punkt: Die Pre-Training-Scores sind exzellent, aber die Post-Training-Scores fallen hinter die von deutlich kleineren Modellen zurück.²³ Dies legt den Schluss nahe, dass das Problem nicht im erlernten Wissen des Basismodells liegt, sondern im Prozess der Feinabstimmung und des Alignments (Supervised Fine-Tuning und QRPO-Alignment ¹²). Möglicherweise war der für das Instruction-Tuning verwendete Datensatz zu klein, von geringer Qualität oder das Alignment-Verfahren wurde zu strikt auf Sicherheit und Harmlosigkeit getrimmt, was zu den häufigen Verweigerungen und der unnatürlichen Interaktion führte.

Die folgende Tabelle stellt die Versprechen des Projekts den realen Nutzererfahrungen gegenüber:

Aspekt	Offizielles Versprechen / Ziel	Community-Bewertung (Zitate/Quellen)	Analyse
Allgemeine Leistung	Konkurrenzfähig zu führenden offenen Modellen 7	“Schwach und Arsch”, “Llama 2 Level”, “Modell von 2023” 23	Das starke Basismodell wird durch ein schwaches Instruction-Tuning beeinträchtigt.
Mehrsprachigkeit	Unterstützung für >1.800 Sprachen, inkl. unterrepräsentierter 12	“Dramatisch” (NL), “schrecklich” (DE), “enttäuschend” (FR) 23	Datenbreite führt nicht automatisch zu funktionaler Tiefe in den einzelnen Sprachen.
Sicherheit & Zensur	Ethisch und verantwortungsvoll, an Schweizer Werten ausgerichtet 5	“Nahezu wertlos” wegen übermässiger Verweigerungen bei harmlosen Anfragen 26	Überaggressives Alignment schränkt die Nützlichkeit für kreative und explorative Aufgaben stark ein.
Transparenz & Open Source	Vollständig offen: Daten, Gewichte, Rezepte, Code 1	Wird als “sehr schön” und “grossartiger Schritt nach vorne” gelobt 8	Das Kernversprechen der Offenheit wird von der Community anerkannt und gewürdigt.

Praktische Implementierung und Anwendungsfälle

Obwohl Apertus in seiner jetzigen Form kein direkter Konkurrent für Allzweck-Chatbots wie ChatGPT ist ⁵, liegt sein strategischer Wert in spezifischen Anwendungsfällen, bei denen seine einzigartigen Eigenschaften – Transparenz, Auditierbarkeit und Datenhoheit – von entscheidender Bedeutung sind.

Ökosystem, Lizenzierung und Zugang

Apertus ist über ein breites Ökosystem zugänglich, das verschiedene Nutzungsmodelle unterstützt:

• Hugging Face: Die Modelle können direkt von der Hugging Face-Plattform heruntergeladen werden, was Forschenden und Entwicklern die volle Kontrolle über das Self-Hosting gibt.¹
• Swisscom: Als strategischer Partner bietet Swisscom den Zugang zu Apertus über seine souveräne KI-Plattform an. Dies richtet sich primär an Schweizer Unternehmen, die eine gemanagte, datenschutzkonforme Lösung benötigen.¹
• Public AI Network & AWS: Für eine breitere Zugänglichkeit ist das Modell auch über das Public AI Network ¹ und über Amazon SageMaker verfügbar, was den Einsatz in der skalierbaren Cloud-Infrastruktur von AWS, einschliesslich der Region Zürich, ermöglicht.²⁹

Die Modelle werden unter der sehr permissiven Apache 2.0 Lizenz veröffentlicht. Diese erlaubt die uneingeschränkte kommerzielle und akademische Nutzung, Modifikation und Weiterverbreitung.⁷ Es ist jedoch zu beachten, dass auf Hugging Face eine zusätzliche “Acceptable Use Policy” (AUP) existiert, die Nutzer zu bestimmten Verhaltensweisen verpflichtet, insbesondere im Hinblick auf den Umgang mit potenziellen personenbezogenen Daten, die vom Modell generiert werden könnten.⁸

Strategische Anwendungsfälle

Der primäre Wert von Apertus entfaltet sich nicht im B2C-Bereich, sondern in Sektoren, die strenge regulatorische Anforderungen haben und bei denen die Nachvollziehbarkeit von KI-Entscheidungen kritisch ist.

• Regulierte Branchen: Im Finanzsektor können Banken Apertus nutzen, um Compliance-Dokumente zu analysieren oder interne Prozesse zu automatisieren, während sie die Einhaltung des Schweizer Bankgeheimnisses und der Datenschutzgesetze gewährleisten.¹¹ Im Gesundheitswesen kann das Modell zur Auswertung klinischer Daten oder zur Unterstützung medizinischer Forschung eingesetzt werden, wobei die Datenhoheit gewahrt bleibt.²
• Öffentlicher Sektor und Forschung: Staatliche Institutionen und Universitäten können Apertus als Grundlage für eigene Anwendungen nutzen, ohne sich von ausländischen Technologieanbietern abhängig zu machen. Die Transparenz des Modells ist hierbei für die öffentliche Rechenschaftspflicht und die wissenschaftliche Validität von entscheidender Bedeutung.
• Entwicklung mehrsprachiger Werkzeuge: Trotz der aktuellen Leistungsschwächen bietet die breite Datenbasis des Modells eine wertvolle Grundlage für das Fine-Tuning spezialisierter Übersetzungs-, Zusammenfassungs- oder Analysewerkzeuge, insbesondere für die im Modell gut repräsentierten, aber sonst vernachlässigten Sprachen.¹

Anleitung zum Prompting der Instruct-Modelle

Die korrekte Interaktion mit den Instruct-Varianten von Apertus erfordert die Anwendung eines spezifischen Chat-Templates. Dies stellt sicher, dass die Eingabe vom Modell korrekt interpretiert wird. Die Hugging Face transformers-Bibliothek bietet hierfür eine einfache Methode.

Das folgende Python-Beispiel demonstriert den grundlegenden Prozess zum Laden des Modells und zur Generierung einer Antwort:

Python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Modell-ID und Gerät definieren
model_name = “swiss-ai/Apertus-8B-Instruct-2509”
device = “cuda” if torch.cuda.is_available() else “cpu”

# Tokenizer und Modell laden
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)

# Prompt im geforderten Nachrichtenformat strukturieren
prompt = “Schreiben Sie eine kurze Zusammenfassung der Schweizer Neutralität in drei Sätzen.”
messages = [{“role”: “user”, “content”: prompt}]

# Chat-Template anwenden, um den finalen Input-String zu erzeugen
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# Text tokenisieren und an das Gerät senden
model_inputs = tokenizer([text], return_tensors=”pt”).to(device)

# Antwort generieren mit empfohlenen Sampling-Parametern
generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=512,
    temperature=0.8,
    top_p=0.9
)

# Generierte Token dekodieren und ausgeben
response_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)

# Nur die generierte Antwort extrahieren und ausgeben
# Der Output enthält den ursprünglichen Prompt, der hier entfernt wird
final_response = response_text.replace(text.replace(tokenizer.eos_token, ”), ”).strip()
print(final_response)

Für optimale Ergebnisse empfehlen die Entwickler, die Generierungsparameter auf eine temperature von  und einen top_p-Wert von  einzustellen.¹²

Lokaler Betrieb von Apertus: Ein umfassender Leitfaden

Eine der zentralen Stärken offener Modelle ist die Möglichkeit, sie auf lokaler Hardware zu betreiben. Dies gewährleistet maximale Privatsphäre und Kontrolle. Der Betrieb von Modellen der Grösse von Apertus, insbesondere der 70B-Variante, stellt jedoch erhebliche Anforderungen an die Hardware.

Hardware-Voraussetzungen

Die wichtigste Komponente für den Betrieb von LLMs ist der Grafikspeicher (VRAM) der GPU. Die Grösse des benötigten VRAMs hängt direkt von der Grösse des Modells und seiner Präzision ab. Um diese Modelle auf handelsüblicher Hardware lauffähig zu machen, ist ein Prozess namens Quantisierung unerlässlich. Dabei wird die numerische Präzision der Modellgewichte reduziert (z.B. von 16-Bit-Fliesskommazahlen auf 4-Bit-Integer), was den Speicherbedarf und die Rechenlast drastisch senkt, oft mit nur geringem Qualitätsverlust.³³

Der System-RAM (Arbeitsspeicher) dient als Puffer und wird benötigt, falls nicht das gesamte Modell in den VRAM passt und Teile auf die CPU ausgelagert werden müssen. Eine unzureichende RAM-Grösse kann zu erheblichen Leistungseinbussen führen.³³

Die folgende Tabelle gibt eine Übersicht über die geschätzten Hardware-Anforderungen für den lokalen Betrieb (Inferenz) der Apertus-Modelle in verschiedenen Quantisierungsstufen im populären GGUF-Format.

Modell	Quantisierung	GGUF Grösse (ca.)	Benötigter VRAM (mind.)	Empfohlener System-RAM	Beispiel-GPU-Setup
Apertus-8B	Q4_K_M (4-bit)	5.1 GB	8 GB	16 GB	NVIDIA RTX 3060 (12GB), Apple M1/M2 (16GB)
	Q5_K_M (5-bit)	5.8 GB	8 GB	16 GB	NVIDIA RTX 3060 (12GB), Apple M1/M2 (16GB)
	Q8_0 (8-bit)	8.6 GB	12 GB	32 GB	NVIDIA RTX 3080 (12GB), RTX 4070 (12GB)
Apertus-70B	IQ2_XXS (2-bit)	19.9 GB	24 GB	64 GB	NVIDIA RTX 3090/4090 (24GB)
	Q3_K_M (3-bit)	35.5 GB	40 GB	64 GB	2x RTX 3090/4090 (48GB), NVIDIA A6000 (48GB)
	Q4_K_M (4-bit)	41.5 GB (unsloth)	48 GB	128 GB	2x RTX 3090/4090 (48GB), NVIDIA A100 (80GB)

Schritt-für-Schritt-Anleitung mit Ollama

Ollama ist ein beliebtes Werkzeug, das den Prozess der lokalen Ausführung von LLMs erheblich vereinfacht. Da Apertus noch nicht Teil der offiziellen Ollama-Modellbibliothek ist, muss es manuell importiert werden. Dies geschieht über eine quantisierte GGUF-Datei, die von Community-Mitgliedern auf Hugging Face bereitgestellt wird.

Schritt 1: Ollama installieren

Laden Sie Ollama von der offiziellen Webseite (ollama.com) herunter und installieren Sie es. Die Installation ist für Windows, macOS und Linux unkompliziert.35

Schritt 2: GGUF-Modell herunterladen

Navigieren Sie auf Hugging Face zu einem Repository, das GGUF-Versionen von Apertus anbietet (z.B. von den Nutzern unsloth 20 oder DevQuasar 36). Laden Sie die gewünschte GGUF-Datei herunter. Für einen ersten Test mit dem 8B-Modell eignet sich beispielsweise die Q4_K_M-Version. Speichern Sie die Datei in einem leicht zugänglichen Ordner.

Schritt 3: Modelfile erstellen

Ollama benötigt eine Konfigurationsdatei, um ein lokales Modell zu importieren. Erstellen Sie im selben Ordner, in dem Sie die GGUF-Datei gespeichert haben, eine neue Textdatei mit dem Namen Modelfile (ohne Dateiendung).37 Fügen Sie folgenden Inhalt ein und ersetzen Sie den Dateinamen durch den Namen Ihrer heruntergeladenen GGUF-Datei:

# Modelfile für Apertus-8B-Instruct
FROM./swiss-ai.Apertus-8B-Instruct-2509.Q4_K_M.gguf

Schritt 4: Modell in Ollama registrieren

Öffnen Sie eine Kommandozeile oder ein Terminal, navigieren Sie in den Ordner mit der GGUF-Datei und dem Modelfile, und führen Sie den folgenden Befehl aus. Geben Sie dem Modell einen Namen, unter dem es in Ollama erscheinen soll (z.B. apertus:8b-instruct):

Bash

ollama create apertus:8b-instruct -f Modelfile

Ollama wird das Modell nun importieren und für die Nutzung vorbereiten.³⁷

Schritt 5: Modell ausführen und chatten

Nach erfolgreichem Import können Sie das Modell direkt in der Kommandozeile ausführen und eine interaktive Sitzung starten:

Bash

ollama run apertus:8b-instruct

Sie können nun Ihre Prompts eingeben und mit dem lokal laufenden Apertus-Modell interagieren.³⁵

Fortgeschrittene Nutzung

Für erfahrenere Nutzer und Entwickler bieten sich leistungsfähigere Werkzeuge an:

• llama.cpp: Dieses C++-Framework ist die Grundlage für viele LLM-Anwendungen und bietet höchste Performance und detaillierte Konfigurationsmöglichkeiten. Die Unterstützung für die Apertus-Architektur wurde kurz nach der Veröffentlichung in das Projekt integriert, was den direkten Einsatz von GGUF-Dateien ermöglicht.²³
• Hugging Face transformers: Für die Integration von Apertus in eigene Python-Anwendungen ist die transformers-Bibliothek der Standard. Es ist sicherzustellen, dass eine Version v4.56.0 oder neuer installiert ist, da erst ab dieser Version die Apertus-Architektur unterstützt wird.¹²

Fazit: Die Rolle von Apertus in der globalen KI-Landschaft

Apertus ist mehr als nur ein weiteres grosses Sprachmodell; es ist ein strategisches Statement und ein grundlegender Baustein für ein souveränes europäisches KI-Ökosystem. Die Analyse zeigt, dass sein einzigartiges Wertversprechen nicht in der Jagd nach den höchsten Benchmark-Ergebnissen liegt, sondern in der konsequenten Umsetzung der Prinzipien von Transparenz, rechtlicher Konformität und öffentlichem Nutzen.

Das Projekt verkörpert eine bewusste Entscheidung, Compliance und ethische Überlegungen in den Kern der technischen Architektur zu integrieren. Innovationen wie das “Goldfish Objective” sind direkte technische Antworten auf die regulatorischen Anforderungen des EU AI Act und die Datenschutzgrundverordnung. Damit bietet Apertus eine wertvolle Alternative für Organisationen in regulierten Branchen und im öffentlichen Sektor, für die Auditierbarkeit und Datenhoheit nicht verhandelbar sind. Es ist eine Investition in langfristige, vertrauenswürdige digitale Infrastruktur, nicht in kurzfristige Leistungsrekorde.⁹

Gleichzeitig hat die Analyse eine signifikante “Alignment-Lücke” als die grösste Schwäche der aktuellen Instruct-Versionen offengelegt. Das immense Wissen des auf 15 Billionen Token trainierten Basismodells wird durch einen unzureichenden Feinabstimmungsprozess ausgebremst, der zu unbefriedigender Leistung und übermässiger Zensur führt. Dies ist die zentrale Herausforderung, die zukünftige Iterationen des Modells adressieren müssen, um das volle Potenzial der starken Grundlage auszuschöpfen. Die geplante Entwicklung domänenspezifischer Modelle für Bereiche wie Recht, Gesundheit und Klima zeigt einen klaren Weg in diese Richtung auf.²

Letztendlich ist die Veröffentlichung von Apertus, wie von den Entwicklern selbst betont, nur der “Beginn einer Reise”.⁴ Sein langfristiger Erfolg wird nicht daran gemessen, ob es heute mit den grössten proprietären Modellen konkurrieren kann, sondern daran, ob es als Katalysator für Innovationen in der europäischen Wissenschaft und Wirtschaft dient, die Ausbildung von KI-Fachkräften fördert und als globales Vorbild für eine verantwortungsvolle und offene KI-Entwicklung fungiert. Apertus demonstriert eindrücklich, was unter Einhaltung strenger ethischer und rechtlicher Regeln möglich ist – und wo die damit verbundenen Kompromisse liegen.

Referenzen

1. Apertus: a fully open, transparent, multilingual language model | ETH Zurich, Zugriff am Oktober 9, 2025, https://ethz.ch/en/news-and-events/eth-news/news/2025/09/press-release-apertus-a-fully-open-transparent-multilingual-language-model.html
2. Home | Swiss AI, Zugriff am Oktober 9, 2025, https://www.swiss-ai.org/
3. Apertus | Swiss AI, Zugriff am Oktober 9, 2025, https://www.swiss-ai.org/apertus
4. Switzerland Unveils Apertus, First Fully Open Multilingual AI Model – BABL AI, Zugriff am Oktober 9, 2025, https://babl.ai/switzerland-unveils-apertus-first-fully-open-multilingual-ai-model/
5. Fact and fiction about the Swiss AI model Apertus – SWI swissinfo.ch, Zugriff am Oktober 9, 2025, https://www.swissinfo.ch/eng/swiss-ai/fact-and-fiction-about-the-swiss-ai-model-apertus/90110034
6. Apertus: a fully open, transparent, multilingual language model – YouTube, Zugriff am Oktober 9, 2025, https://www.youtube.com/watch?v=q8iEzU7Axss&vl=en
7. Swiss AI’s Apertus 70B and 8B: A Complete Deep Dive into Switzerland’s Revolutionary Open Language Models | by Sai Dheeraj Gummadi – Medium, Zugriff am Oktober 9, 2025, https://medium.com/@gsaidheeraj/swiss-ais-apertus-70b-and-8b-a-complete-deep-dive-into-switzerland-s-revolutionary-open-language-90a88b904f6b
8. Apertus: Swiss Open Source LLM – OSI Discuss, Zugriff am Oktober 9, 2025, https://discuss.opensource.org/t/apertus-swiss-open-source-llm/1286
9. Switzerland releases its own fully open AI model – AI News, Zugriff am Oktober 9, 2025, https://www.artificialintelligence-news.com/news/switzerland-releases-its-own-fully-open-ai-model/
10. Switzerland Launches Apertus, a Fully Open AI Model for Research and Industry, Zugriff am Oktober 9, 2025, https://opendatascience.com/switzerland-launches-apertus-a-fully-open-ai-model-for-research-and-industry/
11. Apertus, Switzerland’s Fully Open LLM: What It Is, Why It Matters, and How to Use It | by Crystal Groves | Sep, 2025 | Medium, Zugriff am Oktober 9, 2025, https://medium.com/@cgroves/apertus-switzerlands-fully-open-llm-what-it-is-why-it-matters-and-how-to-use-it-cdefc81ca6fb
12. swiss-ai/Apertus-8B-Instruct-2509 – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/swiss-ai/Apertus-8B-Instruct-2509
13. swiss-ai/Apertus-70B-2509 – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/swiss-ai/Apertus-70B-2509
14. Apertus LLM – a swiss-ai Collection – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/collections/swiss-ai/apertus-llm-68b699e65415c231ace3b059
15. Swiss AI Initiative – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/swiss-ai
16. Open-source Swiss language model to be released this summer – ΑΙhub – AI Hub, Zugriff am Oktober 9, 2025, https://aihub.org/2025/07/29/open-source-swiss-language-model-to-be-released-this-summer/
17. Apertus: Democratizing Open and Compliant LLMs for Global … – arXiv, Zugriff am Oktober 9, 2025, https://arxiv.org/abs/2509.14233
18. Apertus: Democratizing Open and Compliant LLMs for Global Language Environments, Zugriff am Oktober 9, 2025, https://huggingface.co/papers/2509.14233
19. swiss-ai/Apertus-70B-Instruct-2509 · Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/swiss-ai/Apertus-70B-Instruct-2509
20. unsloth/Apertus-70B-Instruct-2509-GGUF – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/unsloth/Apertus-70B-Instruct-2509-GGUF
21. Swiss made LLM is here : r/Switzerland – Reddit, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/Switzerland/comments/1n6fngo/swiss_made_llm_is_here/
22. Apertus 70B: Truly Open – Swiss LLM by ETH, EPFL and CSCS | Hacker News, Zugriff am Oktober 9, 2025, https://news.ycombinator.com/item?id=45108401
23. New Open LLM from Switzerland “Apertus”, 40%+ training data is …, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1n6eimy/new_open_llm_from_switzerland_apertus_40_training/
24. Switzerland Launches Apertus: A Public, Open-Source AI Model Built for Privacy – Reddit, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/singularity/comments/1n9b9db/switzerland_launches_apertus_a_public_opensource/
25. Apertus – Swiss ChatGPT competitor : r/BuyFromEU – Reddit, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/BuyFromEU/comments/1nedbrk/apertus_swiss_chatgpt_competitor/
26. Anyone tried Apertus? What was your setup and how did it go? : r …, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1nqmput/anyone_tried_apertus_what_was_your_setup_and_how/
27. Apertus: a fully open, transparent, multilingual language model : r/LocalLLaMA – Reddit, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1n6ewmu/apertus_a_fully_open_transparent_multilingual/
28. Apertus: A fully open, transparent, multilingual language model – Swisscom, Zugriff am Oktober 9, 2025, https://www.swisscom.ch/en/about/news/2025/09/02-apertus.html
29. Switzerland’s Open-Source Apertus LLMs now available on Amazon …, Zugriff am Oktober 9, 2025, https://aws.amazon.com/blogs/alps/switzerlands-open-source-apertus-llms-now-available-on-amazon-sagemaker-ai/
30. swiss-ai/Apertus-8B-2509 at main – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/swiss-ai/Apertus-8B-2509/tree/main
31. Switzerland launches its own open-source AI model – Engadget, Zugriff am Oktober 9, 2025, https://www.engadget.com/ai/switzerland-launches-its-own-open-source-ai-model-133051578.html
32. Apertus: a fully open, transparent, multilingual language model – ΑΙhub – AI Hub, Zugriff am Oktober 9, 2025, https://aihub.org/2025/09/11/apertus-a-fully-open-transparent-multilingual-language-model/
33. RAM & VRAM for 70B AI Models: A Complete Hardware Guide – Arsturn, Zugriff am Oktober 9, 2025, https://www.arsturn.com/blog/ram-vram-for-70b-ai-model-ultimate-guide
34. How much VRAM and how many GPUs to fine-tune a 70B parameter model like LLaMA 3.1 locally? – Hugging Face Forums, Zugriff am Oktober 9, 2025, https://discuss.huggingface.co/t/how-much-vram-and-how-many-gpus-to-fine-tune-a-70b-parameter-model-like-llama-3-1-locally/150882
35. Mastering GGUF with Ollama: Your Ultimate Guide – Arsturn, Zugriff am Oktober 9, 2025, https://www.arsturn.com/blog/mastering-the-art-of-using-gguf-with-ollama
36. DevQuasar/swiss-ai.Apertus-8B-Instruct-2509-GGUF – Hugging Face, Zugriff am Oktober 9, 2025, https://huggingface.co/DevQuasar/swiss-ai.Apertus-8B-Instruct-2509-GGUF
37. HowTo: Importing a .gguf Model into Ollama on Windows : r/LocalLLaMA – Reddit, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1esb5s7/howto_importing_a_gguf_model_into_ollama_on/
38. Run custom GGUF model on Ollama – Zohaib, Zugriff am Oktober 9, 2025, https://zohaib.me/run-custom-gguf-model-on-ollama/
39. ollama/ollama: Get up and running with OpenAI gpt-oss, DeepSeek-R1, Gemma 3 and other models. – GitHub, Zugriff am Oktober 9, 2025, https://github.com/ollama/ollama
40. Run Any GGUF Model Locally with Ollama | by Manish Singh – Medium, Zugriff am Oktober 9, 2025, https://medium.com/@manishsingh7163/run-any-gguf-model-locally-with-ollama-636ffb602909
41. Apertus model implementation has been merged into llama.cpp : r/LocalLLaMA – Reddit, Zugriff am Oktober 9, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1nwc1oc/apertus_model_implementation_has_been_merged_into/
42. Apertus LLM: Switzerland’s open-source AI – Cyberfulness, Zugriff am Oktober 9, 2025, https://cyberfulness.com/everything-you-need-to-know-about-apertus/