Umfassendes Glossar der Künstlichen Intelligenz: Von den Grundlagen zu Großen Sprachmodellen

Einleitung

Zielsetzung

Die Künstliche Intelligenz (KI) und insbesondere Große Sprachmodelle (Large Language Models, LLMs) haben in den letzten Jahren eine transformative Entwicklung durchlaufen, die nahezu jeden Aspekt von Technologie, Wirtschaft und Gesellschaft berührt. Um diese Revolution nicht nur zu beobachten, sondern auch fundiert zu verstehen und mitzugestalten, ist ein präzises Vokabular unerlässlich. Dieses Glossar verfolgt das Ziel, eine tiefgehende und kontextualisierte Wissensbasis für die Schlüsselkonzepte der modernen KI zu schaffen. Es geht über einfache Definitionen hinaus, indem es die technologischen Zusammenhänge, die Funktionsweisen der zugrundeliegenden Architekturen und die Beziehungen der Begriffe zueinander detailliert erläutert.

Struktur

Um ein kohärentes und ganzheitliches Verständnis zu fördern, ist dieses Glossar nicht alphabetisch, sondern thematisch gegliedert. Die Struktur führt den Leser von den fundamentalen Konzepten der KI über die technischen Architekturen, die moderne Sprachmodelle antreiben, bis hin zu den Methoden ihres Trainings. Darauf aufbauend werden die Interaktion mit und die Anwendung von KI-Systemen beleuchtet, bevor spezifische, einflussreiche Modellfamilien vorgestellt werden. Den Abschluss bildet eine Auseinandersetzung mit den kritischen gesellschaftlichen und ethischen Dimensionen, die untrennbar mit dem Fortschritt der KI verbunden sind. Jeder Eintrag baut auf den vorhergehenden auf und enthält Querverweise, um die komplexen Verflechtungen des Fachgebiets aufzuzeigen.

Bedeutung

Die gegenwärtige Ära der Künstlichen Intelligenz, angetrieben durch die Skalierung von Daten und Rechenleistung, stellt einen technologischen Wendepunkt dar. Die Fähigkeit von Maschinen, menschenähnliche Sprache zu verstehen und zu generieren, komplexe Muster in Daten zu erkennen und sogar neue, kreative Inhalte zu erzeugen, eröffnet beispiellose Möglichkeiten. Gleichzeitig wirft sie grundlegende Fragen bezüglich Sicherheit, Ethik und der Zukunft der menschlichen Arbeit auf. Ein fundiertes Verständnis der Terminologie und der Funktionsprinzipien ist daher nicht nur für Technologen, sondern für jeden Entscheidungsträger und Bürger von entscheidender Bedeutung, um die Chancen verantwortungsvoll zu nutzen und die Risiken kompetent zu managen.

---

I. Grundlegende Konzepte der Künstlichen Intelligenz

Dieser Abschnitt etabliert die grundlegende Terminologie und die hierarchische Beziehung zwischen den Kernbereichen der KI. Die Begriffe Künstliche Intelligenz, Maschinelles Lernen und Deep Learning sind keine Synonyme, sondern beschreiben eine technologische Hierarchie, die eine klare historische und konzeptionelle Entwicklung widerspiegelt. KI stellt das übergeordnete Ziel dar, während ML und DL die immer leistungsfähigeren Methoden sind, um dieses Ziel zu erreichen.

Künstliche Intelligenz (KI)

Definition: Künstliche Intelligenz (KI) ist ein weitreichendes und übergeordnetes Feld der Informatik, das sich mit der Erforschung und Entwicklung von Computersystemen befasst, die in der Lage sind, Aufgaben auszuführen, die typischerweise menschliche Intelligenz erfordern.¹ Zu diesen Fähigkeiten gehören unter anderem Lernen, logisches Denken, Problemlösung, Wahrnehmung, Sprachverständnis und Entscheidungsfindung.¹ Das Kernziel der KI ist es, Software intelligenter zu machen, um komplexe individuelle Interaktionen und anspruchsvolle Problemlösungen zu ermöglichen.⁴

Kategorien und Ansätze: Historisch und konzeptionell lässt sich die KI in zwei Hauptströme unterteilen. Die symbolische KI, oft als regelbasierte Systeme oder computergestützte Logik bezeichnet, versucht, explizites menschliches Wissen in Form von Regeln und logischen Strukturen zu kodifizieren.⁵ Ein Computersystem folgt diesen Regeln, um Schlussfolgerungen zu ziehen. Im Gegensatz dazu steht die

subsymbolische KI, die heute den dominanten Ansatz darstellt und auf probabilistischer Begründung und statistischen Methoden basiert.⁵ Anstatt explizite Regeln zu programmieren, lernen diese Systeme Muster und Zusammenhänge direkt aus Daten. Das Maschinelle Lernen ist der wichtigste Vertreter dieses Ansatzes. Die KI-Forschung umfasst eine Vielzahl von Methodenbereichen, darunter Wissensrepräsentation, automatisches Schließen und Folgern, Verarbeitung natürlicher Sprache (NLP) und Computer Vision.²

Anwendungsbeispiele: Die praktische Manifestation der KI ist äußerst vielfältig und durchdringt zunehmend unseren Alltag. Zu den prominentesten Anwendungen gehören die Generierung von Text, Bildern und Sprache, intelligente Assistenten und Chatbots, die vorausschauende Wartung (Predictive Maintenance) in der Industrie, die medizinische Diagnostik und Forschung sowie autonome Fahrzeuge.²

Maschinelles Lernen (ML)

Definition: Maschinelles Lernen (ML) ist ein zentraler Teilbereich der Künstlichen Intelligenz. Es konzentriert sich auf die Entwicklung und Untersuchung von statistischen Algorithmen, die es Computersystemen ermöglichen, aus Daten zu lernen, Muster und Zusammenhänge zu erkennen und ihre Leistung bei spezifischen Aufgaben autonom zu verbessern, ohne dass jede einzelne Regel explizit programmiert werden muss.⁶ Anstatt einem Computer genaue Anweisungen zur Lösung eines Problems zu geben, wird ihm Zugang zu Daten gewährt, aus denen er selbstständig lernt.⁸

Prozess: Der Prozess des maschinellen Lernens folgt typischerweise einem strukturierten Ablauf, der in vier Hauptphasen unterteilt werden kann ⁸:

1. Datenerhebung: Sammlung relevanter Daten, die sowohl strukturiert (z. B. Tabellen) als auch unstrukturiert (z. B. Texte, Bilder) sein können.
2. Datenaufbereitung: Dieser Schritt, auch als Vorverarbeitung bekannt, umfasst die Bereinigung der Daten von Fehlern, die Normalisierung und die Aufteilung des Datensatzes in Trainings-, Validierungs- und Testsets.
3. Modelltraining: In dieser Kernphase wird ein Algorithmus auf die Trainingsdaten angewendet. Das Modell versucht iterativ, Muster in den Daten zu erkennen, macht Vorhersagen und passt seine internen Parameter an, um den Fehler zwischen seinen Vorhersagen und den tatsächlichen Ergebnissen zu minimieren.
4. Anwendung (Inferenz): Nach Abschluss des Trainings kann das Modell auf neue, bisher ungesehene Daten angewendet werden, um Vorhersagen zu treffen oder Entscheidungen zu fällen, beispielsweise zur Risikobewertung im Finanzsektor oder zur Optimierung von Logistikrouten.⁸

Abgrenzung zur KI: Die Beziehung zwischen KI und ML ist hierarchisch: Alle Systeme des maschinellen Lernens sind Formen der KI, aber nicht alle KI-Systeme nutzen maschinelles Lernen.⁸ Während KI das breitere Konzept der Schaffung intelligenter Maschinen umfasst, ist ML der spezifische Ansatz, diese Intelligenz durch das Lernen aus Daten zu erreichen, anstatt sie durch fest kodierte Regeln zu simulieren.

Deep Learning (DL)

Definition: Deep Learning (DL), oder tiefes Lernen, ist ein spezialisierter und hochentwickelter Teilbereich des maschinellen Lernens. Es zeichnet sich durch die Verwendung von künstlichen neuronalen Netzen aus, die eine große Anzahl von Schichten (sogenannte “tiefe” Architekturen) besitzen.⁹ Diese tiefen Netzwerke ermöglichen es den Modellen, aus riesigen Datenmengen zu lernen und dabei extrem komplexe, hierarchische Muster zu erkennen. Diese Fähigkeit macht Deep Learning besonders leistungsfähig bei der Verarbeitung von unstrukturierten Daten wie Bildern, Texten, Sprache und Tönen, bei denen traditionelle ML-Methoden an ihre Grenzen stoßen.⁹

Funktionsweise: Die Funktionsweise von Deep-Learning-Modellen ist von der Informationsverarbeitung im menschlichen Gehirn inspiriert.¹⁰ Die Daten durchlaufen das neuronale Netz Schicht für Schicht. Jede Schicht baut auf den Ausgaben der vorherigen auf und extrahiert dabei zunehmend abstraktere und komplexere Merkmale aus den Daten.¹¹ Beispielsweise könnte eine erste Schicht in der Bilderkennung Kanten und Ecken identifizieren, eine mittlere Schicht daraus Formen wie Augen oder Nasen zusammensetzen und eine tiefere Schicht schließlich ein ganzes Gesicht erkennen. Dieser Prozess der automatischen Merkmalsextraktion wird durch einen Trainingsprozess gesteuert, bei dem Techniken wie die Backpropagation verwendet werden, um die Fehler des Modells zu korrigieren und seine internen Gewichte anzupassen.¹⁰

Abgrenzung zu ML: Deep Learning ist eine fortgeschrittene Technik innerhalb des maschinellen Lernens.⁹ Der Hauptunterschied liegt in der Komplexität der Architektur und dem Grad der Automatisierung. Während traditionelle ML-Ansätze oft ein manuelles “Feature Engineering” erfordern, bei dem Experten die relevanten Merkmale aus den Rohdaten auswählen und extrahieren müssen, lernen DL-Modelle diese Merkmale durch ihre vielschichtige Struktur selbstständig.¹⁴ Dieser Vorteil geht jedoch mit einem höheren Bedarf an Daten und Rechenleistung einher.¹⁴ Der Aufstieg des Deep Learning als dominanter Ansatz innerhalb der KI ist somit direkt auf zwei entscheidende externe Faktoren zurückzuführen: die exponentiell wachsende Verfügbarkeit riesiger Datenmengen (“Big Data”) ¹⁶ und die Entwicklung leistungsfähiger, parallel arbeitender Hardware, insbesondere Grafikprozessoren (GPUs), die für die Berechnungen in neuronalen Netzen ideal geeignet sind.¹⁷

Neuronale Netze (Künstliche)

Definition: Künstliche neuronale Netze (KNN) sind Rechenmodelle, deren Architektur und Funktionsweise von biologischen neuronalen Netzen, wie dem menschlichen Gehirn, inspiriert sind. Sie bilden die technologische Grundlage für die meisten modernen Deep-Learning-Ansätze. Ein KNN besteht aus einer Vielzahl von miteinander verbundenen Verarbeitungseinheiten, den sogenannten Knoten oder künstlichen Neuronen, die typischerweise in Schichten organisiert sind: einer Eingabeschicht, die die Rohdaten aufnimmt, einer oder mehreren verborgenen Schichten (Hidden Layers), in denen die eigentliche Verarbeitung stattfindet, und einer Ausgabeschicht, die das Endergebnis liefert.³

Funktionsweise: Jedes künstliche Neuron in einer Schicht empfängt Signale von den Neuronen der vorhergehenden Schicht. Diese Eingangssignale werden gewichtet, was ihre jeweilige Bedeutung für das Neuron widerspiegelt. Das Neuron summiert diese gewichteten Eingänge und wendet darauf eine sogenannte Aktivierungsfunktion an. Diese Funktion bestimmt, ob und wie stark das Neuron “feuert”, also ein Signal an die Neuronen der nächsten Schicht weiterleitet.³ Der Lernprozess eines neuronalen Netzes besteht darin, die Werte dieser Gewichte systematisch anzupassen. Durch wiederholtes Vergleichen der vom Netz erzeugten Ausgabe mit dem korrekten Ergebnis aus den Trainingsdaten wird ein Fehler berechnet. Dieser Fehler wird dann genutzt, um die Gewichte so zu modifizieren, dass der Fehler bei der nächsten Iteration geringer ausfällt. Dieser Anpassungsprozess, oft mittels Backpropagation durchgeführt, ermöglicht es dem Netzwerk, komplexe Muster und Zusammenhänge in den Daten zu erlernen.³

Beziehung zu Deep Learning: Die Tiefe eines neuronalen Netzes ist entscheidend für seine Klassifizierung. Ein neuronales Netz wird als “tief” und somit als Grundlage für Deep Learning bezeichnet, wenn es mehrere (in der Regel drei oder mehr) verborgene Schichten zwischen der Eingabe- und Ausgabeschicht besitzt.⁹ Diese zusätzlichen Schichten ermöglichen es dem Modell, eine Hierarchie von Merkmalen zu lernen, bei der jede Schicht komplexere Repräsentationen aus den Ausgaben der vorherigen Schicht aufbaut. Einfache neuronale Netze mit nur einer oder zwei verborgenen Schichten werden typischerweise nicht dem Deep Learning zugeordnet.

---

II. Die Architektur Moderner Sprachmodelle

Dieser Abschnitt analysiert die Kerntechnologien, die Large Language Models (LLMs) antreiben. Die Entwicklung der Transformer-Architektur war nicht nur eine evolutionäre Verbesserung, sondern eine Revolution, die durch die Abkehr von der sequenziellen Verarbeitung hin zur parallelen Verarbeitung ganzer Sequenzen ermöglicht wurde. Dieser Paradigmenwechsel ist der direkte technische Grund für die Skalierbarkeit und Leistungsfähigkeit moderner LLMs. Der Weg von einem Text zu einer sinnvollen Modellausgabe ist dabei eine Kette von Abstraktionsschritten, bei der jeder Schritt auf dem vorherigen aufbaut: Tokenisierung, Einbettung (Embedding) und kontextuelle Anreicherung durch den Attention-Mechanismus.

Transformer-Architektur

Definition: Die Transformer-Architektur ist eine bahnbrechende neuronale Netzwerkarchitektur, die erstmals 2017 in dem wegweisenden Paper “Attention Is All You Need” von Forschern bei Google vorgestellt wurde.¹⁷ Sie bildet heute die technologische Grundlage für die meisten modernen und leistungsfähigsten Large Language Models (LLMs), einschließlich der GPT- und BERT-Familien. Ihr entscheidendes Merkmal ist der vollständige Verzicht auf rekurrente (RNN) und konvolutionale (CNN) Schichten, die in früheren Modellen zur Verarbeitung sequenzieller Daten dominierten. Stattdessen basiert die Architektur ausschließlich auf sogenannten Aufmerksamkeitsmechanismen (Attention Mechanisms).²¹

Struktur: Ein klassischer Transformer besteht aus einer Encoder-Decoder-Struktur.²⁰ Der

Encoder hat die Aufgabe, eine Eingabesequenz (z. B. einen Satz in einer Sprache) zu verarbeiten und eine reichhaltige, kontextualisierte numerische Repräsentation dieser Sequenz zu erstellen. Der Decoder nimmt diese Repräsentation entgegen und generiert daraus eine Ausgabesequenz (z. B. die Übersetzung des Satzes in eine andere Sprache). Beide Teile bestehen aus einem Stapel identischer Schichten, die hauptsächlich aus Multi-Head-Self-Attention-Modulen und Feed-Forward-Netzwerken bestehen.²⁵ Diese Grundstruktur wurde für spezifische Aufgaben angepasst: Modelle wie BERT, die auf Sprachverständnis spezialisiert sind, verwenden nur den Encoder-Teil (“Encoder-only”), während generative Modelle wie GPT, die auf Texterstellung optimiert sind, nur den Decoder-Teil nutzen (“Decoder-only”).²⁴

Vorteile: Der revolutionäre Vorteil der Transformer-Architektur liegt in ihrer Fähigkeit zur Parallelisierung. Im Gegensatz zu Recurrent Neural Networks (RNNs), die Daten Wort für Wort sequenziell verarbeiten müssen, kann ein Transformer alle Elemente einer Sequenz gleichzeitig verarbeiten.²⁰ Dies wird durch den Self-Attention-Mechanismus ermöglicht, der die Beziehungen zwischen allen Wortpaaren in der Sequenz simultan berechnet. Diese Eigenschaft macht Transformer extrem effizient für das Training auf moderner Hardware wie Grafikprozessoren (GPUs), die für parallele Berechnungen optimiert sind.¹⁷ Diese Effizienz ermöglichte es erst, Modelle auf den beispiellos massiven Datensätzen zu trainieren, die für die Entwicklung der heutigen LLMs erforderlich sind.

Attention-Mechanismus (Aufmerksamkeit)

Definition: Ein Attention-Mechanismus ist eine Technik des maschinellen Lernens, die es einem neuronalen Netzwerk ermöglicht, bei der Erzeugung einer Ausgabe die Wichtigkeit verschiedener Teile der Eingabedaten dynamisch zu gewichten.²⁸ Anstatt alle Eingabeelemente gleich zu behandeln, erlaubt der Mechanismus dem Modell, sich auf die für den aktuellen Verarbeitungsschritt relevantesten Informationen zu “konzentrieren” oder ihnen “Aufmerksamkeit” zu schenken.³¹ Dies ahmt die menschliche kognitive Fähigkeit nach, sich auf relevante Details zu fokussieren und Ablenkungen zu ignorieren.

Self-Attention (Intra-Attention): Dies ist die zentrale Innovation der Transformer-Architektur und ihr leistungsstärkster Bestandteil.¹⁷ Bei der Self-Attention berechnet das Modell die Aufmerksamkeitswerte

innerhalb derselben Eingabesequenz. Das bedeutet, für jedes Wort (Token) in einem Satz wird ermittelt, wie stark es mit jedem anderen Wort in diesem Satz in Beziehung steht.³⁰ Dadurch kann das Modell weitreichende Abhängigkeiten und kontextuelle Beziehungen erfassen, unabhängig davon, wie weit die Wörter im Satz voneinander entfernt sind – ein entscheidender Vorteil gegenüber RNNs, die oft Schwierigkeiten mit langen Abhängigkeiten haben.²⁹

Query, Key, Value (QKV) Modell: Mathematisch wird der Self-Attention-Mechanismus oft durch die Analogie zu einer Datenbankabfrage beschrieben und mittels dreier Vektoren für jedes einzelne Token in der Eingabesequenz realisiert ¹⁷:

1. Query (Q): Repräsentiert das aktuelle Token, das nach Informationen sucht. Man kann es sich als die “Frage” vorstellen: “Welche anderen Wörter in diesem Satz sind für mich relevant?”.¹⁸
2. Key (K): Repräsentiert die “Titel” oder “Schlüsselwörter” aller Tokens in der Sequenz, mit denen die Query verglichen wird. Jedes Token bietet sich quasi als potenzielle Antwort an.¹⁸
3. Value (V): Enthält die eigentliche “Substanz” oder Information des jeweiligen Tokens. Dieser Vektor wird in der finalen Berechnung verwendet.²⁶

Der Prozess läuft vereinfacht so ab: Die Query des aktuellen Tokens wird mit den Keys aller anderen Tokens verglichen (oft durch ein Skalarprodukt), um “Attention Scores” zu berechnen. Diese Scores, die die Relevanz jedes anderen Tokens für das aktuelle Token quantifizieren, werden normalisiert (typischerweise durch eine Softmax-Funktion) und zu “Attention-Gewichten”. Schließlich wird eine gewichtete Summe der Value-Vektoren aller Tokens gebildet, wobei die Attention-Gewichte bestimmen, wie stark jeder Value-Vektor in die neue Repräsentation des aktuellen Tokens einfließt.¹⁸

Multi-Head Attention: Anstatt diesen Attention-Prozess nur einmal durchzuführen, verwendet die Transformer-Architektur “Multi-Head Attention”.¹⁷ Dabei werden die Q-, K- und V-Vektoren in mehrere kleinere Vektoren aufgeteilt und der Attention-Mechanismus wird für jeden dieser “Köpfe” (Heads) parallel und unabhängig ausgeführt.³¹ Jeder Kopf kann lernen, sich auf unterschiedliche Arten von Beziehungen zu spezialisieren – ein Kopf könnte beispielsweise syntaktische Abhängigkeiten (wie Subjekt-Verb-Kongruenz) erfassen, während ein anderer semantische Zusammenhänge (wie Synonyme) lernt. Die Ergebnisse aller Köpfe werden am Ende wieder zusammengefügt, was zu einer reichhaltigeren und robusteren Repräsentation der Sequenz führt.¹⁸

Tokenisierung

Definition: Tokenisierung ist der fundamentale erste Schritt in der Verarbeitung natürlicher Sprache durch ein LLM. Es ist der Prozess, bei dem ein Rohtext in eine Sequenz kleinerer, diskreter Einheiten, sogenannter Tokens, zerlegt wird.³⁶ Dieser Schritt ist zwingend erforderlich, da maschinelle Lernmodelle nicht direkt mit Text, sondern mit numerischen Daten arbeiten.³⁷ Die Tokens stellen die kleinsten bedeutungstragenden Einheiten dar, die das Modell verarbeiten kann.

Methoden: Es gibt verschiedene Ansätze zur Tokenisierung, die jeweils ihre eigenen Vor- und Nachteile haben ³⁶:

• Wort-basierte Tokenisierung: Der Text wird anhand von Leerzeichen und Satzzeichen in einzelne Wörter aufgeteilt. Diese Methode ist intuitiv, führt aber zu sehr großen Vokabularen und hat Schwierigkeiten mit seltenen oder unbekannten Wörtern (das “Out-of-Vocabulary”-Problem).
• Zeichen-basierte Tokenisierung: Der Text wird in einzelne Zeichen zerlegt. Dies löst das Problem des unbekannten Vokabulars und hält das Vokabular klein, erzeugt jedoch sehr lange Sequenzen, was die Erfassung semantischer Bedeutungen erschwert und rechenintensiv ist.
• Teilwort-basierte Tokenisierung (Subword Tokenization): Dies ist der heute dominierende Ansatz und stellt einen Kompromiss zwischen den beiden anderen Methoden dar. Häufige Wörter bleiben als einzelne Tokens erhalten, während seltene oder komplexe Wörter in kleinere, bedeutungstragende Einheiten (Teilwörter) zerlegt werden. Dies ermöglicht eine effiziente Verarbeitung und den Umgang mit unbekannten Wörtern, ohne die Sequenzen übermäßig zu verlängern. Gängige Algorithmen hierfür sind Byte-Pair Encoding (BPE) und WordPiece.³⁸

Prozess: Nach der Zerlegung des Textes in Tokens wird jedem einzigartigen Token eine eindeutige numerische ID aus einem vordefinierten Vokabular zugewiesen.³⁶ Dieses Vokabular enthält alle Tokens, die das Modell während seines Trainings gelernt hat. Die resultierende Sequenz von IDs ist die numerische Darstellung des ursprünglichen Textes, die dann in den nächsten Verarbeitungsschritt, die Erstellung von Embeddings, übergeht. Die Wahl der Tokenisierungsmethode und die Größe des Vokabulars haben einen erheblichen Einfluss auf die Effizienz, die Kosten (da viele Modelle pro Token abgerechnet werden) und die maximale Kontextlänge, die ein Modell verarbeiten kann.³⁶

Embeddings

Definition: Embeddings sind dichte, numerische Vektorrepräsentationen von Tokens (Wörtern, Teilwörtern oder anderen Dateneinheiten), die deren semantische Bedeutung in einem mehrdimensionalen mathematischen Raum erfassen.⁴¹ Anstatt ein Wort als isolierte, hochdimensionale und spärliche Einheit darzustellen (wie bei der One-Hot-Kodierung, bei der ein Vektor für das Wort “König” “ sein könnte), repräsentieren Embeddings Wörter als niedrigdimensionale Vektoren mit reellen Zahlen (z. B.

[0.23, -0.51, 0.89,…]), wobei die Position des Vektors im Raum seine Bedeutung widerspiegelt.⁴²

Funktionsweise: Das zentrale Prinzip von Embeddings ist, dass Wörter mit ähnlicher Bedeutung im Vektorraum nahe beieinander liegen. So wäre der Vektor für “Katze” dem Vektor für “Hund” ähnlicher (d. h. die Distanz zwischen ihnen ist geringer) als dem Vektor für “Auto”.⁴² Diese räumliche Anordnung ermöglicht es dem Modell, semantische Beziehungen mathematisch zu erfassen und zu verarbeiten. Eine entscheidende Fähigkeit moderner LLMs ist die Erzeugung

kontextualisierter Embeddings. Während traditionelle Modelle wie Word2Vec einem Wort wie “Bank” immer denselben Vektor zuweisen, erzeugen Transformer-basierte Modelle für “Bank” in den Sätzen “Ich sitze auf der Bank am Fluss” und “Ich gehe zur Bank, um Geld abzuheben” unterschiedliche Vektoren, da der Self-Attention-Mechanismus den umgebenden Kontext berücksichtigt.⁴²

Zweck: Embeddings sind die eigentliche Eingabe für die nachfolgenden Schichten eines neuronalen Netzes. Sie übersetzen die diskreten, symbolischen Tokens in eine kontinuierliche, semantisch reiche Form, die das Modell verarbeiten kann.⁴¹ Dieser Prozess der schrittweisen Informationsanreicherung – von der reinen Textzerlegung (Tokenisierung) über die Zuweisung einer grundlegenden Bedeutung (Embedding) bis hin zur tiefen kontextuellen Anpassung (Self-Attention) – ist der Kern dessen, wie LLMs Bedeutung aus Sprache konstruieren.

---

III. Das Training von KI-Modellen: Methoden und Prozesse

Dieser Teil beschreibt die fundamentalen Lernstrategien, die zur Ausbildung von KI-Modellen verwendet werden. Die Wahl des Lernparadigmas wird dabei fundamental von der Art der verfügbaren Daten und des Feedbacks bestimmt. Die moderne KI-Entwicklung, insbesondere bei LLMs, folgt einem zweistufigen Paradigma: einem extrem ressourcenintensiven, meist selbstüberwachten Pre-Training eines allgemeinen Basismodells, gefolgt von einem vergleichsweise effizienten, oft überwachten Fine-Tuning für spezifische Anwendungen.

Trainingsdaten, Validierungsdaten und Testdaten

Definition: Der Lernprozess von maschinellen Lernmodellen ist fundamental von Daten abhängig. Um ein robustes und generalisierbares Modell zu entwickeln, wird der ursprüngliche Datensatz systematisch in mindestens drei voneinander unabhängige Teilmengen aufgeteilt ⁸:

• Trainingsdaten: Dies ist der größte Teil des Datensatzes, typischerweise 70-80%, der verwendet wird, um das Modell direkt zu trainieren. Während des Trainingsprozesses analysiert der Algorithmus diese Daten, um Muster, Beziehungen und Strukturen zu lernen und seine internen Parameter (die Gewichte des neuronalen Netzes) entsprechend anzupassen.⁸
• Validierungsdaten: Ein kleinerer Teil, etwa 10-15% des Datensatzes, wird während des Trainingsprozesses zur Evaluierung und Optimierung des Modells verwendet. Das Modell wird periodisch auf den Validierungsdaten getestet, um seine Leistung auf ungesehenen Daten zu überprüfen. Dies hilft bei der Abstimmung von sogenannten Hyperparametern (z. B. die Lernrate oder die Anzahl der Schichten im Netzwerk) und dient als entscheidender Mechanismus zur Vermeidung von Überanpassung (Overfitting). Overfitting tritt auf, wenn ein Modell die Trainingsdaten “auswendig lernt”, anstatt die zugrundeliegenden Muster zu generalisieren, was zu schlechter Leistung auf neuen Daten führt.⁸
• Testdaten: Diese Teilmenge, ebenfalls etwa 10-15%, wird vollständig vom Trainings- und Validierungsprozess ferngehalten. Erst nachdem das Modell vollständig trainiert und optimiert wurde, wird es einmalig auf den Testdaten evaluiert. Dies liefert eine unvoreingenommene und endgültige Bewertung der Leistungsfähigkeit des Modells in einer realitätsnahen Situation, in der es auf völlig neue Daten trifft.⁸

Überwachtes Lernen (Supervised Learning)

Definition: Überwachtes Lernen ist eine der fundamentalsten und am weitesten verbreiteten Methoden des maschinellen Lernens. Bei diesem Ansatz wird das Modell mit einem Datensatz trainiert, der aus gelabelten Beispielen besteht. “Gelabelt” bedeutet, dass jeder Eingabedatensatz bereits mit der korrekten, gewünschten Ausgabe (dem “Label” oder der “Zielvariable”) versehen ist.⁶ Der Prozess ist vergleichbar mit einem Schüler, der anhand von Aufgaben mit dazugehörigen Lösungen lernt.⁵³

Ziel: Das Hauptziel des überwachten Lernens ist es, eine Abbildungsfunktion (ein Modell) zu lernen, die von den Eingabedaten auf die korrekten Ausgabedaten schließt. Nachdem das Modell auf den gelabelten Trainingsdaten trainiert wurde, soll es in der Lage sein, präzise Vorhersagen für neue, ungelabelte Daten zu treffen.⁵³ Der Lernprozess selbst besteht darin, den Fehler (die “Verlustfunktion”) zwischen den Vorhersagen des Modells und den tatsächlichen Labels systematisch zu minimieren.⁵⁵

Anwendungen: Überwachtes Lernen wird hauptsächlich für zwei Arten von Aufgaben eingesetzt:

• Klassifikation: Hierbei wird eine Eingabe einer von mehreren vordefinierten Kategorien zugeordnet. Beispiele sind die Klassifizierung von E-Mails als “Spam” oder “Kein Spam”, die Erkennung von Objekten auf Bildern (z. B. “Katze”, “Hund”) oder die Sentiment-Analyse von Texten.⁵³
• Regression: Hierbei wird ein kontinuierlicher numerischer Wert vorhergesagt. Beispiele sind die Vorhersage von Immobilienpreisen basierend auf Merkmalen wie Größe und Lage, die Prognose von Aktienkursen oder die Schätzung der Nachfrage nach einem Produkt.⁵⁴

Unüberwachtes Lernen (Unsupervised Learning)

Definition: Im Gegensatz zum überwachten Lernen arbeitet das unüberwachte Lernen mit ungelabelten Daten. Dem Algorithmus werden keine korrekten Antworten oder vordefinierten Kategorien zur Verfügung gestellt.⁶

Ziel: Das Ziel des unüberwachten Lernens ist es, selbstständig verborgene Muster, Strukturen, Ähnlichkeiten oder Anomalien direkt in den Daten zu entdecken.⁵⁹ Der Algorithmus muss sich sozusagen “selbst einen Reim auf die Daten machen” und sie ohne menschliche Vorgaben organisieren.⁵⁸

Anwendungen: Die Hauptanwendungsgebiete des unüberwachten Lernens sind:

• Clustering: Dies ist die häufigste Anwendung, bei der Datenpunkte basierend auf ihren Ähnlichkeiten in natürliche Gruppen oder “Cluster” eingeteilt werden. Dies wird beispielsweise zur Kundensegmentierung im Marketing, zur Organisation großer Dokumentensammlungen oder zur Erkennung von Mustern in der Genforschung verwendet.¹⁶
• Assoziationsregeln: Diese Methode dient dazu, Beziehungen zwischen Variablen in großen Datensätzen zu finden. Ein klassisches Beispiel ist die Warenkorbanalyse in Supermärkten, um Regeln wie “Kunden, die Windeln kaufen, kaufen oft auch Bier” zu identifizieren.⁵⁹
• Dimensionsreduktion: Diese Technik wird verwendet, um die Anzahl der Merkmale (Dimensionen) in einem Datensatz zu reduzieren, während die wesentlichen Informationen erhalten bleiben. Dies hilft, komplexe Daten zu vereinfachen, sie visualisierbar zu machen und die Effizienz nachfolgender Lernalgorithmen zu verbessern.⁴⁹

Verstärkendes Lernen (Reinforcement Learning)

Definition: Verstärkendes Lernen (oder bestärkendes Lernen) ist ein drittes Paradigma des maschinellen Lernens, das sich grundlegend von den beiden anderen unterscheidet. Es basiert auf dem Prinzip von Versuch und Irrtum und ist von der Verhaltenspsychologie inspiriert. Im Zentrum steht ein Agent (das lernende System), der in einer Umgebung agiert, um eine kumulative Belohnung zu maximieren.⁶

Ziel: Der Agent lernt eine optimale Strategie (Policy), die ihm vorschreibt, welche Aktion er in einem gegebenen Zustand der Umgebung ausführen soll. Für jede Aktion erhält der Agent von der Umgebung ein Feedback in Form einer Belohnung (positiv) oder einer Bestrafung (negativ).⁵⁵ Das Ziel ist nicht, eine einzelne Aktion zu optimieren, sondern eine Abfolge von Aktionen zu finden, die die langfristige, summierte Belohnung maximiert.⁵⁵

Anwendungen: Verstärkendes Lernen eignet sich besonders für Probleme, die sequenzielle Entscheidungen in einer dynamischen Umgebung erfordern. Prominente Anwendungsfälle sind die Steuerung von Robotern (z. B. das Erlernen des Gehens), das Meistern komplexer Spiele (wie Schach oder Go, wo AlphaGo einen Meilenstein darstellte), die Optimierung von Lieferketten, automatisierter Börsenhandel und die Steuerung autonomer Fahrzeuge.⁶

Merkmal	Überwachtes Lernen	Unüberwachtes Lernen	Verstärkendes Lernen
Datenanforderung	Gelabelte Daten (Input-Output-Paare) 49	Ungelabelte Daten 49	Keine statischen Daten, sondern eine interaktive Umgebung 55
Ziel	Vorhersage von Ausgaben basierend auf Eingaben (Klassifikation, Regression) 54	Entdeckung von Mustern und Strukturen (Clustering, Assoziation) 60	Erlernen einer optimalen Handlungsstrategie (Policy) 55
Feedback-Mechanismus	Direkter Fehler zwischen Vorhersage und wahrem Label 55	Inhärente Struktur der Daten 57	Belohnungs-/Bestrafungssignal aus der Umgebung 55
Typische Anwendungsfälle	Spam-Filter, medizinische Diagnose, Bilderkennung 53	Kundensegmentierung, Anomalieerkennung, Empfehlungssysteme 62	Robotik, Spiele, autonome Steuerung, Börsenhandel 6

Fine-Tuning (Feinabstimmung)

Definition: Fine-Tuning ist ein entscheidender Prozess im Lebenszyklus moderner, großer KI-Modelle. Es bezeichnet die Anpassung eines bereits vortrainierten Basismodells (Foundation Model) an eine spezifische, eng definierte Aufgabe oder einen bestimmten Wissensbereich.⁶⁹ Anstatt ein neues Modell von Grund auf zu trainieren, wird das Training eines bestehenden, allgemeinen Modells mit einem kleineren, aufgabenspezifischen Datensatz fortgesetzt.⁶⁹

Zweck: Das Pre-Training von Foundation Models wie GPT-3 auf Billionen von Wörtern ist extrem rechen- und kostenintensiv und nur für wenige große Organisationen durchführbar.²⁴ Fine-Tuning demokratisiert die Nutzung dieser Modelle, indem es eine effiziente Methode zur Spezialisierung bietet. Es nutzt das immense, im Pre-Training erworbene Allgemeinwissen des Modells als Ausgangspunkt und passt es an die Nuancen, den Jargon und die spezifischen Anforderungen einer Nische an.⁷⁰ Dieser Ansatz, eine Form des

Transferlernens, ist deutlich schneller, kostengünstiger und erfordert erheblich weniger Daten als ein Training von Grund auf.⁶⁹

Methoden: Es gibt verschiedene Strategien für das Fine-Tuning, die sich im Umfang der Parameteranpassung unterscheiden:

• Full Fine-Tuning: Bei diesem Ansatz werden alle Parameter (Gewichte) des vortrainierten Modells während des Trainings auf dem neuen Datensatz aktualisiert. Dies ist die gründlichste, aber auch rechenintensivste Methode.⁷⁰
• Parameter-Efficient Fine-Tuning (PEFT): Um den Rechen- und Speicheraufwand zu reduzieren, wurden PEFT-Methoden entwickelt. Anstatt alle Millionen oder Milliarden von Parametern zu ändern, werden bei diesen Techniken nur eine kleine Teilmenge der Parameter aktualisiert oder zusätzliche, kleine trainierbare Module zum Modell hinzugefügt, während der Großteil des Modells “eingefroren” bleibt.⁶⁹ Eine populäre PEFT-Methode ist
  LoRA (Low-Rank Adaptation), bei der kleine, trainierbare Matrizen zu den Schichten des Transformer-Modells hinzugefügt werden.⁷²

---

IV. Interaktion und Anwendung von KI-Systemen

Dieser Abschnitt beleuchtet, wie KI-Modelle in der Praxis eingesetzt, gesteuert und für komplexe, reale Aufgaben erweitert werden. Die Entwicklung von generativer KI markiert dabei einen fundamentalen Wandel von passiven Analysewerkzeugen hin zu aktiven Co-Kreatoren. Techniken wie RAG und multimodale KI bilden ein wachsendes Ökosystem, das darauf abzielt, die inhärenten Schwächen von LLMs – wie veraltetes Wissen und eine auf Text beschränkte Wahrnehmung – zu überwinden und sie zu zentralen Verarbeitungseinheiten in komplexeren, vernetzten KI-Architekturen zu machen.

Generative KI

Definition: Generative KI bezeichnet eine Kategorie von künstlicher Intelligenz, die darauf trainiert ist, neue, originäre und kohärente Inhalte zu erstellen, die den Mustern und der Struktur ihrer Trainingsdaten ähneln. Im Gegensatz zu diskriminativen KI-Modellen, die Daten klassifizieren oder Vorhersagen über bestehende Daten treffen (z. B. die Identifizierung eines Objekts in einem Bild), erzeugen generative Modelle neue Dateninstanzen.⁷⁹ Diese Inhalte können vielfältige Formen annehmen, darunter Text, Bilder, Code, Musik, Videos und synthetische Daten.⁴

Abgrenzung und Technologie: Der entscheidende Unterschied liegt im Ergebnis: Während analytische KI Muster erkennt, erschafft generative KI neue Muster. Technologisch basiert generative KI auf fortschrittlichen Deep-Learning-Architekturen. Zu den wichtigsten gehören:

• Generative Pre-trained Transformers (GPTs): Diese auf der Transformer-Architektur basierenden Modelle, insbesondere große Sprachmodelle (LLMs), sind führend in der Erzeugung von Text und Code.⁸¹
• Generative Adversarial Networks (GANs): Diese Architektur besteht aus zwei konkurrierenden neuronalen Netzen – einem Generator, der neue Daten erzeugt, und einem Diskriminator, der versucht, diese von echten Daten zu unterscheiden. Dieser Wettbewerb treibt den Generator an, immer realistischere Ergebnisse zu produzieren, was besonders in der Bildgenerierung erfolgreich ist.⁷⁹
• Variational Autoencoders (VAEs): Diese Modelle lernen eine komprimierte, latente Repräsentation von Daten und können aus diesem latenten Raum neue, ähnliche Datenpunkte generieren.⁷⁹

Anwendungen: Die Fähigkeit, neue Inhalte zu erstellen, hat zu einer Explosion von Anwendungsfällen geführt. Unternehmen nutzen generative KI zur Erstellung von Marketingtexten, zur Generierung von Softwarecode, zur Entwicklung neuer Produktdesigns, zur Komposition von Musik und zur Erzeugung synthetischer Daten für das Training anderer KI-Modelle, insbesondere in Bereichen mit sensiblen Daten wie der Medizin.⁷⁹

Prompt Engineering

Definition: Prompt Engineering ist der Prozess der sorgfältigen Gestaltung, Verfeinerung und Optimierung von Eingabeaufforderungen (Prompts), um ein generatives KI-Modell so zu steuern, dass es die gewünschten, qualitativ hochwertigen Ergebnisse liefert.⁸² Da die Interaktion mit modernen LLMs primär über natürliche Sprache erfolgt, kann man Prompt Engineering als eine Art “Programmierung in natürlicher Sprache” betrachten.⁸⁵

Funktionsweise und Techniken: Die Qualität der Ausgabe eines LLMs hängt entscheidend von der Qualität des Prompts ab. Effektives Prompt Engineering geht über einfache Fragen hinaus und nutzt spezifische Techniken, um das Modell zu lenken:

• Klarheit und Kontext: Der Prompt sollte so präzise und unmissverständlich wie möglich sein und alle notwendigen Kontextinformationen enthalten (z. B. Zielgruppe, gewünschter Ton, Format).⁸⁴
• Few-Shot Prompting: Anstatt nur eine Anweisung zu geben (Zero-Shot), werden dem Modell im Prompt einige Beispiele für das gewünschte Input-Output-Verhalten gezeigt. Dies hilft dem Modell, die Aufgabe besser zu verstehen.⁸⁴
• Chain-of-Thought (CoT) Prompting: Bei komplexen Problemen wird das Modell angewiesen, seine “Gedankenkette” oder die logischen Zwischenschritte zur Lösung des Problems zu erklären. Dieser Prozess zwingt das Modell zu einem strukturierteren Vorgehen und verbessert oft die Korrektheit der finalen Antwort.⁸³
• Iterative Verfeinerung: Der erste Prompt ist selten perfekt. Prompt Engineering ist ein iterativer Prozess, bei dem der Benutzer die Prompts basierend auf den Antworten des Modells kontinuierlich anpasst, bis das gewünschte Ergebnis erreicht ist.⁸³

Bedeutung: Prompt Engineering ist die entscheidende Schnittstelle zwischen Mensch und generativer KI. Es ist die Fähigkeit, die immense, aber ungerichtete Kraft eines LLMs zu kanalisieren und für spezifische Zwecke nutzbar zu machen. Es hat sich von einer einfachen Eingabetechnik zu einem eigenen Fachgebiet entwickelt, das für die effektive Anwendung dieser Modelle unerlässlich ist.⁸⁵

Retrieval-Augmented Generation (RAG)

Definition: Retrieval-Augmented Generation (RAG) ist ein fortschrittlicher Architekturansatz, der die Fähigkeiten eines Large Language Models (LLMs) erweitert, indem er es mit externen, aktuellen und oft proprietären Wissensquellen verbindet.⁸⁷ Anstatt sich ausschließlich auf das im Training internalisierte, statische Wissen zu verlassen, kann ein RAG-System bei Bedarf auf externe Informationen zugreifen.

Funktionsweise: Der Prozess besteht aus zwei Hauptphasen:

1. Retrieval (Abruf): Wenn eine Benutzeranfrage eingeht, durchsucht ein “Retriever”-Modul zunächst eine externe Wissensdatenbank (oft eine Vektordatenbank, die Embeddings von Dokumenten enthält) nach den relevantesten Informationen zur Anfrage. Dies geschieht typischerweise durch semantische Ähnlichkeitssuche.⁸⁷
2. Generation (Erzeugung): Die abgerufenen Informationen (z. B. Textabschnitte aus relevanten Dokumenten) werden dann zusammen mit der ursprünglichen Benutzeranfrage als erweiterter Kontext in den Prompt für das LLM eingefügt. Das LLM nutzt diesen zusätzlichen, spezifischen Kontext, um eine fundiertere, genauere und aktuellere Antwort zu generieren.⁸⁸

Zweck und Vorteile: RAG wurde entwickelt, um zwei fundamentale Schwächen von Standard-LLMs zu beheben:

• Bekämpfung von Halluzinationen: Da die generierte Antwort auf konkreten, abgerufenen Dokumenten basiert, kann das System seine Quellen zitieren. Dies erhöht die Vertrauenswürdigkeit und Überprüfbarkeit der Aussagen und reduziert die Tendenz des Modells, Fakten zu erfinden.⁸⁷
• Überwindung von veraltetem Wissen: LLMs haben einen “Knowledge Cut-off” – ihr Wissen endet mit dem Stand ihrer Trainingsdaten. RAG ermöglicht den Zugriff auf Echtzeit-Informationen, indem die externe Wissensdatenbank kontinuierlich aktualisiert werden kann, ohne das teure LLM neu trainieren zu müssen.⁸⁸
• Nutzung von proprietären Daten: Unternehmen können RAG nutzen, um LLMs sicher mit internen Daten (z. B. Produktdokumentationen, HR-Richtlinien) zu verbinden, ohne diese sensiblen Daten für ein erneutes Training preisgeben zu müssen.⁸⁹

Multimodale KI

Definition: Multimodale KI bezeichnet eine Form der künstlichen Intelligenz, die in der Lage ist, Informationen aus mehreren verschiedenen Datentypen oder Modalitäten – wie Text, Bildern, Audio und Video – gleichzeitig zu verarbeiten, zu verstehen, zu integrieren und zu generieren.⁴

Ziel: Das Ziel der multimodalen KI ist es, ein umfassenderes, robusteres und nuancierteres Verständnis der Welt zu schaffen, das der menschlichen Wahrnehmung näherkommt. Menschen kombinieren ständig Informationen aus verschiedenen Sinnen (Sehen, Hören, Lesen), um ein ganzheitliches Bild einer Situation zu erhalten. Multimodale KI versucht, diese Fähigkeit auf Maschinen zu übertragen.⁹⁰ Durch die Kombination verschiedener Datenquellen können die Schwächen einer Modalität durch die Stärken einer anderen ausgeglichen werden, was zu einer höheren Genauigkeit und Robustheit führt.⁹¹

Anwendungen: Die Anwendungsbereiche sind breit und wachsen schnell:

• Szenen- und Ereignisverständnis: Ein System kann ein Video analysieren, indem es gleichzeitig die visuellen Objekte erkennt, den gesprochenen Dialog transkribiert und Hintergrundgeräusche interpretiert, um ein vollständiges Verständnis der Szene zu erlangen.⁴
• Verbesserte Mensch-Computer-Interaktion: Ein multimodaler Assistent kann auf gesprochene Befehle reagieren und gleichzeitig Gesten oder Objekte erkennen, auf die der Benutzer zeigt.⁹¹
• Cross-modale Generierung: Dies ist eine der spannendsten Anwendungen, bei der Inhalte von einer Modalität in eine andere übersetzt werden. Beispiele sind die Generierung detaillierter Bildbeschreibungen (Image Captioning) oder, umgekehrt, die Erstellung von Bildern aus Textbeschreibungen, wie es Modelle wie DALL-E tun.⁹⁰

Computer Vision

Definition: Computer Vision (auch maschinelles Sehen oder Bildverarbeitung) ist ein Teilgebiet der KI, das Computern und Systemen die Fähigkeit verleiht, visuelle Informationen aus der realen Welt – typischerweise aus digitalen Bildern und Videos – zu “sehen”, zu interpretieren, zu verstehen und daraus Schlussfolgerungen zu ziehen.² Das Ziel ist es, die menschliche Sehkraft zu automatisieren und zu reproduzieren.

Methoden: Moderne Computer-Vision-Systeme basieren fast ausschließlich auf Deep Learning. Insbesondere Convolutional Neural Networks (CNNs) waren lange Zeit die dominierende Architektur, da sie durch ihre Faltungsschichten besonders gut geeignet sind, hierarchische visuelle Merkmale (von Kanten über Formen bis zu ganzen Objekten) zu erkennen. Zunehmend werden aber auch Vision Transformers (ViTs) eingesetzt, die die Transformer-Architektur auf die Bildverarbeitung anwenden, indem sie ein Bild in kleine “Patches” zerlegen und diese wie eine Sequenz von Wörtern behandeln.¹⁷ Zu den Kernaufgaben gehören Objekterkennung, Bildklassifizierung, semantische Segmentierung (jedem Pixel eine Klasse zuordnen), 3D-Rekonstruktion und Bewegungsanalyse.⁹⁶

Anwendungen: Computer Vision ist eine Schlüsseltechnologie für unzählige Innovationen:

• Autonome Fahrzeuge: Erkennung von Fahrspuren, Verkehrszeichen, Fußgängern und anderen Fahrzeugen in Echtzeit.⁹³
• Medizinische Bildanalyse: Unterstützung von Ärzten bei der Diagnose durch die automatische Erkennung von Anomalien wie Tumoren in Röntgenbildern, MRTs oder CT-Scans.⁹⁴
• Sicherheit und Überwachung: Gesichtserkennung zur Authentifizierung (z. B. Smartphone-Entsperrung) und automatische Überwachung öffentlicher Räume.⁹⁴
• Industrielle Automatisierung: Qualitätskontrolle in der Fertigung durch die visuelle Inspektion von Produkten am Fließband.⁹⁶

Natural Language Processing (NLP)

Definition: Natural Language Processing (NLP), zu Deutsch Verarbeitung natürlicher Sprache, ist ein interdisziplinäres Teilgebiet der KI und Informatik, das sich darauf konzentriert, Computern die Fähigkeit zu verleihen, menschliche Sprache – sowohl in geschriebener (Text) als auch in gesprochener Form – zu verstehen, zu interpretieren, zu manipulieren und zu generieren.⁵

Aufgaben: NLP umfasst ein breites Spektrum an Aufgaben, die darauf abzielen, die Komplexität und Nuanciertheit menschlicher Sprache maschinell zu verarbeiten:

• Sprachverständnis (Natural Language Understanding, NLU): Beinhaltet Aufgaben wie die Sentiment-Analyse (Erkennung der emotionalen Tonalität), die Named Entity Recognition (NER, Identifizierung von Eigennamen wie Personen, Orte, Organisationen) und die Wortsinndisambiguierung (Bestimmung der korrekten Bedeutung eines mehrdeutigen Wortes aus dem Kontext).
• Sprachgenerierung (Natural Language Generation, NLG): Umfasst die Erstellung von menschenähnlichem Text, wie z. B. bei der automatischen Zusammenfassung von Dokumenten, der Erstellung von Berichten oder den Antworten von Chatbots.
• Maschinelle Übersetzung: Die automatische Übersetzung von Text oder Sprache von einer Sprache in eine andere.
• Frage-Antwort-Systeme: Systeme, die in der Lage sind, Fragen in natürlicher Sprache zu verstehen und präzise Antworten zu geben.

Beziehung zu LLMs: Die jüngsten Fortschritte im NLP sind untrennbar mit dem Aufstieg der Large Language Models (LLMs) verbunden. Modelle, die auf der Transformer-Architektur basieren, haben in fast allen NLP-Aufgaben zu einem Quantensprung geführt und bilden heute die technologische Grundlage für die fortschrittlichsten NLP-Anwendungen, von intelligenten Suchmaschinen bis hin zu hochentwickelten Konversations-KIs.⁹⁹

Autonome Systeme

Definition: Autonome Systeme sind technologische Einrichtungen oder Softwareanwendungen, die in der Lage sind, komplexe Aufgaben auszuführen und Entscheidungen zu treffen, ohne dass ein ständiges oder direktes menschliches Eingreifen erforderlich ist.¹⁰¹ Sie zeichnen sich durch ihre Fähigkeit aus, ihre Umgebung wahrzunehmen, diese Informationen zu verarbeiten, sich an veränderte Bedingungen anzupassen und zielgerichtet zu handeln.¹⁰¹

Komponenten und Funktionsweise: Die Funktionalität autonomer Systeme basiert auf dem Zusammenspiel von drei Kernkomponenten ¹⁰¹:

1. Wahrnehmung (Perception): Durch eine Vielzahl von Sensoren (z. B. Kameras, Lidar, Radar, Mikrofone) sammelt das System Daten über seinen eigenen Zustand und seine Umgebung.
2. Entscheidungsfindung (Decision-Making): Mithilfe von KI-Algorithmen, insbesondere aus dem maschinellen Lernen und dem verstärkenden Lernen, analysiert das System die Sensordaten, erkennt Muster, trifft Vorhersagen und plant Aktionen, um seine vordefinierten Ziele zu erreichen.
3. Handlungsausführung (Action): Durch Aktuatoren (z. B. Motoren, Lenksysteme) oder Softwarebefehle setzt das System die getroffenen Entscheidungen in physische oder digitale Aktionen um.

Anwendungen: Autonome Systeme sind eine treibende Kraft der vierten industriellen Revolution und finden in zahlreichen Bereichen Anwendung:

• Mobilität: Selbstfahrende Autos, autonome Drohnen für Lieferungen oder Inspektionen und unbemannte Schiffe.¹⁰²
• Industrie 4.0: Industrieroboter in der Fertigung, die eigenständig komplexe Montage-, Schweiß- oder Qualitätskontrollaufgaben durchführen.¹⁰²
• Alltag: Intelligente Haushaltsgeräte wie Saugroboter oder smarte Thermostate, die sich an die Gewohnheiten der Nutzer anpassen.¹⁰²
• Logistik und Landwirtschaft: Autonome Systeme zur Lagerverwaltung, Ernte oder Überwachung von Feldern.¹⁰²

---

V. Wichtige KI-Modelle und ihre Spezialisierungen

Dieser Abschnitt stellt konkrete, einflussreiche KI-Modelle vor. Die fundamentalen Unterschiede in den Anwendungsfällen von Modellen wie GPT (Generierung) und BERT (Verständnis) sind eine direkte Konsequenz ihrer unterschiedlichen Kernarchitekturen und Trainingsziele. Die Architektur bestimmt die Funktion. Die Entwicklung von rein textbasierten Modellen hin zu multimodalen Systemen wie DALL-E und den neueren GPT-Versionen stellt eine logische Evolution dar, um ein umfassenderes, der menschlichen Wahrnehmung ähnlicheres “Weltmodell” zu schaffen.

GPT (Generative Pre-trained Transformer)

Definition: GPT, kurz für Generative Pre-trained Transformer, bezeichnet eine einflussreiche Familie von Large Language Models (LLMs), die von der Forschungsorganisation OpenAI entwickelt wurde.¹⁰⁴ Diese Modelle basieren auf der Transformer-Architektur und sind darauf spezialisiert, menschenähnlichen Text und, in neueren Versionen, auch andere Arten von Inhalten zu generieren.¹⁰⁴ Sie sind ein Paradebeispiel für generative KI.

Architektur und Training: GPT-Modelle verwenden eine “Decoder-only”-Variante der Transformer-Architektur.²⁷ Dies bedeutet, dass sie darauf optimiert sind, eine Sequenz von Tokens zu nehmen und das wahrscheinlichste nächste Token vorherzusagen. Dieser Prozess wird

autoregressiv genannt: Jedes neu generierte Token wird an die bestehende Sequenz angehängt und dient als Teil des Kontexts für die Vorhersage des darauffolgenden Tokens. Ihr Training erfolgt in zwei Phasen: Zuerst werden sie in einem selbstüberwachten Prozess auf riesigen, ungelabelten Textdatensätzen vortrainiert (Pre-training), um ein allgemeines Sprachverständnis zu entwickeln. Anschließend können sie durch Fine-Tuning auf spezifische Aufgaben oder Stile spezialisiert werden.¹⁰⁵

Entwicklung und Fähigkeiten: Die GPT-Serie zeigt eine beeindruckende Skalierungsgeschichte. Angefangen mit GPT-1 (2018) mit 117 Millionen Parametern, wuchs die Komplexität über GPT-2 (2019) mit 1,5 Milliarden Parametern zu GPT-3 (2020) mit 175 Milliarden Parametern.¹⁰⁵ Mit zunehmender Größe zeigten die Modelle emergente Fähigkeiten wie “Zero-Shot”- und “Few-Shot”-Learning, bei denen sie Aufgaben lösen können, für die sie nicht explizit trainiert wurden.¹⁰⁶ Neuere Modelle wie

GPT-4 und GPT-4o sind nicht nur leistungsfähiger, sondern auch multimodal, d.h. sie können neben Text auch Bilder und Audio verarbeiten und generieren.¹⁰⁵

Anwendungen: Die primäre Stärke von GPT-Modellen liegt in der kohärenten Textgenerierung. Dies macht sie ideal für eine breite Palette von Anwendungen, darunter die Erstellung von Artikeln und Marketinginhalten, die Zusammenfassung langer Dokumente, die Entwicklung von Softwarecode und die Bereitstellung von Konversationsfähigkeiten für Chatbots wie ChatGPT.¹⁰⁴

BERT (Bidirectional Encoder Representations from Transformers)

Definition: BERT, eine Abkürzung für Bidirectional Encoder Representations from Transformers, ist ein von Google im Jahr 2018 eingeführtes Large Language Model, das die Verarbeitung natürlicher Sprache revolutioniert hat.¹⁰⁸ Im Gegensatz zu früheren Modellen, die Text entweder von links nach rechts oder von rechts nach links verarbeiteten, ist BERT das erste tief

bidirektionale Modell. Es ist darauf ausgelegt, den Kontext eines Wortes zu verstehen, indem es gleichzeitig die gesamte umgebende Sequenz – also die Wörter davor und danach – analysiert.¹⁰⁸

Architektur und Training: BERT basiert auf einer “Encoder-only”-Architektur des Transformers.²⁷ Anstatt Text zu generieren, ist seine Hauptaufgabe, eine tiefe, kontextualisierte Repräsentation (Embedding) für jedes Wort im Eingabetext zu erstellen. Um diese bidirektionale Fähigkeit zu erlernen, wird BERT mit zwei neuartigen Aufgaben vortrainiert:

1. Masked Language Modeling (MLM): In diesem Prozess werden 15% der Wörter in einem Satz zufällig maskiert (durch ein “-Token ersetzt), und das Modell muss die ursprünglichen Wörter basierend auf dem umgebenden, unmaskierten Kontext vorhersagen.¹⁰⁹
2. Next Sentence Prediction (NSP): Das Modell erhält zwei Sätze und muss vorhersagen, ob der zweite Satz im Originaltext tatsächlich auf den ersten folgt. Dies hilft dem Modell, die Beziehungen zwischen Sätzen zu verstehen.¹¹⁰

Anwendungen: Aufgrund seiner Fähigkeit zu einem tiefen, kontextuellen Sprachverständnis eignet sich BERT hervorragend für analytische NLP-Aufgaben und nicht für die freie Textgenerierung. Es wird intensiv in Bereichen eingesetzt, die ein präzises Verständnis von Anfragen und Texten erfordern, wie z. B. bei der Verbesserung von Suchmaschinenergebnissen (Google Search nutzt BERT seit 2019), bei der Sentiment-Analyse, bei Frage-Antwort-Systemen und bei der Named Entity Recognition (NER).¹⁰⁸ BERT dient oft als Basismodell, das dann für spezifische Klassifikations- oder Extraktionsaufgaben feinabgestimmt wird.¹⁰⁹

Merkmal	GPT-Familie (Decoder-only)	BERT-Familie (Encoder-only)
Kernarchitektur	Decoder-only Transformer 27	Encoder-only Transformer 27
Verarbeitungsrichtung	Unidirektional (autoregressiv) – verarbeitet Kontext von links nach rechts 27	Bidirektional – verarbeitet den gesamten Kontext gleichzeitig 108
Primäres Trainingsziel	Next-Token Prediction (Nächstes Wort vorhersagen) 27	Masked Language Modeling (Fehlendes Wort im Kontext rekonstruieren) 109
Stärke	Generierung von kohärentem, flüssigem Text 104	Tiefes kontextuelles Verständnis von Text 108
Typische Anwendungsfälle	Chatbots, Inhaltserstellung, Zusammenfassungen 104	Suchmaschinen, Sentiment-Analyse, Klassifikation 108

DALL-E

Definition: DALL-E ist ein von OpenAI entwickeltes generatives KI-Modell, das darauf spezialisiert ist, originäre und oft komplexe Bilder ausschließlich aus textuellen Beschreibungen (Prompts) zu erzeugen.¹¹³ Der Name ist ein Kofferwort, das den surrealistischen Künstler Salvador Dalí und die Figur WALL-E aus dem gleichnamigen Pixar-Film kombiniert.

Architektur und Funktionsweise: Die erste Version von DALL-E war eine modifizierte 12-Milliarden-Parameter-Version von GPT-3.¹¹⁴ Ähnlich wie GPT nutzt es eine Transformer-Architektur. Der entscheidende Unterschied besteht darin, dass es auf einem riesigen Datensatz von Text-Bild-Paaren trainiert wurde. Es lernt, die semantischen Konzepte aus dem Text-Prompt zu extrahieren und diese in eine visuelle Repräsentation zu übersetzen. Technisch gesehen verarbeitet das Modell den Text und das Bild als einen einzigen, kontinuierlichen Datenstrom von Tokens und lernt, die Bild-Tokens basierend auf den Text-Tokens vorherzusagen.¹¹⁴ Spätere Versionen wie DALL-E 2 und DALL-E 3 verwenden fortschrittlichere Techniken wie Diffusionsmodelle, um noch realistischere und qualitativ hochwertigere Bilder zu erzeugen.

Fähigkeiten: DALL-E demonstriert eine bemerkenswerte Fähigkeit, visuelle Konzepte durch Sprache zu manipulieren. Es kann:

• Unzusammenhängende Konzepte plausibel kombinieren (z. B. “ein Sessel in Form einer Avocado”).
• Objekte anthropomorphisieren (z. B. “ein Astronaut, der auf einem Pferd reitet, im fotorealistischen Stil”).
• Attribute von Objekten kontrollieren und in verschiedenen künstlerischen Stilen (z. B. “im Stil von Van Gogh”) rendern.¹¹⁴
• Text in Bildern darstellen und Transformationen auf bestehende Bilder anwenden.¹¹⁴

Anwendungen: DALL-E und ähnliche Text-zu-Bild-Modelle haben die kreative Industrie revolutioniert. Sie werden für die schnelle Erstellung von Konzeptkunst, Marketing-Visuals, Produktdesigns, Logos und personalisierter Kunst verwendet. Darüber hinaus dienen sie als Werkzeuge zur Erstellung von Lehrmaterialien und zur Visualisierung abstrakter Ideen.¹¹³

---

VI. Gesellschaftliche und Ethische Dimensionen der KI

Dieser letzte Abschnitt befasst sich mit den kritischen Herausforderungen, Risiken und Verantwortlichkeiten, die mit der Entwicklung und dem Einsatz von KI-Systemen verbunden sind. Probleme wie Halluzinationen, Bias und mangelnde Erklärbarkeit sind keine isolierten Fehler, sondern systemische Konsequenzen der Komplexität und der datengesteuerten Natur moderner KI-Modelle. Dies verdeutlicht, dass die Weiterentwicklung der KI nicht mehr nur eine technische, sondern zunehmend eine soziotechnische Herausforderung ist, bei der die Sicherstellung von Vertrauen, Fairness und Kontrolle im Vordergrund steht.

Halluzinationen

Definition: Im Kontext von KI, insbesondere bei Large Language Models (LLMs), bezeichnet der Begriff Halluzination die Generierung von Informationen, die plausibel und überzeugend klingen, aber faktisch falsch, nicht durch die Quelldaten gestützt oder vollständig erfunden sind.¹¹⁵ Diese fehlerhaften Ausgaben können von einfachen sachlichen Ungenauigkeiten bis hin zur Erfindung von Zitaten, Quellen oder ganzen Ereignissen reichen.

Ursachen: Halluzinationen sind keine absichtlichen “Lügen” des Modells, sondern ein systemisches Nebenprodukt seiner Funktionsweise. Die Hauptursachen sind:

• Probabilistische Natur: LLMs sind darauf trainiert, das statistisch wahrscheinlichste nächste Wort in einer Sequenz vorherzusagen, nicht die faktisch korrekteste Aussage zu treffen. Wenn eine falsche Information eine hohe statistische Wahrscheinlichkeit in den Trainingsdaten hat, wird das Modell sie wahrscheinlich reproduzieren.¹¹⁶
• Fehlerhafte oder veraltete Trainingsdaten: Wenn die Daten, auf denen das Modell trainiert wurde, Ungenauigkeiten, Widersprüche oder veraltetes Wissen enthalten, wird das Modell diese Fehler erlernen und in seinen Antworten wiedergeben.¹¹⁷
• Mangelndes Faktenwissen: Modelle lernen Korrelationen in Texten, nicht kausale Zusammenhänge oder ein echtes Verständnis der Welt. Bei komplexen Anfragen, die tiefes Faktenwissen erfordern, können sie scheitern und Lücken mit plausibel klingenden, aber falschen Informationen füllen.¹¹⁷
• Übermäßige Anpassung an den Nutzer (Sycophancy): Einige Modelle sind darauf trainiert, den Erwartungen und Annahmen des Nutzers zu entsprechen, was dazu führen kann, dass sie eine vom Nutzer angedeutete falsche Prämisse bestätigen, anstatt sie zu korrigieren.¹¹⁷

Risiken: Während Halluzinationen bei kreativen Aufgaben harmlos sein können, stellen sie in kritischen Anwendungsbereichen wie der Medizin, dem Rechtswesen oder der Finanzberatung ein erhebliches Risiko dar. Falsche Informationen, die für wahr gehalten werden, können zu schwerwiegenden Fehlentscheidungen mit potenziell katastrophalen Folgen führen.¹¹⁷ Die Bekämpfung von Halluzinationen, beispielsweise durch Techniken wie Retrieval-Augmented Generation (RAG), ist daher ein zentrales Forschungsfeld der KI-Sicherheit.

Bias (Verzerrung) in der KI

Definition: Bias in der KI bezieht sich auf systematische Verzerrungen oder Vorurteile in den Ergebnissen und Entscheidungen eines KI-Systems. Diese Verzerrungen führen oft zu unfairen, ungenauen oder diskriminierenden Ergebnissen, die bestimmte Personengruppen oder Merkmale systematisch bevorzugen oder benachteiligen.¹¹⁸

Ursachen: KI-Bias ist selten das Ergebnis einer böswilligen Absicht, sondern entsteht meist unbeabsichtigt aus verschiedenen Quellen im Entwicklungsprozess:

• Datenbias: Dies ist die häufigste Ursache. Wenn die Trainingsdaten, mit denen ein Modell lernt, bestehende gesellschaftliche Vorurteile, Stereotypen oder historische Ungleichheiten widerspiegeln, wird das KI-System diese Muster erlernen und in seinen eigenen Entscheidungen reproduzieren und sogar verstärken. Ein Datensatz ist verzerrt, wenn er nicht repräsentativ für die Realität ist, in der das Modell eingesetzt werden soll.¹¹⁸
• Algorithmischer Bias: Verzerrungen können auch durch das Design des Algorithmus selbst entstehen, beispielsweise durch mathematische Vereinfachungen oder Annahmen, die in der Realität nicht zutreffen.¹¹⁸
• Menschlicher Bias: Die persönlichen Überzeugungen und unbewussten Vorurteile der Entwickler können das Design des Modells, die Auswahl der Daten und die Definition der Erfolgsmetriken beeinflussen.¹¹⁹ Auch bei der manuellen Kennzeichnung von Daten (Labeling Bias) können subjektive Entscheidungen zu Verzerrungen führen.¹¹⁸

Beispiele und Auswirkungen: Die Folgen von KI-Bias sind weitreichend. Bekannte Beispiele sind Gesichtserkennungssysteme, die bei Menschen mit dunklerer Hautfarbe eine höhere Fehlerrate aufweisen, oder KI-gestützte Bewerbungstools, die systematisch weibliche Bewerber benachteiligen, weil sie auf historischen Daten trainiert wurden, in denen Männer in Führungspositionen überrepräsentiert waren.¹¹⁸ Solche Verzerrungen können bestehende soziale Ungleichheiten zementieren und das Vertrauen in KI-Systeme untergraben.

KI-Ethik (AI Ethics)

Definition: KI-Ethik ist ein interdisziplinäres Feld, das sich mit den moralischen Grundsätzen, Werten und Richtlinien befasst, die die Entwicklung, den Einsatz und die Regulierung von künstlicher Intelligenz leiten sollten. Das übergeordnete Ziel der KI-Ethik ist es sicherzustellen, dass KI-Technologien auf eine Weise entwickelt und genutzt werden, die dem menschlichen Wohlergehen und der Gesellschaft als Ganzes zugutekommt und Schaden vermeidet.¹²²

Kernprinzipien: Obwohl es keinen universell anerkannten, einheitlichen Kodex gibt, kristallisieren sich mehrere Kernprinzipien heraus, die in den meisten ethischen Frameworks eine zentrale Rolle spielen ¹²²:

• Fairness und Nicht-Diskriminierung: KI-Systeme sollten so konzipiert sein, dass sie Voreingenommenheit (Bias) minimieren und alle Menschen gerecht behandeln.
• Transparenz und Erklärbarkeit: Die Funktionsweise und die Entscheidungen von KI-Systemen sollten nachvollziehbar und verständlich sein, insbesondere wenn sie weitreichende Konsequenzen haben.
• Rechenschaftspflicht und Verantwortlichkeit: Es muss klar definiert sein, wer für die Ergebnisse und potenziellen Schäden eines KI-Systems verantwortlich ist – ob Entwickler, Betreiber oder Nutzer.
• Datenschutz und Privatsphäre: KI-Systeme müssen die Privatsphäre von Individuen respektieren und personenbezogene Daten sicher und verantwortungsvoll verarbeiten.
• Sicherheit und Zuverlässigkeit: Die Systeme müssen robust und sicher gegen Manipulationen sein und zuverlässig wie vorgesehen funktionieren.
• Menschliche Aufsicht: Letztendlich müssen Menschen die Kontrolle über KI-Systeme behalten und in der Lage sein, bei Bedarf einzugreifen oder Entscheidungen zu überstimmen.

KI-Sicherheit (AI Safety)

Definition: KI-Sicherheit ist ein technisches und strategisches Fachgebiet, das sich mit den Praktiken, Prinzipien und Methoden befasst, die sicherstellen, dass KI-Systeme so konzipiert, entwickelt und betrieben werden, dass sie keine unbeabsichtigten, schädlichen oder katastrophalen Folgen verursachen.¹²³ Während KI-Ethik fragt,

was KI tun sollte, konzentriert sich KI-Sicherheit darauf, wie wir sicherstellen können, dass sie es auch tatsächlich tut.

Risikobereiche: Die KI-Sicherheit befasst sich mit einem breiten Spektrum von Risiken:

• Unbeabsichtigte Folgen: Probleme wie algorithmischer Bias, Halluzinationen und mangelnde Robustheit, die zu unvorhersehbaren und schädlichen Ergebnissen führen können.
• Kontrollverlust: Das Risiko, dass hochautonome Systeme Ziele verfolgen, die nicht mit den menschlichen Absichten übereinstimmen (Alignment-Problem), und sich einer menschlichen Kontrolle entziehen.
• Böswilliger Missbrauch: Die absichtliche Nutzung von KI für schädliche Zwecke wie die Entwicklung autonomer Waffensysteme, die Durchführung von Cyberangriffen, die Verbreitung von Desinformation oder die Massenüberwachung.¹²³
• Existenzielle Risiken: Langfristige Bedenken, dass zukünftige, hochentwickelte KI-Systeme (künstliche Superintelligenz) eine existenzielle Bedrohung für die Menschheit darstellen könnten, wenn sie nicht sicher und kontrollierbar entwickelt werden.¹²³

Maßnahmen: Zu den Sicherheitsmaßnahmen gehören robuste Test- und Validierungsverfahren, die Entwicklung von Methoden zur formalen Verifizierung des Systemverhaltens, die Implementierung von “Notausschaltern”, die Schaffung transparenter und erklärbarer Systeme sowie die Forschung am Alignment-Problem, um sicherzustellen, dass die Ziele der KI mit den menschlichen Werten im Einklang stehen.¹²³

Erklärbarkeit (Explainable AI, XAI)

Definition: Explainable AI (XAI), zu Deutsch erklärbare KI, ist ein Forschungs- und Anwendungsgebiet, das Methoden und Techniken entwickelt, um die Entscheidungen und Vorhersagen von KI-Modellen für Menschen nachvollziehbar, transparent und interpretierbar zu machen.¹²⁴ Dies ist besonders relevant für komplexe

“Blackbox”-Modelle wie tiefe neuronale Netze, deren interne Funktionsweise aufgrund von Millionen oder Milliarden von Parametern für Menschen nicht direkt verständlich ist.¹²⁴

Notwendigkeit: Die Forderung nach Erklärbarkeit ergibt sich aus mehreren zwingenden Gründen:

• Vertrauen und Akzeptanz: Menschen sind eher bereit, den Entscheidungen eines KI-Systems zu vertrauen und sie zu akzeptieren, wenn sie die Gründe dahinter verstehen können.¹²⁴
• Fehlersuche und Verbesserung: Wenn ein Modell einen Fehler macht, ermöglicht Erklärbarkeit den Entwicklern zu verstehen, warum der Fehler aufgetreten ist, was für die Optimierung und iterative Verbesserung des Modells unerlässlich ist.¹²⁴
• Ethische und rechtliche Anforderungen: In vielen kritischen Bereichen wie der Medizin oder der Kreditvergabe ist es ethisch geboten und oft auch gesetzlich vorgeschrieben (z. B. durch die DSGVO und das “Recht auf Erklärung”), dass automatisierte Entscheidungen begründet werden können.¹²⁶
• Erkennung von Bias: XAI-Methoden können helfen aufzudecken, ob ein Modell seine Entscheidungen auf der Grundlage unerwünschter oder diskriminierender Merkmale in den Daten trifft.¹²⁷

Ansätze: Es gibt grundsätzlich zwei Kategorien von Lösungsansätzen für XAI ¹²⁴:

• Ante-hoc-Methoden (Transparente Modelle): Hierbei werden von vornherein Modelle verwendet, die von Natur aus interpretierbar sind, wie z. B. lineare Regressionen, Entscheidungsbäume oder regelbasierte Systeme.
• Post-hoc-Methoden: Diese Techniken werden angewendet, um die Entscheidungen eines bereits trainierten Blackbox-Modells nachträglich zu erklären. Bekannte Methoden sind LIME (Local Interpretable Model-Agnostic Explanations), das lokale Erklärungen für einzelne Vorhersagen generiert, und SHAP (SHapley Additive exPlanations), das den Beitrag jedes einzelnen Merkmals zur Vorhersage quantifiziert.

Schlussfolgerung

Dieses Glossar hat die zentralen Begriffe und Konzepte der modernen Künstlichen Intelligenz und Großer Sprachmodelle beleuchtet. Die Analyse der Zusammenhänge offenbart mehrere grundlegende Entwicklungen, die das Feld prägen und seine zukünftige Trajektorie bestimmen.

Erstens zeigt sich eine klare hierarchische und evolutionäre Struktur der Kernkonzepte. Künstliche Intelligenz als übergeordnetes Ziel wurde durch die Methode des Maschinellen Lernens greifbar, das wiederum durch Deep Learning und die massive Skalierung von neuronalen Netzen eine neue Leistungsebene erreichte. Dieser Fortschritt war keine rein algorithmische Entwicklung, sondern wurde kausal durch die parallele Verfügbarkeit riesiger Datenmengen und exponentiell gewachsener, parallelisierbarer Rechenleistung ermöglicht.

Zweitens stellt die Transformer-Architektur mit ihrem Self-Attention-Mechanismus einen fundamentalen Paradigmenwechsel dar. Durch die Abkehr von der sequenziellen hin zur parallelen Verarbeitung ganzer Datensequenzen wurde die Skalierbarkeit geschaffen, die für das Training der heutigen LLMs unabdingbar ist. Die Architektur bestimmt dabei direkt die Funktion: Die Decoder-only-Struktur von Modellen wie GPT ist inhärent für die generative Aufgabe der Texterstellung optimiert, während die Encoder-only-Struktur von BERT auf ein tiefes, bidirektionales Textverständnis ausgelegt ist.

Drittens hat sich ein zweistufiges Trainingsparadigma etabliert, das die Entwicklung und Anwendung von KI demokratisiert. Das extrem ressourcenintensive Pre-Training von allgemeinen Foundation Models durch wenige große Akteure wird durch das vergleichsweise ressourcenschonende Fine-Tuning ergänzt, das es einer breiten Anwenderschaft ermöglicht, diese Modelle für spezifische Nischenanwendungen zu spezialisieren.

Viertens entwickeln sich LLMs von isolierten, statischen “Gehirnen” zu zentralen Komponenten in einem vernetzten Ökosystem. Techniken wie Retrieval-Augmented Generation (RAG) und multimodale KI überwinden die inhärenten Grenzen von LLMs – ihr veraltetes Wissen und ihre Beschränkung auf eine einzige Datenmodalität – und integrieren sie in breitere Informations- und Wahrnehmungssysteme.

Schließlich konvergiert die technische Entwicklung zunehmend mit gesellschaftlichen und ethischen Notwendigkeiten. Probleme wie Halluzinationen, Bias und die mangelnde Transparenz von Blackbox-Modellen sind keine einfachen Fehler, sondern systemische Herausforderungen, die aus der Komplexität der Modelle erwachsen. Die wachsende Bedeutung von Disziplinen wie KI-Ethik, KI-Sicherheit und Erklärbarkeit (XAI) signalisiert einen entscheidenden Wandel: Die größten Hürden für den verantwortungsvollen und breitenwirksamen Einsatz von KI liegen nicht mehr allein in der technischen Leistungsfähigkeit, sondern in der Sicherstellung von Vertrauen, Fairness, Kontrolle und der Übereinstimmung mit menschlichen Werten. Die Zukunft der KI wird somit nicht nur durch bessere Algorithmen, sondern maßgeblich durch die erfolgreiche Bewältigung dieser soziotechnischen Herausforderungen bestimmt.

Referenzen

1. en.wikipedia.org, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/Artificial_intelligence
2. Künstliche Intelligenz (KI) • Definition | Gabler Wirtschaftslexikon, Zugriff am August 8, 2025, https://wirtschaftslexikon.gabler.de/definition/kuenstliche-intelligenz-ki-40285
3. Was ist KI und welche Formen von KI gibt es? | Wenn der Schein trügt – Deepfakes und die politische Realität | bpb.de, Zugriff am August 8, 2025, https://www.bpb.de/lernen/bewegtbild-und-politische-bildung/555997/was-ist-ki-und-welche-formen-von-ki-gibt-es/
4. Was ist KI? – Künstliche Intelligenz erklärt – AWS, Zugriff am August 8, 2025, https://aws.amazon.com/de/what-is/artificial-intelligence/
5. Was ist künstliche Intelligenz (KI)? – Gartner, Zugriff am August 8, 2025, https://www.gartner.de/de/themen/kuenstliche-intelligenz
6. Machine Learning: Die Zukunft der Intelligenz | Definition, Arten und Beispiele – SAP, Zugriff am August 8, 2025, https://www.sap.com/germany/products/artificial-intelligence/what-is-machine-learning.html
7. en.wikipedia.org, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/Machine_learning
8. Maschinelles Lernen verständlich erklärt – itPortal24, Zugriff am August 8, 2025, https://www.itportal24.de/ratgeber/machine-learning
9. Machine Learning vs. Deep Learning: Wo ist der Unterschied?, Zugriff am August 8, 2025, https://datasolut.com/machine-learning-vs-deep-learning/
10. What is Deep Learning? | Google Cloud, Zugriff am August 8, 2025, https://cloud.google.com/discover/what-is-deep-learning
11. What is deep learning? | SAP, Zugriff am August 8, 2025, https://www.sap.com/resources/what-is-deep-learning
12. What Is Deep Learning? | IBM, Zugriff am August 8, 2025, https://www.ibm.com/think/topics/deep-learning
13. What is Deep Learning | IGI Global Scientific Publishing, Zugriff am August 8, 2025, https://www.igi-global.com/dictionary/learning-framework-for-real-world-facial-emotion-recognition/7082
14. Deep Learning versus Machine Learning – Unterschied zwischen …, Zugriff am August 8, 2025, https://aws.amazon.com/de/compare/the-difference-between-machine-learning-and-deep-learning/
15. What is deep learning in AI? – AWS, Zugriff am August 8, 2025, https://aws.amazon.com/what-is/deep-learning/
16. Maschinelles Lernen: Definition, Beispiele & Methoden – Talend, Zugriff am August 8, 2025, https://www.talend.com/de/resources/maschinelles-lernen/
17. What is a Transformer Model? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/think/topics/transformer-model
18. Was ist ein Aufmerksamkeitsmechanismus? | IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/attention-mechanism
19. What Is Deep Learning? Definition, Examples, and Careers – Coursera, Zugriff am August 8, 2025, https://www.coursera.org/articles/what-is-deep-learning
20. Transformer (deep learning architecture) – Wikipedia, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/Transformer_(deep_learning_architecture)
21. Attention is All You Need – Google Research, Zugriff am August 8, 2025, https://research.google/pubs/attention-is-all-you-need/
22. How Transformers Work: A Detailed Exploration of Transformer Architecture – DataCamp, Zugriff am August 8, 2025, https://www.datacamp.com/tutorial/how-transformers-work
23. The Transformer Model – MachineLearningMastery.com, Zugriff am August 8, 2025, https://machinelearningmastery.com/the-transformer-model/
24. Wie funktionieren Transformer-Modelle? – Hugging Face LLM Course, Zugriff am August 8, 2025, https://huggingface.co/learn/llm-course/de/chapter1/4
25. Wie funktionieren Transformer? Definition und Praxis – Informatik Aktuell, Zugriff am August 8, 2025, https://www.informatik-aktuell.de/betrieb/kuenstliche-intelligenz/wie-funktionieren-transformer-definition-und-praxis.html
26. Was ist ein Transformer-Modell? | Glossar | HPE Deutschland, Zugriff am August 8, 2025, https://www.hpe.com/de/de/what-is/transformer-model.html
27. A Complete Guide to BERT with Code | Towards Data Science, Zugriff am August 8, 2025, https://towardsdatascience.com/a-complete-guide-to-bert-with-code-9f87602e4a11/
28. What is an attention mechanism? | IBM, Zugriff am August 8, 2025, https://www.ibm.com/think/topics/attention-mechanism
29. Attention (machine learning) – Wikipedia, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/Attention_(machine_learning)
30. Attention Types in LLM — Self, Multi-Head, Cross, Multi-Head Latent, Flash | by Sulbha Jain, Zugriff am August 8, 2025, https://medium.com/@sulbha.jindal/attention-types-in-llm-self-multi-head-cross-multi-head-latent-e0bff7572515
31. LLM Transformer Model Visually Explained – Polo Club of Data Science, Zugriff am August 8, 2025, https://poloclub.github.io/transformer-explainer/
32. Was ist ein Transformator-Modell? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/transformer-model
33. Deep Learning Vorlesung 27: Transformer: Attention is all you need – YouTube, Zugriff am August 8, 2025, https://www.youtube.com/watch?v=xISevnYU8BQ
34. Understanding the Self-Attention Mechanism in 8 min – YouTube, Zugriff am August 8, 2025, https://www.youtube.com/watch?v=W28LfOld44Y
35. Wie Transformatoren funktionieren: Eine detaillierte Erkundung der Transformatorarchitektur, Zugriff am August 8, 2025, https://www.datacamp.com/de/tutorial/how-transformers-work
36. Understanding tokens – .NET | Microsoft Learn, Zugriff am August 8, 2025, https://learn.microsoft.com/en-us/dotnet/ai/conceptual/understanding-tokens
37. All you need to know about Tokenization in LLMs | by Tayyib Ul Hassan Gondal – Medium, Zugriff am August 8, 2025, https://medium.com/thedeephub/all-you-need-to-know-about-tokenization-in-llms-7a801302cf54
38. Tokenisierung in AI & NLP: Eine einfache Erklärung – Ultralytics, Zugriff am August 8, 2025, https://www.ultralytics.com/de/glossary/tokenization
39. Large language model – Wikipedia, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/Large_language_model
40. Tokenizer – OpenAI API, Zugriff am August 8, 2025, https://platform.openai.com/tokenizer
41. How Embeddings Extend Your AI Model’s Reach – .NET | Microsoft Learn, Zugriff am August 8, 2025, https://learn.microsoft.com/en-us/dotnet/ai/conceptual/embeddings
42. What are LLM Embeddings? – Iguazio, Zugriff am August 8, 2025, https://www.iguazio.com/glossary/llm-embeddings/
43. What are embeddings in machine learning? – Cloudflare, Zugriff am August 8, 2025, https://www.cloudflare.com/learning/ai/what-are-embeddings/
44. What is Embedding? – Embeddings in Machine Learning Explained – AWS, Zugriff am August 8, 2025, https://aws.amazon.com/what-is/embeddings-in-machine-learning/
45. Word embeddings : Ein leicht verständlicher Leitfaden, Zugriff am August 8, 2025, https://blog.pangeanic.com/de/word-embeddings-ein-leicht-verstandlicher-leitfaden#:~:text=Word%20Embeddings%20sind%20numerische%20Darstellungen,Hintergrund%2C%20um%20dies%20zu%20verstehen.
46. What are LLM Embeddings? – Aisera, Zugriff am August 8, 2025, https://aisera.com/blog/llm-embeddings/
47. What Is Attention in Language Models? – Cohere, Zugriff am August 8, 2025, https://cohere.com/llmu/what-is-attention-in-language-models
48. Training-, Validierung- und Testdatensatz, Zugriff am August 8, 2025, https://datasolut.com/wiki/trainingsdaten-und-testdaten-machine-learning/
49. Überwachtes vs. unüberwachtes Lernen – was ist besser? – Alteryx, Zugriff am August 8, 2025, https://www.alteryx.com/de/glossary/supervised-vs-unsupervised-learning
50. Überwachtes Lernen einfach erklärt: So trainierst du präzise KI-Modelle – Everlast AI, Zugriff am August 8, 2025, https://www.kiberatung.de/ki-glossar/uberwachtes-lernen
51. www.assecor.de, Zugriff am August 8, 2025, https://www.assecor.de/glossar/uberwachtes-lernen#:~:text=%C3%9Cberwachtes%20Lernen%20ist%20eine%20Methode,Ausgabe%20oder%20Zielvariable%20zugeordnet%20ist.
52. Was ist überwachtes Lernen? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/supervised-learning
53. Überwachtes Lernen: Definition & Beispiele – StudySmarter, Zugriff am August 8, 2025, https://www.studysmarter.de/schule/informatik/computerlinguistik-theorie/ueberwachtes-lernen/
54. Die drei Arten des Machine Learning – Eine einfache Einführung – Lerne-KI.at, Zugriff am August 8, 2025, https://www.lerne-ki.at/arten-ml
55. Was ist der Hauptunterschied zwischen überwachtem Lernen, verstärkendem Lernen und unüberwachtem Lernen im Hinblick auf die Art des Feedbacks, das während des Trainings gegeben wird? – EITCA Academy, Zugriff am August 8, 2025, https://de.eitca.org/k%C3%BCnstliche-Intelligenz/eitc-ai-adl-fortgeschrittenes-tiefes-Lernen/unbeaufsichtigtes-Lernen/unbeaufsichtigtes-Repr%C3%A4sentationslernen/Pr%C3%BCfungs%C3%BCberpr%C3%BCfung%2C-unbeaufsichtigtes-Repr%C3%A4sentationslernen/Was-ist-der-Hauptunterschied-zwischen-%C3%BCberwachtem-Lernen%2C-best%C3%A4rkendem-Lernen-und-un%C3%BCberwachtem-Lernen-in-Bezug-auf-die-Art-des-Feedbacks%2C-das-w%C3%A4hrend-des-Trainings-bereitgestellt-wird%3F/
56. Überwachtes und unüberwachtes Lernen – Unterschied zwischen Machine-Learning-Algorithmen – AWS, Zugriff am August 8, 2025, https://aws.amazon.com/de/compare/the-difference-between-machine-learning-supervised-and-unsupervised/
57. Wie unterscheidet sich Reinforcement Learning vom überwachten …, Zugriff am August 8, 2025, https://de.eitca.org/k%C3%BCnstliche-Intelligenz/eitc-ai-adl-fortgeschrittenes-tiefes-Lernen/Einf%C3%BChrung-in-eitc-ai-adl-f%C3%BCr-fortgeschrittenes-Deep-Learning/Einf%C3%BChrung-in-fortgeschrittene-Ans%C3%A4tze-des-maschinellen-Lernens/Pr%C3%BCfungs%C3%BCberpr%C3%BCfung-Einf%C3%BChrung-in-fortgeschrittene-Ans%C3%A4tze-des-maschinellen-Lernens/Wie-unterscheidet-sich-Reinforcement-Learning-vom-%C3%BCberwachten-und-un%C3%BCberwachten-Lernen-und-welche-Rolle-spielt-dabei-die-Komplexit%C3%A4t-der-Umgebung%3F/
58. Maschinelles Lernen: Was Sie darüber wissen sollten – SAS, Zugriff am August 8, 2025, https://www.sas.com/de_ch/insights/analytics/machine-learning.html
59. Einfach erklärt: Was ist unüberwachtes Lernen? – Assecor, Zugriff am August 8, 2025, https://www.assecor.de/glossar/unuberwachtes-lernen
60. Was ist unüberwachtes Lernen? • Prinzip & Anwendung – Studyflix, Zugriff am August 8, 2025, https://studyflix.de/informatik/unueberwachtes-lernen-8507
61. Was ist ununüberwachtes Lernen? Maschinelles Lernen einfach erklärt #shorts #machinelearning – YouTube, Zugriff am August 8, 2025, https://m.youtube.com/shorts/r-Jx0fkC2SA
62. Was ist Unsupervised Learning (Unüberwachtes Lernen)? – Datasolut, Zugriff am August 8, 2025, https://datasolut.com/wiki/unsupervised-learning/
63. Was ist unüberwachtes Lernen? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/unsupervised-learning
64. Maschinelles Lernen – Wikipedia, Zugriff am August 8, 2025, https://de.wikipedia.org/wiki/Maschinelles_Lernen
65. Verstärkungslernen: Definition & Beispiele – StudySmarter, Zugriff am August 8, 2025, https://www.studysmarter.de/studium/ingenieurwissenschaften/maschinelles-lernen-studium/verstaerkungslernen/
66. Lernen durch Verstärkung – Kindererziehung.com, Zugriff am August 8, 2025, https://www.kindererziehung.com/Paedagogik/Psychologie/Lerntheorien/Lernen-durch-Verstaerkung.php
67. Verstärkung (Psychologie) – Wikipedia, Zugriff am August 8, 2025, https://de.wikipedia.org/wiki/Verst%C3%A4rkung_(Psychologie)
68. Unsupervised Learning: Unüberwachtes Lernen einfach erklärt – IONOS, Zugriff am August 8, 2025, https://www.ionos.de/digitalguide/online-marketing/suchmaschinenmarketing/was-ist-unsupervised-learning/
69. Fine-tuning large language models (LLMs) in 2025 – SuperAnnotate, Zugriff am August 8, 2025, https://www.superannotate.com/blog/llm-fine-tuning
70. What is Fine-Tuning LLM? Methods & Step-by-Step Guide in 2025 – Turing, Zugriff am August 8, 2025, https://www.turing.com/resources/finetuning-large-language-models
71. What is Fine-Tuning? | IBM, Zugriff am August 8, 2025, https://www.ibm.com/think/topics/fine-tuning
72. Fine-Tuning (Künstliche Intelligenz) – Wikipedia, Zugriff am August 8, 2025, https://de.wikipedia.org/wiki/Fine-Tuning_(K%C3%BCnstliche_Intelligenz)
73. Fine-Tuning LLMs: A Guide With Examples | DataCamp, Zugriff am August 8, 2025, https://www.datacamp.com/tutorial/fine-tuning-large-language-models
74. RAG vs. Fine-Tuning: How to Choose | Oracle Deutschland, Zugriff am August 8, 2025, https://www.oracle.com/de/artificial-intelligence/generative-ai/retrieval-augmented-generation-rag/rag-fine-tuning/
75. What is LLM fine-tuning? | Modal Blog, Zugriff am August 8, 2025, https://modal.com/blog/llm-fine-tuning-overview
76. Unlock AI’s Full Potential: The Power of Fine-Tuning | Oracle Deutschland, Zugriff am August 8, 2025, https://www.oracle.com/de/artificial-intelligence/fine-tuning/
77. LLMs: Fine-tuning, distillation, and prompt engineering | Machine Learning, Zugriff am August 8, 2025, https://developers.google.com/machine-learning/crash-course/llm/tuning
78. Was ist Feinabstimmung? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/fine-tuning
79. Was ist generative KI? | Beispiele, Anwendungsfälle | SAP, Zugriff am August 8, 2025, https://www.sap.com/germany/products/artificial-intelligence/what-is-generative-ai.html
80. cloud.google.com, Zugriff am August 8, 2025, https://cloud.google.com/use-cases/generative-ai?hl=de#:~:text=Generative%20KI%20nutzt%20ein%20ML,die%20Verwendung%20von%20%C3%BCberwachtem%20Lernen.
81. Was ist generative KI? – Gen KI erklärt – AWS – Amazon.com, Zugriff am August 8, 2025, https://aws.amazon.com/de/what-is/generative-ai/
82. aws.amazon.com, Zugriff am August 8, 2025, https://aws.amazon.com/de/what-is/prompt-engineering/#:~:text=Prompt%20Engineering%20ist%20der%20Prozess,sie%20die%20gew%C3%BCnschten%20Ergebnisse%20erzielen.
83. Was ist Prompt Engineering? – AWS – Amazon.com, Zugriff am August 8, 2025, https://aws.amazon.com/de/what-is/prompt-engineering/
84. Was ist Prompt-Engineering? Definition und Beispiele | Coursera, Zugriff am August 8, 2025, https://www.coursera.org/de-DE/articles/what-is-prompt-engineering
85. Prompt Engineering für Einsteiger: So funktioniert’s! | tolingo, Zugriff am August 8, 2025, https://www.tolingo.com/de/prompt-engineering
86. Prompt Engineering | Definition und Beispiele – IONOS, Zugriff am August 8, 2025, https://www.ionos.de/digitalguide/websites/webseiten-erstellen/prompt-engineering/
87. What Is Retrieval-Augmented Generation aka RAG – NVIDIA Blog, Zugriff am August 8, 2025, https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/
88. RAG einfach erklärt: Retrieval-Augmented Generation im Überblick, Zugriff am August 8, 2025, https://www.moin.ai/chatbot-lexikon/retrieval-augmented-generation-rag
89. What is Retrieval Augmented Generation (RAG)? – Databricks, Zugriff am August 8, 2025, https://www.databricks.com/glossary/retrieval-augmented-generation-rag
90. Multimodal Learning: Die Technik, die die künstliche Intelligenz …, Zugriff am August 8, 2025, https://datascientest.com/de/multimodal-learning-die-technik-die-die-kuenstliche-intelligenz-revolutioniert
91. Multimodale KI – mindsquare AG, Zugriff am August 8, 2025, https://mindsquare.de/knowhow/multimodale-ki/
92. Multimodale KI | Google Cloud, Zugriff am August 8, 2025, https://cloud.google.com/use-cases/multimodal-ai?hl=de
93. aws.amazon.com, Zugriff am August 8, 2025, https://aws.amazon.com/de/what-is/computer-vision/#:~:text=Die%20Technologie%20f%C3%BCr%20autonome%20Fahrzeuge,Verkehrszeichen%2C%20Fu%C3%9Fg%C3%A4nger%20oder%20Hindernisse%20identifizieren.
94. Einfach erklärt: Was ist Computer Vision?, Zugriff am August 8, 2025, https://weissenberg-group.de/was-ist-computer-vision/
95. Einfach erklärt: Was ist Computer Vision? – Assecor, Zugriff am August 8, 2025, https://www.assecor.de/glossar/computer-vision
96. Computer Vision: Einfach erklärt mit Beispiel | Exxeta, Zugriff am August 8, 2025, https://exxeta.com/blog/computer-vision
97. Künstliche Intelligenz (KI) und maschinelles Lernen – Fraunhofer IKS, Zugriff am August 8, 2025, https://www.iks.fraunhofer.de/de/themen/kuenstliche-intelligenz.html
98. What is Natural Language Processing? – NLP Explained – AWS, Zugriff am August 8, 2025, https://aws.amazon.com/what-is/nlp/
99. What Is NLP (Natural Language Processing)? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/think/topics/natural-language-processing
100. Was ist NLP (Natural Language Processing)? | IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/natural-language-processing#:~:text=Natural%20Language%20Processing%20(NLP%2C%20Verarbeitung,und%20mit%20ihr%20kommunizieren%20k%C3%B6nnen.
101. Autonome Systeme – ausführliche Erklärung aus dem KI-Lexikon, Zugriff am August 8, 2025, https://www.dogado.de/ki-lexikon/autonome-systeme#:~:text=Autonome%20Systeme%20sind%20Technologien%2C%20die,sich%20an%20ver%C3%A4nderte%20Bedingungen%20anzupassen.
102. Autonome Systeme: Definition, Anwendung | StudySmarter, Zugriff am August 8, 2025, https://www.studysmarter.de/studium/informatik-studium/robotik-studium/autonome-systeme/
103. Anwendungsbereiche der KI – Technische Hochschule Würzburg …, Zugriff am August 8, 2025, https://ki.thws.de/thematik/anwendungsbereiche-der-ki/
104. What is GPT? Definition of Language Prediction Model – AWS, Zugriff am August 8, 2025, https://aws.amazon.com/what-is/gpt/
105. Generative pre-trained transformer – Wikipedia, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/Generative_pre-trained_transformer
106. GPT-3 – Wikipedia, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/GPT-3
107. ChatGPT maker OpenAI launches its fastest and most innovative model GPT 5, CEO Sam Altman says: Users will feel like they’re interacting with, Zugriff am August 8, 2025, https://timesofindia.indiatimes.com/technology/artificial-intelligence/chatgpt-maker-openai-launches-its-fastest-and-most-innovative-model-gpt-5-ceo-sam-altman-says-users-will-feel-like-theyre-interacting-with/articleshow/123172446.cms
108. What Is Google’s BERT and Why Does It Matter? | NVIDIA Glossary, Zugriff am August 8, 2025, https://www.nvidia.com/en-us/glossary/bert/
109. BERT (language model) – Wikipedia, Zugriff am August 8, 2025, https://en.wikipedia.org/wiki/BERT_(language_model)
110. What Is BERT? Google’s AI Model That Understands Context, Zugriff am August 8, 2025, https://www.lyzr.ai/glossaries/bert/
111. What Is the BERT Model and How Does It Work? – Coursera, Zugriff am August 8, 2025, https://www.coursera.org/articles/bert-model
112. BERT 101 – State Of The Art NLP Model Explained – Hugging Face, Zugriff am August 8, 2025, https://huggingface.co/blog/bert-101
113. What Is DALL-E? – Coursera, Zugriff am August 8, 2025, https://www.coursera.org/articles/what-is-dall-e
114. DALL·E: Creating images from text | OpenAI, Zugriff am August 8, 2025, https://openai.com/index/dall-e/
115. dida.do, Zugriff am August 8, 2025, https://dida.do/de/blog/hallucinations-in-llm-strategies-for-monitoring#:~:text=Halluzinationen%20in%20gro%C3%9Fen%20Sprachmodellen%20(LLMs,bis%20zum%20Weglassen%20wichtiger%20Details.
116. Halluzinationen in LLM: Strategien zur Überprüfung, Zugriff am August 8, 2025, https://dida.do/de/blog/hallucinations-in-llm-strategies-for-monitoring
117. Halluzinationen von generativer KI und großen Sprachmodellen …, Zugriff am August 8, 2025, https://www.iese.fraunhofer.de/blog/halluzinationen-generative-ki-llm/
118. Was ist Bias in KI? Kurz und einfach erklärt – RNT | Rausch, Zugriff am August 8, 2025, https://rnt.de/glossar/bias-in-ki/
119. Bias kurz erklärt – Anwaltskanzlei für künstliche Intelligenz, KI-Haftung, KI-Gesetze, Urheberrecht, Datenschutzrecht, Compliance, KI-Richtlinien, Text Mining, Data Mining, KI-Verträge, KI-Forschung, Fachanwalt – KI-Kanzlei, Zugriff am August 8, 2025, https://anwaltskanzlei-ki.de/bias-kurz-erklaert/
120. Bias in KI: Definition & Beispiele – StudySmarter, Zugriff am August 8, 2025, https://www.studysmarter.de/studium/informatik-studium/kuenstliche-intelligenz-studium/bias-in-ki/
121. Grundlagen – Bias und Fairness in KI, Zugriff am August 8, 2025, https://bias-and-fairness-in-ai-systems.de/grundlagen/
122. Was ist KI-Ethik? Die Rolle der Ethik in der KI | SAP, Zugriff am August 8, 2025, https://www.sap.com/germany/resources/what-is-ai-ethics
123. Was ist KI-Sicherheit? | IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/ai-safety#:~:text=KI%2DSicherheit%20bezieht%20sich%20auf,oder%20negative%20Folgen%20minimiert%20werden.
124. Was ist Explainable AI (XAI)? Alles was man wissen muss – Kobold AI, Zugriff am August 8, 2025, https://www.kobold.ai/explainable-ai/
125. Einfach erklärt: Was ist Explainable AI (XAI)? – Assecor, Zugriff am August 8, 2025, https://www.assecor.de/glossar/explainable-ai-xai
126. Explainable AI – XAI – viadee Unternehmensberatung AG, Zugriff am August 8, 2025, https://www.viadee.de/loesungen/ki/explainable-ai/
127. Was ist erklärbare KI (XAI)? – IBM, Zugriff am August 8, 2025, https://www.ibm.com/de-de/think/topics/explainable-ai