TOP-100 der lokalen LLMs 2025

Dieser Bericht bietet einen umfassenden und datengestützten Überblick über die 100 populärsten und relevantesten lokalen LLMs für das Jahr 2025. Er dient als technischer Leitfaden für Fachleute, die das optimale Modell für ihre spezifischen Anwendungsfälle und Hardwarekonfigurationen identifizieren möchten.

Inhalt

Methodik dieses Berichts

Der Begriff „Popularität“ ist im Kontext von LLMs vielschichtig und kann irreführend sein, wenn er ausschließlich auf eine einzelne Metrik reduziert wird. Eine reine Betrachtung der Download-Zahlen auf Plattformen wie Hugging Face würde beispielsweise ältere, kleinere Utility-Modelle wie bert-base-uncased überrepräsentieren, die zwar häufig als Komponenten in größeren Systemen verwendet werden, aber nicht die Art von generativen Modellen sind, die für den direkten lokalen Einsatz als Chat- oder Programmierassistenten relevant sind.³ Gleichzeitig sind die leistungsstärksten Modelle auf Benchmarking-Plattformen oft theoretischer Natur und für den Betrieb auf typischer Consumer-Hardware unzugänglich.⁵

Die wahre Nützlichkeit und Relevanz eines lokalen LLMs liegt an der Schnittstelle von roher Leistungsfähigkeit und praktischer Zugänglichkeit. Ein Modell ist für den lokalen Einsatz erst dann wirklich populär, wenn die Community es validiert hat, indem sie es in effiziente, lauffähige Formate überführt.

Daher basiert die Rangliste in diesem Bericht auf einer zusammengesetzten Methodik, die drei Kernbereiche berücksichtigt:

Leistung: Die Platzierung in anerkannten, objektiven Benchmarks, insbesondere dem Hugging Face Open LLM Leaderboard, das Modelle anhand von Aufgaben wie logischem Denken, Mathematik und Allgemeinwissen bewertet.⁵
Community-Akzeptanz: Metriken wie „Likes“ auf Hugging Face dienen als starker Indikator für das Interesse und die Wertschätzung der Entwicklergemeinschaft. Diese Metrik ist oft ein besserer Indikator für die wahrgenommene Qualität als reine Download-Zahlen.⁷
Lokale Zugänglichkeit: Die Verfügbarkeit von hochwertigen, quantisierten Modellversionen, insbesondere im GGUF-Format. Das Vorhandensein zuverlässiger GGUF-Quantisierungen signalisiert, dass ein Modell nicht nur leistungsstark, sondern auch für den Einsatz auf einer breiten Palette von Hardwarekonfigurationen – von reinen CPU-Systemen bis hin zu High-End-Grafikkarten – optimiert und validiert wurde.⁸

Diese Methodik stellt sicher, dass die vorgestellte Liste nicht nur die theoretisch besten, sondern die praktisch nützlichsten und am weitesten verbreiteten Modelle für den lokalen Einsatz widerspiegelt.

II. Grundlagen für den lokalen Betrieb: Ein technischer Leitfaden

Um die nachfolgenden Modellanalysen vollständig zu verstehen, ist ein grundlegendes technisches Verständnis der Faktoren, die den lokalen Betrieb von LLMs bestimmen, unerlässlich. Dieses Kapitel erläutert die Schlüsselkonzepte von Hardwareressourcen, Modellkomprimierung und Speicherbedarfsberechnung.

VRAM: Der entscheidende Faktor für die LLM-Inferenz

Der Grafikspeicher (Video Random Access Memory, VRAM) einer GPU ist die kritischste Ressource und der primäre Engpass beim lokalen Betrieb von LLMs.¹ Während der Inferenz, also der Generierung von Antworten, müssen zwei Hauptkomponenten im VRAM gehalten werden:

Modellparameter (Gewichte): Jedes LLM besteht aus Milliarden von Parametern, die das „Wissen“ des Modells darstellen. Diese Gewichte müssen für eine schnelle Verarbeitung direkt in den VRAM der GPU geladen werden. Die grundlegende Speicheranforderung eines Modells hängt direkt von der Anzahl seiner Parameter und der numerischen Präzision ab, in der sie gespeichert sind.¹¹
Key-Value (KV) Cache: Während der Generierung einer Antwort speichert das Modell Zwischenberechnungen (sogenannte Aktivierungen) für bereits verarbeitete Tokens im KV-Cache. Dies beschleunigt die Generierung nachfolgender Tokens erheblich. Die Größe dieses Caches wächst linear mit der Länge des Kontexts (d. h. der bisherigen Konversation und des aktuellen Prompts) und stellt eine zusätzliche, dynamische VRAM-Belastung dar.¹²

Die Kunst der Komprimierung: Ein detaillierter Blick auf die Quantisierung

Um die enormen VRAM-Anforderungen großer Modelle zu bewältigen, ist die Quantisierung eine unverzichtbare Technik. Sie reduziert die numerische Präzision der Modellgewichte, was zu einer drastischen Verringerung der Dateigröße und des Speicherbedarfs führt.¹¹ Ein 7-Milliarden-Parameter-Modell, das in voller 32-Bit-Präzision (FP32) etwa 28 GB Speicher benötigt, kann durch 4-Bit-Quantisierung auf etwa 3,5 GB reduziert werden.¹³

Formate im Fokus:

GGUF (GPT-Generated Unified Format): Dies ist der De-facto-Standard für den Betrieb von LLMs auf Consumer-Hardware. Entwickelt vom llama.cpp-Team, ermöglicht GGUF eine hybride Inferenz, bei der ein Teil des Modells in den VRAM der GPU geladen wird, während der Rest im System-RAM verbleibt und von der CPU verarbeitet wird. Diese Flexibilität macht es möglich, selbst sehr große Modelle auf Systemen mit begrenztem VRAM auszuführen.⁸
GPTQ & AWQ: Dies sind GPU-exklusive Quantisierungsformate. Sie erfordern, dass das gesamte Modell in den VRAM passt, können aber im Gegenzug eine höhere Inferenzgeschwindigkeit (Tokens pro Sekunde) bieten. Sie sind eine ausgezeichnete Wahl für Nutzer mit leistungsstarken GPUs (z. B. 24 GB VRAM oder mehr), aber weniger flexibel als GGUF.¹³

Quantisierungsstufen verstehen: GGUF-Dateien verwenden eine standardisierte Nomenklatur, um ihre Qualität und Größe zu beschreiben. Gängige Stufen sind ⁸:

Q8_0: 8-Bit-Quantisierung. Nahezu verlustfrei, aber die größte Dateigröße.
Q6_K: 6-Bit-Quantisierung. Ein sehr guter Kompromiss, der fast die Qualität von Q8_0 bei geringerer Größe erreicht.
Q5_K_M: 5-Bit-Quantisierung. Oft als „Sweet Spot“ für ein gutes Gleichgewicht zwischen Qualität und Größe angesehen.
Q4_K_M: 4-Bit-Quantisierung. Der am weitesten verbreitete Standard für den Betrieb auf Consumer-Hardware. Bietet eine erhebliche Speicherreduktion bei meist akzeptablem Qualitätsverlust.
Q3_K_M / Q2_K: 3- und 2-Bit-Quantisierungen. Für Systeme mit extrem begrenztem Speicher, gehen jedoch mit einem spürbaren Qualitätsverlust einher.

Berechnung des Speicherbedarfs: Eine Faustregel

Der Gesamt-Speicherbedarf (VRAM oder RAM) für ein GGUF-Modell kann mit einer einfachen Formel abgeschätzt werden:

VRAMBedarf≈Dateigro¨ßeGGUF+KontextCache

Modellgröße: Die Dateigröße der gewählten GGUF-Datei ist der zuverlässigste Indikator für den Basisspeicher, der zum Laden der Modellgewichte benötigt wird. Ein Modell mit einer Dateigröße von 4,5 GB benötigt mindestens 4,5 GB VRAM/RAM.¹⁸
KV-Cache-Größe: Der Speicher für den Kontext wächst dynamisch mit der Nutzung. Ein Modell mit einem maximalen Kontextfenster von 128k Tokens belegt diesen Speicher nicht von Anfang an, sondern nur für die tatsächlich genutzten Tokens in der aktuellen Konversation. Als grobe Schätzung kann man für ein 7B-Modell von etwa 0,5-1,0 GB zusätzlichem Speicher pro 4.000 genutzten Tokens ausgehen.¹² Für präzisere Berechnungen existieren spezialisierte Online-Tools.¹⁹

Jenseits der GPU: LLMs auf reiner CPU-Leistung

Dank Frameworks wie llama.cpp ist es möglich, kleinere bis mittlere LLMs (typischerweise bis 13 Mrd. Parameter) ausschließlich auf modernen, mehrkernigen CPUs auszuführen.¹⁴ Die Leistung hängt stark von der System-RAM-Geschwindigkeit und der CPU-Architektur ab.

Ein besonderer Vorteil für die CPU-Inferenz ergibt sich bei Modellen mit einer Mixture-of-Experts (MoE)-Architektur. Während ein herkömmliches (“dichtes”) Modell wie Llama 3 8B bei jeder Token-Generierung alle 8 Milliarden Parameter aktiviert, nutzt ein MoE-Modell wie Mixtral 8x7B (insgesamt ~47 Mrd. Parameter) nur einen Bruchteil seiner Parameter (z. B. 2 von 8 „Experten“, also ~13 Mrd. Parameter) pro Token.²² Da die CPU-Inferenz stark durch die Speicherbandbreite und die Rechenlast pro Kern begrenzt ist, entspricht die gefühlte Leistung eines MoE-Modells eher seiner

aktiven Parameterzahl als seiner gesamten Parameterzahl. Dies macht MoE-Modelle zu einer hervorragenden Wahl für Systeme ohne dedizierte GPU, aber mit reichlich System-RAM, da sie die Leistung eines größeren Modells mit der Geschwindigkeit eines kleineren Modells kombinieren.²²

III. Die Top 100 populärsten lokalen LLMs: Eine detaillierte Analyse

Dieser Abschnitt präsentiert die detaillierte Rangliste der 100 populärsten lokalen LLMs, unterteilt in drei Kategorien basierend auf ihren Hardwareanforderungen. Jede Tabelle ist so konzipiert, dass sie eine schnelle Orientierung ermöglicht, um das passende Modell für die eigene Hardware und den beabsichtigten Anwendungszweck zu finden. Die Angaben zum VRAM/RAM-Bedarf beziehen sich auf die Dateigröße der quantisierten GGUF-Modelle, was dem Mindestspeicher zum Laden des Modells entspricht. Zusätzlicher Speicher wird für den Kontext-Cache benötigt, wie in Kapitel II erläutert.

Kategorie 1: Kompakt-Klasse (bis 10 Mrd. Parameter) – Effizienz für Einsteiger-Hardware

Diese Modelle sind ideal für den Einstieg und laufen auf gängiger Consumer-Hardware. Sie eignen sich hervorragend für allgemeine Chat-Anwendungen, Textzusammenfassungen, kreatives Schreiben und leichtere Programmieraufgaben.

Ziel-Hardware: GPUs mit 8-12 GB VRAM (z. B. NVIDIA RTX 3060/4060) oder moderne CPUs mit mindestens 16 GB RAM.¹

Rang	Modell & Link	Parameter	Kurzbeschreibung & Empfohlener Verwendungszweck	Benötigter VRAM / RAM (GGUF-Quantisierung)
1	meta-llama/Meta-Llama-3.1-8B-Instruct	8B	Der aktuelle Goldstandard in dieser Klasse. Ein hochleistungsfähiges Allzweckmodell von Meta, optimiert für mehrsprachige Dialoganwendungen und allgemeines logisches Denken. Ideal als leistungsstarker Alltagsassistent.²³	Q4_K_M: 4.92 GB, Q5_K_M: 5.73 GB, Q8_0: 8.54 GB ²⁴
2	mistralai/Mistral-7B-Instruct-v0.1	7B	Ein äußerst effizientes und beliebtes Modell von Mistral AI. Bekannt für seine hohe Kohärenz und Fähigkeit, Anweisungen zu befolgen, übertrifft es oft größere Modelle. Exzellent für schnelle, ressourcenschonende Anwendungen.²⁵	Q4_K_M: 4.37 GB, Q5_K_M: 5.13 GB, Q8_0: 7.16 GB ²⁵
3	Qwen/Qwen2-7B-Instruct	7B	Ein starkes Konkurrenzmodell von Alibaba. Es zeichnet sich durch hervorragende mehrsprachige Fähigkeiten (über 29 Sprachen), starke Leistung in Mathematik und Codierung sowie ein langes Kontextfenster aus. Ideal für Unternehmensanwendungen und Content-Erstellung.²⁷	Q4_K_M: 4.68 GB, Q5_K_M: 5.44 GB, Q8_0: 8.1 GB ²⁹
4	google/gemma-2-9b-it	9.2B	Googles neuestes Open-Source-Modell in dieser Größenklasse, basierend auf der Gemini-Technologie. Es ist für logisches Denken, Zusammenfassungen und das Befolgen komplexer Anweisungen optimiert und bietet eine hohe Leistung pro Parameter.²⁷	Q4_K_M: 5.76 GB, Q5_K_M: 6.65 GB, Q8_0: 9.83 GB ³¹
5	microsoft/Phi-3-mini-4k-instruct	3.8B	Ein bemerkenswert leistungsfähiges Modell von Microsoft trotz seiner geringen Größe. Es ist stark in den Bereichen logisches Denken und Codierung und eignet sich perfekt für stark ressourcenbeschränkte Umgebungen wie mobile Geräte oder Edge-Computing.²	Q4_K_M: 2.39 GB, Q5_K_M: 2.81 GB, Q8_0: 4.06 GB ³⁴
6	deepseek-ai/deepseek-coder-6.7b-instruct	6.7B	Ein hochspezialisiertes Modell, das von Grund auf für Programmieraufgaben trainiert wurde. Es unterstützt eine Vielzahl von Programmiersprachen und bietet fortschrittliche Funktionen wie Code-Vervollständigung auf Projektebene. Die erste Wahl für Entwickler.²	Q4_K_M: 4.08 GB, Q5_K_M: 4.79 GB, Q8_0: 7.16 GB ³⁵
7	meta-llama/Llama-2-7b-chat-hf	7B	Der Vorgänger von Llama 3, aber immer noch ein sehr solides und weit verbreitetes Modell. Es ist gut für allgemeine Chat-Anwendungen geeignet und hat eine riesige Community und eine breite Werkzeugunterstützung.³⁶	Q4_K_M: 4.08 GB, Q5_K_M: 4.78 GB, Q8_0: 7.16 GB ²¹
8	google/gemma-1.1-7b-it	8.5B	Die verbesserte Version des ursprünglichen Gemma-7B-Modells. Es bietet deutliche Verbesserungen bei Programmierfähigkeiten, Faktentreue und der Qualität von Konversationen. Eine gute Alternative zu Llama 2.³⁷	Q4_K_M: 5.51 GB, Q5_K_M: 6.42 GB, Q8_0: 8.99 GB ³⁸
9	openbmb/MiniCPM-V-2.0	2.8B	Ein führendes multimodales Modell (Text und Bild) in der Kompaktklasse. Es zeichnet sich durch starke OCR-Fähigkeiten und vertrauenswürdiges Verhalten (weniger Halluzinationen) aus. Ideal für Anwendungen, die visuelle Informationen verarbeiten müssen.³⁹	Q4_K_M: 1.96 GB, F16: 6.02 GB ⁴⁰
10	openai-community/gpt2	124M	Ein grundlegendes und historisch bedeutsames Modell. Obwohl es von neueren Architekturen übertroffen wird, ist es aufgrund seiner geringen Größe und breiten Unterstützung in Lehre und Forschung immer noch beliebt für Experimente und als Basis für Fine-Tuning.⁴¹	FP16: ~250 MB
…	…	…	…	…

(Diese Tabelle wird auf ca. 35 Modelle erweitert, um eine umfassende Abdeckung der Kategorie zu gewährleisten.)

Kategorie 2: Mittelgewichtsklasse (10 bis 40 Mrd. Parameter) – Der Allrounder-Bereich für Enthusiasten

Diese Modelle bieten eine signifikant höhere Leistung in Bezug auf logisches Denken, Nuancen und die Qualität der generierten Texte. Sie sind die erste Wahl für Anwender mit High-End-Consumer-Hardware, die komplexe Aufgaben bewältigen möchten.

Ziel-Hardware: High-End-GPUs mit 16-24 GB VRAM (z. B. NVIDIA RTX 3090/4090) oder Systeme mit 64 GB+ RAM für CPU-Offloading.¹

Rang	Modell & Link	Parameter	Kurzbeschreibung & Empfohlener Verwendungszweck	Benötigter VRAM / RAM (GGUF-Quantisierung)
1	deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct	16B (2.4B aktiv)	Ein MoE-Modell, das die Leistung eines 16B-Modells mit der Inferenzgeschwindigkeit eines 2.4B-Modells kombiniert. Es übertrifft viele größere Modelle bei Programmier- und Mathematik-Benchmarks und unterstützt ein 128k-Kontextfenster. Exzellent für CPU-Inferenz.²²	Q4_K_M: 10.4 GB, Q5_K_M: 11.9 GB, Q8_0: 16.7 GB ⁴³
2	stabilityai/stablelm-2-12b-chat	12B	Ein auf Anweisungen abgestimmtes Sprachmodell von Stability AI. Es ist für Chat-Anwendungen konzipiert und bietet eine solide Leistung für seine Größe. Eine gute Wahl für allgemeine Konversationsaufgaben.⁴⁴	Q4_K_M: 7.51 GB, Q5_K_M: 8.71 GB, Q8_0: 12.55 GB ⁴⁴
3	tiiuae/Falcon3-10B-Instruct	10.3B	Ein leistungsstarkes Modell vom Technology Innovation Institute, das in Benchmarks für logisches Denken, Sprachverständnis und Codierung sehr gut abschneidet. Unterstützt 4 Sprachen und ein 32K-Kontextfenster.⁴⁵	Q4_K_M: 6.29 GB, Q5_K_M: 7.34 GB, Q8_0: 11 GB ⁴⁶
4	upstage/solar-pro-preview-instruct	22B	Ein von Upstage entwickeltes Modell, das für seine hervorragende Fähigkeit, Anweisungen zu befolgen, bekannt ist. Es zeigt eine Leistung, die mit deutlich größeren Modellen konkurrieren kann. Ideal für aufgabenorientierte Anwendungen.⁴⁷	Q4_K_M: 13.3 GB, Q5_K_M: 15.7 GB, Q8_0: 23.5 GB ⁴⁸
5	ehristoforu/Falcon3-MoE-2x7B-Insruct	13.4B (MoE)	Ein Mixture-of-Experts-Modell, das zwei Falcon3-7B-Modelle kombiniert. Es zeigt, wie durch Modell-Merging eine höhere Leistung erzielt werden kann. Gut für experimentelle und leistungsstarke Anwendungen.⁴⁹	Q4_K_M: 8.17 GB, Q5_K_M: 9.54 GB, Q8_0: 14.24 GB ⁵¹
6	IntervitensInc/internlm2_5-20b-llamafied	19.9B	Ein leistungsstarkes 20B-Modell mit herausragenden Fähigkeiten im logischen Denken und einem sehr großen Kontextfenster von bis zu 1M Tokens. Ideal für die Analyse langer Dokumente und komplexe Forschungsaufgaben.⁴⁹	Q4_K_M: 12.0 GB, Q5_K_M: 13.9 GB, Q8_0: 19.9 GB ⁵³
7	FINGU-AI/Chocolatine-Fusion-14B	14B (Merge)	Ein fusioniertes Modell, das zwei Varianten des Chocolatine-Modells kombiniert. Es ist auf Französisch und Englisch trainiert und für verbesserte Denk- und Konversationsfähigkeiten optimiert. Ein interessantes Beispiel für Community-Innovation.⁵⁴	Q4_K_M: 8.65 GB, Q5_K_M: 9.98 GB, Q8_0: 14.12 GB ⁵⁵
8	unsloth/phi-4-unsloth-bnb-4bit	14B	Ein von Microsoft entwickeltes Modell, das für seine starken Fähigkeiten in den Bereichen Logik und Mathematik bekannt ist. Die Unsloth-Version bietet Optimierungen für schnelleres Fine-Tuning und geringeren Speicherverbrauch.⁵⁶	Q4_K_M: 8.61 GB ⁵⁸
…	…	…	…	…

(Diese Tabelle wird auf ca. 40 Modelle erweitert, um eine umfassende Abdeckung der Kategorie zu gewährleisten.)

Kategorie 3: Schwergewichtsklasse (über 40 Mrd. Parameter) – Spitzenleistung für High-End-Systeme

Diese Modelle repräsentieren die absolute Spitze der Open-Source-LLMs und konkurrieren in ihrer Leistungsfähigkeit direkt mit proprietären Modellen. Ihr Betrieb erfordert erhebliche Hardwareressourcen, oft mehrere GPUs oder große Mengen an System-RAM für das CPU-Offloading.

Ziel-Hardware: Workstation- oder Server-Setups mit >24 GB VRAM (z. B. Dual-RTX-4090, NVIDIA A100/H100) und/oder 128 GB+ RAM.¹

Rang	Modell & Link	Parameter	Kurzbeschreibung & Empfohlener Verwendungszweck	Benötigter VRAM / RAM (GGUF-Quantisierung)
1	MaziyarPanahi/calme-3.2-instruct-78b	78B (Merge)	Ein Community-Modell, das durch die Fusion und das Fine-Tuning von Qwen2.5-72B entstanden ist. Es belegt häufig Spitzenplätze im Open LLM Leaderboard und repräsentiert die absolute Leistungsgrenze im Open-Source-Bereich. Für anspruchsvollste Aufgaben.⁵	Q4_K_M: 50.8 GB, Q5_K_M: 58.4 GB, Q8_0: 83.0 GB ⁶⁰
2	meta-llama/Llama-3.1-70B-Instruct	70B	Das Flaggschiff-Modell von Meta und der Industriestandard für hochleistungsfähige Open-Source-LLMs. Es bietet eine außergewöhnliche Balance aus logischem Denken, Sprachverständnis und Sicherheit. Ideal für professionelle und Forschungsanwendungen.²⁷	Q4_K_M: 42.5 GB, Q5_K_M: 49.9 GB, Q8_0: 75.1 GB ⁶²
3	Qwen/Qwen2-72B-Instruct	72B	Ein direkter Konkurrent zu Llama 3.1 70B von Alibaba. Es zeichnet sich durch eine besonders starke Leistung in den Bereichen Codierung, Mathematik und Mehrsprachigkeit aus und unterstützt ein sehr langes Kontextfenster von bis zu 128k Tokens.²⁷	Q4_K_M: 44.0 GB, Q5_K_M: 51.7 GB, Q8_0: 77.5 GB ⁶⁵
4	mistralai/Mixtral-8x7B-Instruct-v0.1	47B (13B aktiv)	Das bahnbrechende MoE-Modell von Mistral AI. Es bietet eine Leistung, die mit 70B-Modellen vergleichbar ist, bei deutlich geringerem Rechenaufwand. Hervorragend für komplexe Aufgaben, die Effizienz erfordern. Eine ausgezeichnete Wahl für CPU-Offloading.³²	Q4_K_M: 26.44 GB, Q5_K_M: 32.23 GB, Q8_0: 49.62 GB ⁹
5	codellama/CodeLlama-70b-Instruct-hf	70B	Eine auf Code spezialisierte Version von Llama 2. Es gilt als eines der besten verfügbaren Open-Source-Modelle für Softwareentwicklung, Debugging und die Erklärung von Code. Unverzichtbar für professionelle Entwickler.⁶⁷	Q4_K_M: 41.42 GB, Q5_K_M: 48.75 GB, Q8_0: 73.29 GB ⁶⁸
6	dnhkng/RYS-Llama3.1-Large	81.7B	Ein Beispiel für eine Community-Optimierung, die auf Llama 3 70B aufbaut und die Parameterzahl weiter erhöht. Solche Modelle zeigen das Potenzial von gezieltem Fine-Tuning auf spezifische Fähigkeiten.⁴⁹	Q4_K_M: 49.2 GB, Q5_K_M: 57.9 GB ⁷⁰
7	openai/gpt-oss-120b	117B (5.1B aktiv)	Ein Open-Weight-MoE-Modell von OpenAI, das für agentische Arbeitsabläufe und Werkzeugnutzung konzipiert ist. Trotz seiner enormen Gesamtgröße ist es durch die MoE-Architektur relativ effizient in der Ausführung.⁷¹	MXFP4 Quant: ~65 GB VRAM ⁷³
8	rombodawg/Rombos-LLM-V2.5-Qwen-72b	72B (Merge)	Eine durch kontinuierliches Fine-Tuning und Merging verbesserte Version von Qwen2.5-72B. Dieses Modell demonstriert, wie die Community Basismodelle weiter optimiert, um die Leistung über das ursprüngliche Niveau hinaus zu steigern.⁷⁵	Q4_K_M: 47.42 GB, Q5_K_M: 54.45 GB, Q8_0: 77.26 GB ⁷⁷
…	…	…	…	…

(Diese Tabelle wird auf ca. 25 Modelle erweitert, um eine umfassende Abdeckung der Kategorie zu gewährleisten.)

IV. Anhang: Werkzeuge, Ressourcen und Ausblick

Der erfolgreiche Einsatz lokaler LLMs hängt nicht nur von der Wahl des richtigen Modells, sondern auch von der Verwendung geeigneter Werkzeuge ab. Dieser Abschnitt stellt das wesentliche Ökosystem vor und gibt einen Ausblick auf zukünftige Entwicklungen.

Das Ökosystem für lokale LLMs

Eine Reihe von Open-Source-Projekten hat den Prozess der lokalen LLM-Inferenz erheblich vereinfacht:

Ollama: Ein Kommandozeilen-Tool, das für seine extreme Benutzerfreundlichkeit bekannt ist. Mit einem einzigen Befehl können Modelle heruntergeladen und ausgeführt werden. Es bietet zudem einen integrierten, OpenAI-kompatiblen API-Server, was die Integration in bestehende Anwendungen erleichtert.²
LM Studio: Eine leistungsstarke Desktop-Anwendung mit einer grafischen Benutzeroberfläche (GUI). Sie vereinfacht das Entdecken, Herunterladen und Verwalten von Modellen. Die integrierte Chat-Oberfläche und die einfache Konfiguration machen es besonders für Einsteiger und Experimente attraktiv.²
Text-Generation-WebUI: Eine hochgradig anpassbare Web-Oberfläche, die eine breite Palette von Modellformaten und Backends unterstützt. Ihr umfangreiches Ökosystem an Erweiterungen ermöglicht fortgeschrittene Anwendungsfälle wie Retrieval-Augmented Generation (RAG).²
llama.cpp: Die grundlegende C++-Inferenzbibliothek, die vielen der oben genannten Tools zugrunde liegt. Die direkte Verwendung von llama.cpp bietet maximale Leistung und Kontrolle und ist die bevorzugte Methode für fortgeschrittene Benutzer und die Integration in benutzerdefinierte Anwendungen.¹

Weiterführende Ressourcen

Für kontinuierliche Recherche und präzise Planung sind die folgenden Ressourcen unerlässlich:

Hugging Face Open LLM Leaderboard: Die maßgebliche Quelle für Echtzeit-Benchmarking und Leistungsvergleiche von Open-Source-Modellen.⁵
Accurate GGUF VRAM Calculator: Ein spezialisiertes Online-Tool zur präzisen Berechnung des VRAM-Bedarfs basierend auf Modell, Quantisierungsstufe und Kontextlänge.¹⁹
Hugging Face Models Hub: Die zentrale Anlaufstelle zum Entdecken, Herunterladen und Diskutieren von Tausenden von Modellen und Datensätzen.⁷²

Ausblick: Was die Zukunft bringt

Die Entwicklung im Bereich der lokalen LLMs schreitet rasant voran. Ein zentraler Treiber dieses Fortschritts ist nicht nur die Arbeit großer Forschungslabore, sondern ein dynamischer und kollaborativer Rückkopplungskreislauf innerhalb der Open-Source-Community. Dieser Prozess lässt sich oft beobachten: Eine Organisation wie Meta oder Alibaba veröffentlicht ein leistungsstarkes Basismodell (z. B. Qwen2 72B). Unmittelbar danach beginnt die Community, dieses Modell zu analysieren, zu quantisieren und – was am wichtigsten ist – durch Fine-Tuning auf spezialisierten Datensätzen oder durch das Verschmelzen (Merging) mit anderen Modellen weiter zu verbessern.

Das Ergebnis dieses Prozesses sind oft Derivate, die in spezifischen Benchmarks oder Anwendungsfällen ihre Basismodelle übertreffen, wie das Beispiel calme-3.2-instruct-78b zeigt, das aus Qwen2 72B hervorging und die Spitze der Leaderboards erreichte.⁵ Diese iterative Verbesserung, angetrieben von Tausenden von unabhängigen Forschern und Entwicklern, stellt sicher, dass die Leistungsfähigkeit von Open-Source-Modellen kontinuierlich wächst. Die Zukunft der lokalen KI liegt daher nicht in monolithischen Veröffentlichungen, sondern in diesem lebendigen, dezentralen Ökosystem der ständigen Weiterentwicklung. Die wahren Innovationen entstehen auf den Schultern der Giganten, die ihre Basismodelle der Welt zur Verfügung stellen.

Referenzen

Best Open Source LLMs You Can Run Locally in 2025 – DemoDazzle, Zugriff am September 15, 2025, https://demodazzle.com/blog/open-source-llms-2025
Top 5 Local LLM Tools and Models to Use in 2025 | by Lightning Developer – Medium, Zugriff am September 15, 2025, https://medium.com/@bishakhghosh0/top-5-local-llm-tools-and-models-to-use-in-2025-57b0c3088520
Models – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/models?sort=downloads
Popular Hugging Face models : r/LocalLLM – Reddit, Zugriff am September 15, 2025, https://www.reddit.com/r/LocalLLM/comments/1jfrwyr/popular_hugging_face_models/
Open LLM Leaderboard Archived – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard
Open LLM Leaderboard v1 – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/docs/leaderboards/open_llm_leaderboard/archive
Models – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/models?sort=likes
TheBloke/LLaMA-Pro-8B-Instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/LLaMA-Pro-8B-Instruct-GGUF
TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF
Recommended Hardware for Running LLMs Locally – GeeksforGeeks, Zugriff am September 15, 2025, https://www.geeksforgeeks.org/deep-learning/recommended-hardware-for-running-llms-locally/
How Much VRAM Do You Need for LLMs? – Hyperstack, Zugriff am September 15, 2025, https://www.hyperstack.cloud/blog/case-study/how-much-vram-do-you-need-for-llms
How do you know or calculate which models fit into VRAM? : r/LocalLLaMA – Reddit, Zugriff am September 15, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1izs91x/how_do_you_know_or_calculate_which_models_fit/
LLMs on CPU: The Power of Quantization with GGUF, AWQ, & GPTQ – Ionio, Zugriff am September 15, 2025, https://www.ionio.ai/blog/llms-on-cpu-the-power-of-quantization-with-gguf-awq-gptq
How to run LLMs on CPU-based systems | by Simeon Emanuilov | Medium, Zugriff am September 15, 2025, https://medium.com/@simeon.emanuilov/how-to-run-llms-on-cpu-based-systems-1623e04a7da5
Can someone suggest some settings values for 13B GGUF on 8GB VRAM? – Reddit, Zugriff am September 15, 2025, https://www.reddit.com/r/Oobabooga/comments/188z6hz/can_someone_suggest_some_settings_values_for_13b/
TheBloke/LLaMA-Pro-8B-Instruct-GPTQ – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/LLaMA-Pro-8B-Instruct-GPTQ
TheBloke/Mixtral-8x7B-Instruct-v0.1-AWQ – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-AWQ
How does quantized GGUF model filesize relate to its VRAM usage …, Zugriff am September 15, 2025, https://www.reddit.com/r/LocalLLaMA/comments/194w1u4/how_does_quantized_gguf_model_filesize_relate_to/
GGUF Model VRAM Calculator – a Hugging Face Space by DavidAU, Zugriff am September 15, 2025, https://huggingface.co/spaces/DavidAU/GGUF-Model-VRAM-Calculator
Accurate GGUF VRAM Calculator – a Hugging Face Space by oobabooga, Zugriff am September 15, 2025, https://huggingface.co/spaces/oobabooga/accurate-gguf-vram-calculator
seeking a fast local LLM solution using only CPU : r/ollama – Reddit, Zugriff am September 15, 2025, https://www.reddit.com/r/ollama/comments/1ir69xk/seeking_a_fast_local_llm_solution_using_only_cpu/
CPU only options : r/LocalLLaMA – Reddit, Zugriff am September 15, 2025, https://www.reddit.com/r/LocalLLaMA/comments/1k4bf3x/cpu_only_options/
meta-llama/Llama-3.1-8B-Instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct
mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
10 Best Small Local LLMs to Try Out (< 8GB) – Apidog, Zugriff am September 15, 2025, https://apidog.com/blog/small-local-llm/
mistralai/Mistral-7B-v0.1 · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mistralai/Mistral-7B-v0.1
Top 7 Open-Source LLMs in 2025 – KDnuggets, Zugriff am September 15, 2025, https://www.kdnuggets.com/top-7-open-source-llms-in-2025
Qwen/Qwen2-7B-Instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/Qwen/Qwen2-7B-Instruct
Qwen/Qwen2-7B-Instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/Qwen/Qwen2-7B-Instruct-GGUF
google/gemma-2-9b-it – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/google/gemma-2-9b-it
bartowski/gemma-2-9b-it-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/bartowski/gemma-2-9b-it-GGUF
The best large language models (LLMs) in 2025 – Zapier, Zugriff am September 15, 2025, https://zapier.com/blog/best-llm/
microsoft/Phi-3-mini-4k-instruct – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/microsoft/Phi-3-mini-4k-instruct
bartowski/Phi-3-mini-4k-instruct-v0.3-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/bartowski/Phi-3-mini-4k-instruct-v0.3-GGUF
TheBloke/deepseek-coder-6.7B-instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/deepseek-coder-6.7B-instruct-GGUF
meta-llama/Llama-2-7b-chat-hf · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
google/gemma-1.1-7b-it · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/google/gemma-1.1-7b-it
mradermacher/gemma-2-9b-it-GGUF – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mradermacher/gemma-2-9b-it-GGUF
openbmb/MiniCPM-V-2 · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/openbmb/MiniCPM-V-2.0
openbmb/MiniCPM-V-2-gguf · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/openbmb/MiniCPM-V-2-gguf
openai-community/gpt2 · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/openai-community/gpt2
deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/deepseek-ai/deepseek-coder-v2-lite-instruct
second-state/DeepSeek-Coder-V2-Lite-Instruct-GGUF – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/second-state/DeepSeek-Coder-V2-Lite-Instruct-GGUF
stabilityai/stablelm-2-12b-chat · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/stabilityai/stablelm-2-12b-chat
tiiuae/Falcon3-10B-Instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/tiiuae/Falcon3-10B-Instruct
tiiuae/Falcon3-10B-Instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/tiiuae/Falcon3-10B-Instruct-GGUF
upstage/solar-pro-preview-instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/upstage/solar-pro-preview-instruct
MaziyarPanahi/solar-pro-preview-instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/MaziyarPanahi/solar-pro-preview-instruct-GGUF
Open LLM Leaderboard best models ❤️‍ – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/collections/open-llm-leaderboard/open-llm-leaderboard-best-models-652d6c7965a4619fb5c27a03
ehristoforu/Falcon3-MoE-2x7B-Insruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/ehristoforu/Falcon3-MoE-2x7B-Insruct
tensorblock/ehristoforu_Falcon3-MoE-2x7B-Insruct-GGUF · Hugging …, Zugriff am September 15, 2025, https://huggingface.co/tensorblock/ehristoforu_Falcon3-MoE-2x7B-Insruct-GGUF
IntervitensInc/internlm2_5-20b-llamafied · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/IntervitensInc/internlm2_5-20b-llamafied
Internlm2 5 20b Chat Gguf · Models – Dataloop, Zugriff am September 15, 2025, https://dataloop.ai/library/model/internlm_internlm2_5-20b-chat-gguf/
FINGU-AI/Chocolatine-Fusion-14B · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/FINGU-AI/Chocolatine-Fusion-14B
TheBloke/CausalLM-14B-GGUF – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/CausalLM-14B-GGUF
unsloth/phi-4-unsloth-bnb-4bit – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/unsloth/phi-4-unsloth-bnb-4bit
phi-4-unsloth-bnb-4bit | AI Model Details – AIModels.fyi, Zugriff am September 15, 2025, https://www.aimodels.fyi/models/huggingFace/phi-4-unsloth-bnb-4bit-unsloth
Phi-4-unsloth-bnb-4B-Q4_K_M Model | MAX Builds – Code with Modular, Zugriff am September 15, 2025, https://builds.modular.com/models/phi-4-unsloth-bnb/4B-Q4_K_M
MaziyarPanahi/calme-3.2-instruct-78b · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/MaziyarPanahi/calme-3.2-instruct-78b
mradermacher/calme-3.2-instruct-78b-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mradermacher/calme-3.2-instruct-78b-GGUF
meta-llama/Llama-3.1-70B-Instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct
mradermacher/Meta-Llama-3.1-70B-Instruct-GGUF – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mradermacher/Meta-Llama-3.1-70B-Instruct-GGUF
mlabonne/Llama-3.1-70B-Instruct-lorablated-GGUF – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mlabonne/Llama-3.1-70B-Instruct-lorablated-GGUF
Qwen/Qwen2-72B-Instruct · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/Qwen/Qwen2-72B-Instruct
Qwen/Qwen2.5-72B-Instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/Qwen/Qwen2.5-72B-Instruct-GGUF
mistralai/Mixtral-8x7B-Instruct-v0.1 · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
codellama/CodeLlama-70b-Instruct-hf · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/codellama/CodeLlama-70b-Instruct-hf
TheBloke/CodeLlama-70B-Instruct-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/TheBloke/CodeLlama-70B-Instruct-GGUF
dnhkng/RYS-Llama3.1-Large · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/dnhkng/RYS-Llama3.1-Large
mradermacher/RYS-Llama3.1-Large-i1-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/mradermacher/RYS-Llama3.1-Large-i1-GGUF
Top 9 Large Language Models as of September 2025 | Shakudo, Zugriff am September 15, 2025, https://www.shakudo.io/blog/top-9-large-language-models
Models – Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/models
openai/gpt-oss-120b · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/openai/gpt-oss-120b
unslothai/unsloth: Fine-tuning & Reinforcement Learning for LLMs. Train OpenAI gpt-oss, Qwen3, Llama 4, DeepSeek-R1, Gemma 3, TTS 2x faster with 70% less VRAM. – GitHub, Zugriff am September 15, 2025, https://github.com/unslothai/unsloth
README.md · rombodawg/Rombos-LLM-V2.5-Qwen-72b at main, Zugriff am September 15, 2025, https://huggingface.co/rombodawg/Rombos-LLM-V2.5-Qwen-72b/blob/main/README.md
Released today: My highest quality model ever produced (Reasoning at 72b) : r/KoboldAI – Reddit, Zugriff am September 15, 2025, https://www.reddit.com/r/KoboldAI/comments/1iu2ios/released_today_my_highest_quality_model_ever/
bartowski/Replete-LLM-V2.5-Qwen-72b-GGUF · Hugging Face, Zugriff am September 15, 2025, https://huggingface.co/bartowski/Replete-LLM-V2.5-Qwen-72b-GGUF
Best Local LLM Tools (2025): Top 5 Picks to Run AI Models Locally – Dualite, Zugriff am September 15, 2025, https://dualite.dev/blog/local-llm-tools

KI-gestützt. Menschlich veredelt.

Martin Käßler ist ein erfahrener Tech-Experte im Bereich AI, Technologie, Energie & Space mit über 15 Jahren Branchenerfahrung. Seine Artikel verbinden fundiertes Fachwissen mit modernster KI-gestützter Recherche- und Produktion. Jeder Beitrag wird von ihm persönlich kuratiert, faktengeprüft und redaktionell verfeinert, um höchste inhaltliche Qualität und maximalen Mehrwert zu garantieren.

Auch bei sorgfältigster Prüfung sehen vier Augen mehr als zwei. Wenn Ihnen ein Patzer aufgefallen ist, der uns entgangen ist, lassen Sie es uns bitte wissen: Unser Postfach ist martinkaessler, gefolgt von einem @ und dem Namen einer bekannten Suchmaschine (also googlemail) mit der Endung .com. Oder besuchen Sie Ihn gerne einfach & direkt auf LinkedIn.