KI lokal ausführen: Ollama und LM Studio Schritt für Schritt

Wie kann man KI lokal ausführen? Am einfachsten mit Ollama oder LM Studio: Programm installieren, ein Open-Weight-Modell herunterladen und ohne Internet und ohne Abo damit chatten. Ollama ist ein einziger Befehl im Terminal, LM Studio eine Desktop-App mit Fenstern und Modellsuche. Für den Anfang reicht ein Rechner mit etwa 8 GB freiem Grafikspeicher oder ein Mac mit Apple Silicon.

Warum KI überhaupt lokal ausführen?

Neue Open-Weight-Modelle erscheinen fast jede Woche. Manche sind Giganten wie Reflection Beam (MoE 501B), die auf Heimhardware nicht laufen, aber es gibt auch kleinere Versionen und Modelle der „Flash“-Klasse, die immer öfter auf einen normalen Laptop passen.

Was wir davon haben:

1. Privatsphäre. Prompts und Dateien verlassen unseren Rechner nicht.
2. Keine Limits und keine Rechnungen. Wir zahlen nur den Strom (und den Verschleiß der Hardware).
3. Offline-Betrieb. Ist das Modell einmal heruntergeladen, braucht es kein Internet mehr.
4. Lokale API. Eigene Skripte und Tools lassen sich an das Modell auf localhost anbinden, genau wie an eine Cloud-API.

Ein Problem gibt es: Ein lokales Modell ist nur so gut, wie es unsere Hardware zulässt. Die stärksten Cloud-Modelle bleiben für eine Heim-GPU weiterhin außer Reichweite.

Welche Hardware braucht man?

Am wichtigsten ist der Speicher: der VRAM der Grafikkarte oder der Unified Memory beim Mac.

• Ollama empfiehlt im offiziellen Quickstart 8 GB freien VRAM (oder Unified Memory beim Mac) für das Beispielmodell, dessen Download etwa 7,2 GB groß ist. Mit weniger VRAM weicht Ollama auf normalen RAM aus, die Antworten kommen dann aber langsamer. Auch ein größeres Kontextfenster frisst mehr Speicher.
• LM Studio braucht laut Systemanforderungen auf dem Mac Apple Silicon (M1–M4) und macOS 14 oder neuer, empfohlen sind 16 GB RAM (mit 8 GB läuft es auch, aber nur mit kleineren Modellen). Unter Windows werden 16 GB RAM und mindestens 4 GB VRAM empfohlen, ein x64-Prozessor muss AVX2 unterstützen. Unter Linux ist Ubuntu 20.04 oder neuer nötig.

Die goldene Regel: Die Modelldatei muss mit Reserve für den Kontext in den Speicher passen. Die Größen stehen in der Modellbibliothek, z. B. gibt es Gemma 4 in Ollama in Varianten von etwa 4,6 GB (e2b) bis etwa 20 GB (31b).

KI lokal ausführen mit Ollama: so geht’s

Ollama ist ein kostenloses Open-Source-Programm (MIT-Lizenz, Repository auf GitHub). Es läuft auf macOS, Windows und Linux und bringt einen Server mit, der die Modelle im Hintergrund bedient.

1. Installation. Auf macOS laden wir die App von der Ollama-Website. Unter Linux genügt ein Befehl:

curl -fsSL https://ollama.com/install.sh | sh

Unter Windows in der PowerShell:

irm https://ollama.com/install.ps1 | iex

2. Das erste Modell. Im Terminal starten wir:

ollama run gemma4:e2b

Ollama lädt das Modell selbst herunter und öffnet einen Chat. Beendet wird das Gespräch mit /bye. Läuft unter Linux der Server nicht, muss er zuerst mit ollama serve gestartet werden.

3. Modelle verwalten. Ein paar Befehle aus der CLI-Dokumentation, die vom ersten Tag an nützlich sind:

ollama pull gemma4   # Modell herunterladen, ohne es zu starten
ollama ls            # heruntergeladene Modelle anzeigen
ollama ps            # gerade laufende Modelle
ollama stop gemma4   # Modell anhalten
ollama rm gemma4     # Modell von der Festplatte löschen

Interessant: Ollama kann auch Programmier-Tools auf einem lokalen Modell starten. Der Befehl ollama launch claude startet Claude Code, und ollama launch claude --model qwen3.5 tut das mit einem Modell nach Wahl. Auf dem Mac hat die Ollama-App außerdem einen Tab Apps, über den sich Modelle mit der Claude-App oder ChatGPT Desktop verbinden lassen (bei Letzterer nur im Codex-Modus).

KI lokal ausführen mit LM Studio

LM Studio ist eine Desktop-App für alle, die lieber klicken als im Terminal tippen. Sie bietet einen Chat, eine Modellsuche für Hugging Face, MCP-Unterstützung und einen lokalen API-Server. Laut Lizenzbedingungen ist sie für den privaten und den internen Einsatz im Unternehmen verfügbar, wobei manche Funktionen kostenpflichtig sein können.

1. Installation. Installer von der LM-Studio-Website herunterladen und die App starten.
2. Modell herunterladen. Den Tab Discover öffnen (⌘ + 2 auf dem Mac, Strg + 2 unter Windows und Linux) und einen Namen eingeben, z. B. „gemma“ oder „qwen“. Man kann auch einen Hugging-Face-Link einfügen.
3. Variante wählen. Bezeichnungen wie Q4_K_M oder Q8 stehen für die sogenannte Quantisierung: Das Modell wird kleiner, auf Kosten eines Teils der Qualität. Die Dokumentation rät zu einer 4-Bit-Variante oder höher, wenn die Hardware es zulässt.
4. Chatten. Modell laden und schreiben wie in jedem KI-Chat.

LM Studio hat auch ein eigenes CLI namens lms, das mit der App installiert wird (es reicht, sie einmal zu starten). Laut CLI-Dokumentation geht dasselbe auch im Terminal:

lms get llama-3.1-8b          # Modell herunterladen
lms ls                        # Modelle auf der Festplatte anzeigen
lms chat my-model             # Chat im Terminal
lms server start              # lokalen API-Server starten

Ollama oder LM Studio?

Im Grunde machen beide Programme dasselbe, sie unterscheiden sich in der Arbeitsweise.

	Ollama	LM Studio
Bedienung	Terminal (plus einfache App)	App mit Fenstern (plus CLI lms)
Lizenz	Open Source (MIT)	proprietär, für privaten und internen Einsatz im Unternehmen
Modellsuche	Bibliothek auf ollama.com	Hugging-Face-Suche in der App
Lokale API	http://localhost:11434/v1/	http://localhost:1234/v1

Wer das Terminal mag oder ein Modell an Skripte und Agenten anbinden will, fängt am einfachsten mit Ollama an. Wer Modelle lieber erst einmal ansehen und vergleichen möchte, hat es in LM Studio bequemer.

Wie bindet man ein lokales Modell an eigenen Code an?

Beide Programme bieten eine OpenAI-kompatible API, es reicht also, in der normalen openai-Bibliothek die Adresse zu ändern. Ein Beispiel aus der Ollama-Dokumentation:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # von der Bibliothek verlangt, von Ollama ignoriert
)

reply = client.chat.completions.create(
    model="gpt-oss:20b",
    messages=[{"role": "user", "content": "Give me a one-line fun fact."}],
)
print(reply.choices[0].message.content)

In LM Studio schalten wir den Server mit dem Schalter Start server im Tab Developer ein oder mit lms server start. In den Beispielen der Dokumentation läuft der Server auf Port 1234 (http://localhost:1234/v1) und unterstützt u. a. /v1/chat/completions, /v1/responses und /v1/embeddings.

Das öffnet die Tür zu spannenderen Dingen als einem Chat: lokale Agenten, Suche in eigenen Notizen oder neue Open-Weight-Modelle schon am Erscheinungstag testen, etwa MiniMax M3.1 Flash. Und wer sehen will, wie solche Modelle in der Produktion bereitgestellt werden, findet mehr im Artikel über DeepSeek DeepInfer.

Häufige Fragen

Ist lokale KI kostenlos?

Ollama ist kostenlos und Open Source. LM Studio ist für den privaten und den internen Einsatz im Unternehmen verfügbar, laut den Bedingungen können aber manche Funktionen kostenpflichtig sein. Die Open-Weight-Modelle selbst lädt man kostenlos herunter, jedes hat aber eine eigene Lizenz, die man prüfen sollte.

Kann man KI ohne Grafikkarte lokal ausführen?

Ja, aber langsamer. Ohne VRAM nutzt Ollama den normalen RAM. Dann wählt man am besten ein kleines Modell, z. B. gemma4:e2b.

Wie viel Speicher braucht ein lokales Modell?

Ungefähr so viel, wie die Modelldatei groß ist, plus Reserve für den Kontext. Für das Beispielmodell aus dem Ollama-Quickstart (etwa 7,2 GB) werden 8 GB freier VRAM empfohlen.

Funktioniert ein lokales Modell ohne Internet?

Ja. Internet braucht man nur, um das Programm und das Modell herunterzuladen.