Zum Inhalt springen
roiwerk

Lokale KI

Ollama: Anleitung auf Deutsch für lokale KI, auch im Unternehmen

Ollama ist das einfachste Werkzeug, um Sprachmodelle wie Llama, Qwen, Gemma, Mistral oder gpt-oss auf dem eigenen Rechner oder Server laufen zu lassen. Die Daten verlassen dabei das Haus nicht. Diese Anleitung zeigt Installation, die wichtigsten Befehle, welche Modelle auf welche Hardware passen und worauf Unternehmen achten müssen, bevor sie Ollama für mehrere Mitarbeitende freigeben.

Roiwerk RedaktionStand: 4 Min. Lesezeit

Was Ollama ist

Ollama ist ein kleines Programm, das Sprachmodelle herunterlädt, verwaltet und ausführt. Es kümmert sich um die Hardware: Ist eine Nvidia- oder AMD-Grafikkarte da oder ein Mac mit Apple-Chip, wird sie automatisch genutzt. Ansonsten läuft das Modell, langsamer, auf dem Prozessor. Über eine Programmierschnittstelle (API) können andere Programme Ollama nutzen, zum Beispiel eine Chat-Oberfläche, n8n oder eigene Anwendungen.

Ollama ist kein Modell und keine fertige Firmen-KI. Es ist der Motor. Für Mitarbeitende braucht es noch eine Oberfläche, Benutzerverwaltung und meist eine Anbindung an Firmendokumente.

Installation in 5 Minuten

SystemSo geht es
Windows 10/11Installer von ollama.com herunterladen und ausführen. Ollama läuft danach im Hintergrund, mit eigener App-Oberfläche.
macOS (ab Apple M1)App von ollama.com herunterladen, in den Programme-Ordner ziehen, starten.
Linux / Servercurl -fsSL https://ollama.com/install.sh | sh installiert Ollama als Systemdienst.
DockerOffizielles Image ollama/ollama, mit GPU-Unterstützung über das NVIDIA Container Toolkit.

Danach im Terminal prüfen: ollama --version. Erscheint eine Versionsnummer, läuft alles.

Die wichtigsten Befehle

BefehlWas er tut
ollama run gemma3:12blädt das Modell, falls nötig, und startet einen Chat im Terminal
ollama pull qwen3:14blädt ein Modell herunter, ohne es zu starten
ollama listzeigt alle heruntergeladenen Modelle mit Größe
ollama pszeigt, welche Modelle gerade geladen sind und ob sie auf GPU oder CPU laufen
ollama rm modellnamelöscht ein Modell und gibt Speicher frei
ollama servestartet den Server manuell (unter Windows und Mac läuft er meist automatisch)

Die Namen nach dem Doppelpunkt geben die Größe an, zum Beispiel :4b, :12b oder :27b für 4, 12 oder 27 Milliarden Parameter. Welche Modelle und Größen es aktuell gibt, steht in der Modellbibliothek auf ollama.com.

Welches Modell auf welche Hardware passt

Hardwaresinnvolle Modellgrößegeeignet für
Laptop mit 16 GB RAM, ohne Grafikkarte3 bis 8 Mrd. ParameterAusprobieren, kurze Texte, Zusammenfassungen; langsam
PC mit Grafikkarte 12–16 GB (z. B. RTX 4070 Ti, 5070 Ti)bis etwa 14 Mrd.gute Texte, Klassifizieren, Extrahieren aus Dokumenten
Grafikkarte 24–32 GB (z. B. RTX 4090, 5090)bis etwa 32 Mrd.gutes Deutsch, RAG auf Firmendokumenten, kleine Teams
Mac mit 64–128 GB gemeinsamem Speicher30 bis 70 Mrd., je nach Modell mehrstarke Modelle, leise, sparsam
Server mit mehreren GPUs70 Mrd. und mehr, mehrere Nutzer parallelAbteilungen und ganze Firmen

Konkrete Hardware mit Preisen finden Sie im Ratgeber Lokale KI: Hardware und Kosten.

Ollama in anderen Programmen nutzen

Ollama stellt unter http://localhost:11434 eine API bereit. Zusätzlich gibt es eine OpenAI-kompatible Schnittstelle unter /v1. Viele Programme, die eigentlich für ChatGPT gebaut sind, funktionieren deshalb auch mit Ollama, wenn man Adresse und Modellnamen ändert.

  • Chat-Oberfläche für das Team: Open WebUI ist die verbreitetste Oberfläche. Sie bietet Benutzerkonten, Chatverlauf, Dokumenten-Upload und Rechte.
  • Automatisierung: In n8n gibt es einen eigenen Ollama-Knoten. So lassen sich E-Mails klassifizieren oder Rechnungsdaten extrahieren, ohne dass Daten an einen Cloud-Anbieter gehen.
  • Fragen an Firmendokumente: Mit einem RAG-System beantwortet das lokale Modell Fragen aus Handbüchern, Verträgen oder Wissensdatenbanken. Wie das funktioniert, steht im Ratgeber RAG einfach erklärt.

Ollama im Unternehmen: 6 Punkte vor dem Start

  1. Nicht ungeschützt ins Netz. Standardmäßig lauscht Ollama nur auf dem eigenen Rechner. Wer OLLAMA_HOST=0.0.0.0 setzt, macht es im Netzwerk erreichbar, ohne Passwort. Immer eine Oberfläche mit Anmeldung oder einen Proxy davorschalten.
  2. Cloud-Funktionen bewusst steuern. Neuere Ollama-Versionen können auch Cloud-Modelle ansprechen. Für vertrauliche Daten sollte nur lokal gerechnet werden.
  3. Modell-Lizenzen prüfen. Die meisten bekannten Modelle erlauben die gewerbliche Nutzung, aber mit unterschiedlichen Bedingungen.
  4. Erwartungen klären. Lokale Modelle sind gut, aber die größten Cloud-Modelle sind bei komplexen Aufgaben weiterhin stärker. Für klar umrissene Aufgaben wie Zusammenfassen, Klassifizieren und Fragen an Dokumente reichen lokale Modelle meist aus.
  5. Schulung und Richtlinie. Auch lokale KI fällt unter Art. 4 AI Act. Eine kurze Schulung und eine KI-Richtlinie gehören dazu.
  6. Betrieb planen. Updates, Überwachung und Datensicherung brauchen einen Verantwortlichen, wie bei jedem anderen Server.

Wann sich mehr als Ollama lohnt

Für Einzelne und kleine Teams ist Ollama mit Open WebUI eine sehr gute Lösung. Ab etwa 20 gleichzeitigen Nutzern oder wenn viele Anfragen parallel laufen, sind spezialisierte Server wie vLLM effizienter. Dazu kommen Anmeldung über Ihr Firmenkonto, Rechte auf Dokumente und Protokollierung. Wir planen und betreiben solche Systeme auf Ihrer Hardware oder in einem deutschen Rechenzentrum, siehe Lokale KI für Unternehmen.

Quellen & weiterführende Links

Häufige Fragen

Ist Ollama kostenlos?

Ja. Ollama ist Open Source (MIT-Lizenz) und kostet nichts. Die Modelle sind ebenfalls kostenlos herunterladbar, haben aber jeweils eigene Lizenzen. Für die gewerbliche Nutzung sollten Sie die Lizenz des Modells prüfen, die meisten bekannten Modelle erlauben sie.

Läuft Ollama ohne Internet?

Ja. Internet brauchen Sie nur für Installation und das Herunterladen der Modelle. Danach läuft alles offline. Ollama bietet zusätzlich optionale Cloud-Modelle an; die laufen dann nicht lokal und sollten im Firmeneinsatz bewusst ab- oder freigeschaltet werden.

Welches Ollama-Modell ist das beste auf Deutsch?

Für Deutsch sind die Modellfamilien Qwen, Gemma, Mistral und gpt-oss in mittleren Größen ab etwa 12 bis 30 Milliarden Parametern gut. Kleine Modelle unter 8 Milliarden Parametern schreiben oft holpriges Deutsch. Am besten testen Sie zwei, drei Modelle mit Ihren eigenen Aufgaben.

Wie viel RAM brauche ich für Ollama?

Als Faustregel braucht ein Modell in der üblichen 4-Bit-Variante etwa 0,6 bis 0,7 GB Speicher pro Milliarde Parameter, plus Reserve für den Kontext. Ein 8B-Modell läuft mit 8 GB, ein 30B-Modell braucht rund 20 bis 24 GB. Schnell wird es, wenn das Modell komplett in den Grafikspeicher passt oder auf einem Mac mit viel gemeinsamem Speicher läuft.

Ist Ollama sicher für Firmendaten?

Lokal ja, solange der Dienst nur auf dem eigenen Rechner lauscht. Ollama hat keine eingebaute Benutzerverwaltung. Wer es im Netzwerk freigibt, muss den Zugang selbst absichern, etwa mit einer Oberfläche wie Open WebUI mit Anmeldung oder einem Reverse Proxy.

Unverbindlich & kostenlos

Lokale KI (On-Premise): kostenloser Check

Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.

  1. 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
  2. 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
  3. 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.

Lieber direkt sprechen? 15-Min-Termin buchen

Kostenlos und unverbindlich. Wir melden uns persönlich, kein Newsletter, keine Weitergabe. Details in der Datenschutzerklärung.

Weiterlesen

Passende Ratgeber