Lokale KI
Lokale KI: Welche Hardware Sie brauchen und was sie kostet
Wer KI ohne Cloud betreiben will, muss vor allem eine Frage klären, nämlich wie viel Grafikspeicher (VRAM) nötig ist. Der hängt an der Modellgröße und daran, wie viele Personen gleichzeitig arbeiten. Hier sind die Faustregeln, drei typische Ausstattungen mit Kosten und die Software, mit der lokale KI im Büro nutzbar wird.
Roiwerk RedaktionStand: 2 Min. Lesezeit
Die wichtigste Faustregel: VRAM
Ein Sprachmodell muss in den Grafikspeicher passen. Grob gilt bei komprimierten Modellen (4-Bit-Quantisierung):
| Modellgröße (Parameter) | VRAM für das Modell (ca.) | Qualität (grob) |
|---|---|---|
| 7–9 Milliarden | 6–8 GB | einfache Aufgaben, Klassifizieren, kurze Texte |
| 12–14 Milliarden | 10–12 GB | gute Alltagsqualität auf Deutsch |
| 27–32 Milliarden | 20–24 GB | sehr gut für die meisten Büroaufgaben |
| 70 Milliarden | 40–48 GB | nahe an starken Cloud-Modellen bei vielen Aufgaben |
| > 100 Milliarden (auch MoE) | 60 GB und mehr | Spitzenklasse offener Modelle |
Dazu kommt Speicher für den Kontext (lange Dokumente) und für gleichzeitige Nutzer. Rechnen Sie 20 bis 50 Prozent Reserve ein. Ohne Komprimierung (16 Bit) brauchen Modelle etwa das Vierfache.
Drei typische Ausstattungen
| Szenario | Hardware | Modellklasse | Nutzer gleichzeitig | Anschaffung (grob) |
|---|---|---|---|---|
| Einstieg / Test | Workstation mit einer Consumer-GPU (24 GB) oder Mac mit viel gemeinsamem Speicher | bis ~32 Mrd., komprimiert | 1–5 | ca. 3.000–6.000 € |
| Team | Server mit einer Profi-GPU (48 GB) | bis ~70 Mrd., komprimiert | 5–30 | ca. 10.000–20.000 € |
| Abteilung / Unternehmen | Server mit 2–4 Profi-GPUs (je 48–96 GB) | große Modelle, viele Nutzer | 30–200 | ca. 30.000–100.000 €+ |
Grafikkartenpreise schwanken stark. Die Spannen sind Größenordnungen für die Budgetplanung, keine Angebote. Dazu kommen Strom (eine ausgelastete Profi-GPU zieht mehrere hundert Watt), Kühlung und Betreuung.
Software: so wird daraus ein Werkzeug
- Ollama: einfacher Weg, Modelle lokal zu laden und zu betreiben, ideal für Tests und kleinere Teams
- vLLM: leistungsstarker Server für viele gleichzeitige Anfragen, für den produktiven Betrieb im Team
- Open WebUI: Chat-Oberfläche wie ChatGPT, mit Benutzerkonten, Rollen, Dokumenten-Upload und Wissensdatenbanken
- n8n: bindet lokale Modelle in Automatisierungen ein, etwa zum Auslesen von Rechnungen ohne Cloud (n8n selbst hosten)
- RAG-Komponenten: Vektor-Datenbank und Einbettungsmodell, damit die KI Ihre Dokumente durchsuchen kann (KI auf Firmenwissen)
Welches Modell?
Offene Modelle entwickeln sich schnell. Verbreitete Familien sind unter anderem Llama (Meta), Mistral (Frankreich), Qwen (Alibaba) und Gemma (Google). Entscheidend sind:
- Deutschqualität: mit Ihren eigenen Texten testen, nicht mit Benchmarks
- Lizenz: Nicht jedes „offene“ Modell erlaubt jede kommerzielle Nutzung
- Größe vs. Hardware: lieber ein mittleres Modell schnell als ein großes langsam
- Aufgabe: Für Extraktion und Klassifikation reichen oft kleine Modelle, für Texte und Analysen lohnen sich größere
Mieten statt kaufen
Wenn Sie keinen Serverraum haben oder erst testen wollen, mieten Sie GPU-Server bei Anbietern mit Rechenzentren in Deutschland. Vorteile sind keine Anschaffung und keine Hardware-Sorgen, und Sie können klein anfangen. Der Rechenzentrumsbetreiber wird dabei zum Auftragsverarbeiter. Ein Vertrag nach Art. 28 DSGVO gehört dazu.
Realistische Erwartung
Lokale Modelle der Klasse 27 bis 70 Milliarden Parameter erledigen die meisten Büroaufgaben gut, also Zusammenfassen, Entwerfen, Umformulieren, Extrahieren und Fragen an Dokumente. Bei sehr komplexen Analysen und langen, anspruchsvollen Texten sind die besten Cloud-Modelle oft noch vorn. Viele Unternehmen fahren deshalb zweigleisig, mit sensiblen Daten lokal und unkritischen Daten in der Cloud mit Firmenkonto.
Quellen & weiterführende Links
Häufige Fragen
Welche Grafikkarte brauche ich für lokale KI?
Für kleine Modelle (bis ca. 14 Milliarden Parameter, komprimiert) reicht eine Grafikkarte mit 16 bis 24 GB Speicher. Mittlere Modelle (ca. 27 bis 32 Milliarden Parameter) brauchen 24 bis 48 GB, große Modelle (70 Milliarden und mehr) 48 bis 96 GB oder mehrere Karten. Für mehrere gleichzeitige Nutzer kommt Speicher für den Kontext hinzu.
Kann lokale KI auf einem normalen Laptop laufen?
Kleine Modelle laufen auch auf aktuellen Laptops, besonders auf Geräten mit viel gemeinsamem Speicher wie Apple-Silicon-Macs. Für den Einsatz im Team mit mehreren Personen gleichzeitig empfiehlt sich ein eigener Server.
Was ist günstiger, kaufen oder mieten?
Bei dauerhafter Nutzung über mehrere Jahre ist Kaufen oft günstiger. Mieten (GPU-Server in deutschen Rechenzentren) lohnt sich für den Start, für schwankenden Bedarf oder wenn kein Serverraum vorhanden ist. Eine Mietmaschine mit einer Profi-GPU kostet je nach Modell und Anbieter grob einige hundert bis über tausend Euro im Monat.
Unverbindlich & kostenlos
Lokale KI (On-Premise): kostenloser Check
Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.
- 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
- 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
- 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.
Lieber direkt sprechen? 15-Min-Termin buchen
Weiterlesen