Zum Inhalt springen
roiwerk

Lokale KI

Lokale KI: Welche Hardware Sie brauchen und was sie kostet

Wer KI ohne Cloud betreiben will, muss vor allem eine Frage klären, nämlich wie viel Grafikspeicher (VRAM) nötig ist. Der hängt an der Modellgröße und daran, wie viele Personen gleichzeitig arbeiten. Hier sind die Faustregeln, drei typische Ausstattungen mit Kosten und die Software, mit der lokale KI im Büro nutzbar wird.

Roiwerk RedaktionStand: 2 Min. Lesezeit

Die wichtigste Faustregel: VRAM

Ein Sprachmodell muss in den Grafikspeicher passen. Grob gilt bei komprimierten Modellen (4-Bit-Quantisierung):

Modellgröße (Parameter)VRAM für das Modell (ca.)Qualität (grob)
7–9 Milliarden6–8 GBeinfache Aufgaben, Klassifizieren, kurze Texte
12–14 Milliarden10–12 GBgute Alltagsqualität auf Deutsch
27–32 Milliarden20–24 GBsehr gut für die meisten Büroaufgaben
70 Milliarden40–48 GBnahe an starken Cloud-Modellen bei vielen Aufgaben
> 100 Milliarden (auch MoE)60 GB und mehrSpitzenklasse offener Modelle

Dazu kommt Speicher für den Kontext (lange Dokumente) und für gleichzeitige Nutzer. Rechnen Sie 20 bis 50 Prozent Reserve ein. Ohne Komprimierung (16 Bit) brauchen Modelle etwa das Vierfache.

Drei typische Ausstattungen

SzenarioHardwareModellklasseNutzer gleichzeitigAnschaffung (grob)
Einstieg / TestWorkstation mit einer Consumer-GPU (24 GB) oder Mac mit viel gemeinsamem Speicherbis ~32 Mrd., komprimiert1–5ca. 3.000–6.000 €
TeamServer mit einer Profi-GPU (48 GB)bis ~70 Mrd., komprimiert5–30ca. 10.000–20.000 €
Abteilung / UnternehmenServer mit 2–4 Profi-GPUs (je 48–96 GB)große Modelle, viele Nutzer30–200ca. 30.000–100.000 €+

Grafikkartenpreise schwanken stark. Die Spannen sind Größenordnungen für die Budgetplanung, keine Angebote. Dazu kommen Strom (eine ausgelastete Profi-GPU zieht mehrere hundert Watt), Kühlung und Betreuung.

Software: so wird daraus ein Werkzeug

  • Ollama: einfacher Weg, Modelle lokal zu laden und zu betreiben, ideal für Tests und kleinere Teams
  • vLLM: leistungsstarker Server für viele gleichzeitige Anfragen, für den produktiven Betrieb im Team
  • Open WebUI: Chat-Oberfläche wie ChatGPT, mit Benutzerkonten, Rollen, Dokumenten-Upload und Wissensdatenbanken
  • n8n: bindet lokale Modelle in Automatisierungen ein, etwa zum Auslesen von Rechnungen ohne Cloud (n8n selbst hosten)
  • RAG-Komponenten: Vektor-Datenbank und Einbettungsmodell, damit die KI Ihre Dokumente durchsuchen kann (KI auf Firmenwissen)

Welches Modell?

Offene Modelle entwickeln sich schnell. Verbreitete Familien sind unter anderem Llama (Meta), Mistral (Frankreich), Qwen (Alibaba) und Gemma (Google). Entscheidend sind:

  1. Deutschqualität: mit Ihren eigenen Texten testen, nicht mit Benchmarks
  2. Lizenz: Nicht jedes „offene“ Modell erlaubt jede kommerzielle Nutzung
  3. Größe vs. Hardware: lieber ein mittleres Modell schnell als ein großes langsam
  4. Aufgabe: Für Extraktion und Klassifikation reichen oft kleine Modelle, für Texte und Analysen lohnen sich größere

Mieten statt kaufen

Wenn Sie keinen Serverraum haben oder erst testen wollen, mieten Sie GPU-Server bei Anbietern mit Rechenzentren in Deutschland. Vorteile sind keine Anschaffung und keine Hardware-Sorgen, und Sie können klein anfangen. Der Rechenzentrumsbetreiber wird dabei zum Auftragsverarbeiter. Ein Vertrag nach Art. 28 DSGVO gehört dazu.

Realistische Erwartung

Lokale Modelle der Klasse 27 bis 70 Milliarden Parameter erledigen die meisten Büroaufgaben gut, also Zusammenfassen, Entwerfen, Umformulieren, Extrahieren und Fragen an Dokumente. Bei sehr komplexen Analysen und langen, anspruchsvollen Texten sind die besten Cloud-Modelle oft noch vorn. Viele Unternehmen fahren deshalb zweigleisig, mit sensiblen Daten lokal und unkritischen Daten in der Cloud mit Firmenkonto.

Quellen & weiterführende Links

Häufige Fragen

Welche Grafikkarte brauche ich für lokale KI?

Für kleine Modelle (bis ca. 14 Milliarden Parameter, komprimiert) reicht eine Grafikkarte mit 16 bis 24 GB Speicher. Mittlere Modelle (ca. 27 bis 32 Milliarden Parameter) brauchen 24 bis 48 GB, große Modelle (70 Milliarden und mehr) 48 bis 96 GB oder mehrere Karten. Für mehrere gleichzeitige Nutzer kommt Speicher für den Kontext hinzu.

Kann lokale KI auf einem normalen Laptop laufen?

Kleine Modelle laufen auch auf aktuellen Laptops, besonders auf Geräten mit viel gemeinsamem Speicher wie Apple-Silicon-Macs. Für den Einsatz im Team mit mehreren Personen gleichzeitig empfiehlt sich ein eigener Server.

Was ist günstiger, kaufen oder mieten?

Bei dauerhafter Nutzung über mehrere Jahre ist Kaufen oft günstiger. Mieten (GPU-Server in deutschen Rechenzentren) lohnt sich für den Start, für schwankenden Bedarf oder wenn kein Serverraum vorhanden ist. Eine Mietmaschine mit einer Profi-GPU kostet je nach Modell und Anbieter grob einige hundert bis über tausend Euro im Monat.

Unverbindlich & kostenlos

Lokale KI (On-Premise): kostenloser Check

Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.

  1. 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
  2. 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
  3. 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.

Lieber direkt sprechen? 15-Min-Termin buchen

Kostenlos und unverbindlich. Wir melden uns persönlich, kein Newsletter, keine Weitergabe. Details in der Datenschutzerklärung.

Weiterlesen

Passende Ratgeber