Zum Inhalt springen
roiwerk

KI-Agents & Microsoft

Lokale KI für Unternehmen, Ihre Daten bleiben im Haus

Für manche Daten kommt keine Cloud-KI infrage, etwa Mandantendaten, Patientendaten, Konstruktionspläne oder Personalakten. Offene Sprachmodelle sind inzwischen gut genug, um sie selbst zu betreiben. Wir richten lokale KI ein, auf Ihrer Hardware oder auf einem Server in Deutschland, mit Chat-Oberfläche und Zugriff auf Ihre Dokumente.

ModelleLlama, Mistral, Qwen, Gemma u. a.
OberflächeChat wie ChatGPT, mit Benutzerkonten
Hardwareab ca. 3.000 € bis 30.000 €+
Alternativegemieteter GPU-Server in Deutschland

Wann lokale KI sinnvoll ist

  • Berufsgeheimnisträger: Kanzleien, Steuerberater, Ärzte, Wirtschaftsprüfer mit besonderen Verschwiegenheitspflichten
  • Geschäftsgeheimnisse: Konstruktion, Rezepturen, Angebote und Kalkulationen im Wettbewerb
  • Personaldaten: Bewerbungen, Zeugnisse, Gesprächsnotizen
  • Hohe Mengen: viele Dokumente pro Tag, bei denen Cloud-Kosten pro Aufruf ins Gewicht fallen
  • Unabhängigkeit: kein Risiko, dass ein US-Anbieter Preise, Modelle oder Bedingungen ändert

Was wir einrichten

  1. Modellauswahl: passend zu Aufgaben und Hardware, getestet mit Ihren echten Beispielen auf Deutsch
  2. Betrieb: auf Ihrer Hardware, auf einem Server bei Ihnen oder auf einem gemieteten GPU-Server in Deutschland
  3. Oberfläche: Chat mit Benutzerkonten, Rollen und Verlauf (z. B. Open WebUI), auf Wunsch mit Anmeldung über Microsoft 365
  4. Firmenwissen: Anbindung von Dokumenten, Laufwerken oder SharePoint über eine Wissensdatenbank (RAG)
  5. Automatisierung: lokale Modelle als Baustein in n8n-Workflows, z. B. zum Auslesen von Rechnungen oder Verträgen ohne Cloud
  6. Betrieb und Updates: neue Modelle testen, Sicherheitsupdates, Monitoring

Lokal, gemietet oder Cloud mit EU-Garantie?

VarianteVorteileNachteileGeeignet für
Eigener Server im Hausmaximale Kontrolle, keine laufenden Cloud-KostenAnschaffung, Strom, WartungKanzleien, Industrie mit eigener IT
GPU-Server in deutschem Rechenzentrumkeine Anschaffung, skalierbarmonatliche Miete, Rechenzentrum als AuftragsverarbeiterMittelstand ohne eigene Serverräume
Cloud-Modell mit EU-Datenverarbeitung (z. B. Azure OpenAI, Mistral)stärkste Modelle, kein BetriebDaten verlassen das Haus, Vertrag nötignicht hochsensible Daten

Rechenbeispiele zu Hardware und Kosten im Ratgeber Lokale KI: Hardware und Kosten.

Realistische Erwartungen

Lokale KI ist kein Ersatz für die stärksten Cloud-Modelle bei allem. Sie ist aber für die Mehrzahl der Büroaufgaben gut genug, und die offenen Modelle werden schnell besser. Wir testen vorab mit Ihren Beispielen, damit Sie vor einer Investition sehen, was die Modelle bei Ihren Aufgaben leisten.

Häufige Fragen

Sind lokale Modelle so gut wie ChatGPT?

Für viele Büroaufgaben reichen sie: Zusammenfassen, Umformulieren, E-Mails entwerfen, Informationen aus Dokumenten finden, Daten extrahieren. Bei sehr komplexem Denken und langen Texten sind die größten Cloud-Modelle meist noch besser. Oft ist eine Mischung sinnvoll, sensibles lokal und Unkritisches in der Cloud.

Welche Hardware brauche ich?

Das hängt von Modellgröße und Nutzerzahl ab. Kleine Modelle laufen schon auf einem Rechner mit guter Grafikkarte (ca. 3.000 bis 5.000 €). Für ein Team von 20 bis 50 Personen mit größeren Modellen planen Sie eher einen Server mit einer oder mehreren Profi-GPUs (ca. 10.000 bis 40.000 €) oder mieten GPU-Server in einem deutschen Rechenzentrum. Details im Ratgeber zur Hardware.

Ist lokale KI automatisch DSGVO-konform?

Sie vereinfacht vieles, weil keine Daten an Dritte gehen. Trotzdem braucht es Zugriffsrechte, Löschkonzepte und Regeln, wer was eingeben darf. Bei gemieteten Servern ist der Rechenzentrumsbetreiber Auftragsverarbeiter.

Was ist Ollama?

Ollama ist eine verbreitete Open-Source-Software, um Sprachmodelle einfach lokal zu betreiben. Für den Einsatz mit mehreren Nutzern kombinieren wir sie mit einer Oberfläche wie Open WebUI oder nutzen für höhere Last spezialisierte Server wie vLLM.

Weiterlesen

Ratgeber & Tools zum Thema

Unverbindlich & kostenlos

Kostenloser Prozess-Check

Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.

  1. 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
  2. 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
  3. 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.

Lieber direkt sprechen? 15-Min-Termin buchen

Kostenlos und unverbindlich. Wir melden uns persönlich, kein Newsletter, keine Weitergabe. Details in der Datenschutzerklärung.

Passt dazu

Verwandte Leistungen