Zum Inhalt springen
roiwerk

KI auf Firmenwissen

RAG einfach erklärt: wie KI Fragen aus Ihren Firmendokumenten beantwortet

Ein Sprachmodell wie ChatGPT kennt das Internet, aber nicht Ihre Handbücher, Verträge oder Produktdaten. RAG, kurz für Retrieval Augmented Generation, schließt diese Lücke. Die KI sucht zuerst die passenden Stellen in Ihren Dokumenten und formuliert dann eine Antwort mit Quellenangabe. Hier steht, wie das funktioniert, wofür es sich lohnt, was es kostet und woran Projekte scheitern.

Roiwerk RedaktionStand: 3 Min. Lesezeit

RAG in einem Satz

Statt die KI aus dem Gedächtnis antworten zu lassen, gibt man ihr bei jeder Frage die passenden Seiten aus Ihren Unterlagen mit und sagt: „Antworte nur auf dieser Grundlage und nenne die Quelle.“

So funktioniert ein RAG-System in 5 Schritten

SchrittWas passiertBeispiel
1. EinlesenDokumente werden gesammelt: PDFs, Word, SharePoint, Wiki, Tickets, Datenbanken400 Handbuch-PDFs und 2.000 Support-Tickets
2. ZerlegenTexte werden in Abschnitte von einigen hundert Wörtern geteiltKapitel „Fehlercode E42 bei Anlage X“
3. IndexierenJeder Abschnitt wird in einen Zahlenvektor übersetzt (Embedding) und in einer Vektordatenbank gespeichertähnliche Inhalte liegen nah beieinander
4. SuchenBei einer Frage werden die passendsten Abschnitte gesucht, oft kombiniert aus Bedeutungs- und Stichwortsuche„Was tun bei E42?“ findet die drei relevanten Stellen
5. AntwortenDas Sprachmodell bekommt Frage und Fundstellen und formuliert eine Antwort mit QuellenangabeAntwort mit Link auf Handbuch, Seite 37

Wichtig: Berechtigungen. Ein gutes System zeigt nur Antworten aus Dokumenten, die der fragende Mitarbeiter auch sehen darf.

Wofür RAG im Mittelstand eingesetzt wird

  • Interner Wissensassistent: Fragen zu Prozessen, Richtlinien, Reisekosten, IT, Urlaub. Spart vor allem erfahrenen Kollegen die ständigen Rückfragen.
  • Technischer Support und Service: Monteure und Hotline fragen nach Fehlercodes, Ersatzteilen und Einstellungen und bekommen die Antwort aus Handbüchern und alten Tickets.
  • Vertrieb und Angebote: Produktdaten, Preislisten und Referenzen schnell finden, Ausschreibungen gegen eigene Leistungen abgleichen.
  • Verträge und Normen: Welche Kündigungsfrist gilt bei Lieferant X, was sagt die Norm zu Y? Mit Quelle, damit man nachlesen kann.
  • Einarbeitung: Neue Mitarbeitende fragen den Assistenten statt fünf Kollegen.

Weitere Beispiele, auch mit Agenten, die selbst handeln: KI-Agenten im Unternehmen: 20 Beispiele.

Drei Wege zum eigenen RAG-System

WegWann sinnvollAufwand
Copilot-Agent auf SharePoint (Copilot Studio)Dokumente liegen in Microsoft 365, Nutzung in Teamsgering, Tage bis wenige Wochen; siehe Copilot-Agent in Teams
ChatGPT-Projekte oder GPTs mit Dateienkleine, überschaubare Dokumentensammlungsehr gering, aber begrenzte Kontrolle über Suche und Rechte
Eigenes RAG-System (z. B. n8n, Open WebUI, Python, Vektordatenbank)viele oder wechselnde Quellen, eigene Oberflächen, lokale KI, hohe Anforderungen an Qualitätmittel, 2 bis 8 Wochen für den ersten produktiven Einsatz

Woran RAG-Projekte scheitern

  1. Unordentliche Dokumente. Fünf Versionen derselben Richtlinie, gescannte PDFs ohne Text, veraltete Preislisten. Die KI findet dann zuverlässig das Falsche. Aufräumen ist oft der größte Teil der Arbeit.
  2. Zu große Erwartungen an „alles“. Besser mit einem klar umrissenen Bereich starten, etwa dem Service-Handbuch, und die Qualität messen.
  3. Keine Testfragen. Vor dem Start 50 bis 100 echte Fragen mit erwarteten Antworten sammeln und das System daran messen. Sonst weiß niemand, ob es gut ist.
  4. Tabellen und Bilder. Viele Systeme lesen Tabellen schlecht. Technische Datenblätter brauchen eine eigene Aufbereitung.
  5. Berechtigungen vergessen. Wenn der Assistent aus der Gehaltsliste zitiert, ist das Projekt beendet.

RAG mit lokaler KI

Wenn Dokumente das Unternehmen nicht verlassen dürfen, läuft das ganze System auf eigener Hardware: lokales Sprachmodell, zum Beispiel mit Ollama, lokales Embedding-Modell und eine Vektordatenbank auf dem eigenen Server. Für ein Team mit einigen Tausend Dokumenten reicht dafür ein einzelner Rechner mit guter Grafikkarte. Welche Hardware passt, steht im Ratgeber Lokale KI: Hardware und Kosten. Wie wir solche Projekte umsetzen, zeigt die Leistung KI auf Ihrem Firmenwissen.

Quellen & weiterführende Links

Häufige Fragen

Was bedeutet RAG?

RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „durch Abruf erweiterte Texterzeugung“. Die KI ruft zuerst passende Informationen aus einer Wissensquelle ab und erzeugt dann die Antwort auf dieser Grundlage.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Beim Fine-Tuning wird das Modell selbst nachtrainiert. Das ändert Stil und Verhalten, eignet sich aber schlecht für Fakten, die sich oft ändern. Bei RAG bleibt das Modell gleich, das Wissen liegt in Ihren Dokumenten und ist sofort aktuell, wenn ein Dokument geändert wird. Für Firmenwissen ist RAG fast immer die bessere Wahl.

Kann RAG auch lokal ohne Cloud laufen?

Ja. Modell, Suchindex und Dokumente können komplett auf eigener Hardware liegen, etwa mit Ollama und einer lokalen Vektordatenbank. Das ist sinnvoll, wenn Dokumente das Haus nicht verlassen dürfen.

Was kostet ein RAG-System?

Ein Pilot für eine Abteilung mit einigen hundert Dokumenten kostet meist 5.000 bis 15.000 € einmalig. Laufend kommen Modell- und Hostingkosten dazu, bei Cloud-Modellen oft 50 bis 300 € im Monat, bei lokaler KI die Hardware. Fertige Lösungen wie Copilot-Agenten auf SharePoint können günstiger starten.

Halluziniert ein RAG-System nicht trotzdem?

Seltener, aber es kann passieren. Gute Systeme zeigen die Quelle jeder Aussage, antworten „steht nicht in den Unterlagen“, wenn nichts gefunden wird, und werden mit echten Fragen getestet, bevor sie live gehen.

Unverbindlich & kostenlos

KI auf Firmenwissen (RAG): kostenloser Check

Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.

  1. 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
  2. 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
  3. 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.

Lieber direkt sprechen? 15-Min-Termin buchen

Kostenlos und unverbindlich. Wir melden uns persönlich, kein Newsletter, keine Weitergabe. Details in der Datenschutzerklärung.

Weiterlesen

Passende Ratgeber