KI auf Firmenwissen
RAG einfach erklärt: wie KI Fragen aus Ihren Firmendokumenten beantwortet
Ein Sprachmodell wie ChatGPT kennt das Internet, aber nicht Ihre Handbücher, Verträge oder Produktdaten. RAG, kurz für Retrieval Augmented Generation, schließt diese Lücke. Die KI sucht zuerst die passenden Stellen in Ihren Dokumenten und formuliert dann eine Antwort mit Quellenangabe. Hier steht, wie das funktioniert, wofür es sich lohnt, was es kostet und woran Projekte scheitern.
Roiwerk RedaktionStand: 3 Min. Lesezeit
RAG in einem Satz
Statt die KI aus dem Gedächtnis antworten zu lassen, gibt man ihr bei jeder Frage die passenden Seiten aus Ihren Unterlagen mit und sagt: „Antworte nur auf dieser Grundlage und nenne die Quelle.“
So funktioniert ein RAG-System in 5 Schritten
| Schritt | Was passiert | Beispiel |
|---|---|---|
| 1. Einlesen | Dokumente werden gesammelt: PDFs, Word, SharePoint, Wiki, Tickets, Datenbanken | 400 Handbuch-PDFs und 2.000 Support-Tickets |
| 2. Zerlegen | Texte werden in Abschnitte von einigen hundert Wörtern geteilt | Kapitel „Fehlercode E42 bei Anlage X“ |
| 3. Indexieren | Jeder Abschnitt wird in einen Zahlenvektor übersetzt (Embedding) und in einer Vektordatenbank gespeichert | ähnliche Inhalte liegen nah beieinander |
| 4. Suchen | Bei einer Frage werden die passendsten Abschnitte gesucht, oft kombiniert aus Bedeutungs- und Stichwortsuche | „Was tun bei E42?“ findet die drei relevanten Stellen |
| 5. Antworten | Das Sprachmodell bekommt Frage und Fundstellen und formuliert eine Antwort mit Quellenangabe | Antwort mit Link auf Handbuch, Seite 37 |
Wichtig: Berechtigungen. Ein gutes System zeigt nur Antworten aus Dokumenten, die der fragende Mitarbeiter auch sehen darf.
Wofür RAG im Mittelstand eingesetzt wird
- Interner Wissensassistent: Fragen zu Prozessen, Richtlinien, Reisekosten, IT, Urlaub. Spart vor allem erfahrenen Kollegen die ständigen Rückfragen.
- Technischer Support und Service: Monteure und Hotline fragen nach Fehlercodes, Ersatzteilen und Einstellungen und bekommen die Antwort aus Handbüchern und alten Tickets.
- Vertrieb und Angebote: Produktdaten, Preislisten und Referenzen schnell finden, Ausschreibungen gegen eigene Leistungen abgleichen.
- Verträge und Normen: Welche Kündigungsfrist gilt bei Lieferant X, was sagt die Norm zu Y? Mit Quelle, damit man nachlesen kann.
- Einarbeitung: Neue Mitarbeitende fragen den Assistenten statt fünf Kollegen.
Weitere Beispiele, auch mit Agenten, die selbst handeln: KI-Agenten im Unternehmen: 20 Beispiele.
Drei Wege zum eigenen RAG-System
| Weg | Wann sinnvoll | Aufwand |
|---|---|---|
| Copilot-Agent auf SharePoint (Copilot Studio) | Dokumente liegen in Microsoft 365, Nutzung in Teams | gering, Tage bis wenige Wochen; siehe Copilot-Agent in Teams |
| ChatGPT-Projekte oder GPTs mit Dateien | kleine, überschaubare Dokumentensammlung | sehr gering, aber begrenzte Kontrolle über Suche und Rechte |
| Eigenes RAG-System (z. B. n8n, Open WebUI, Python, Vektordatenbank) | viele oder wechselnde Quellen, eigene Oberflächen, lokale KI, hohe Anforderungen an Qualität | mittel, 2 bis 8 Wochen für den ersten produktiven Einsatz |
Woran RAG-Projekte scheitern
- Unordentliche Dokumente. Fünf Versionen derselben Richtlinie, gescannte PDFs ohne Text, veraltete Preislisten. Die KI findet dann zuverlässig das Falsche. Aufräumen ist oft der größte Teil der Arbeit.
- Zu große Erwartungen an „alles“. Besser mit einem klar umrissenen Bereich starten, etwa dem Service-Handbuch, und die Qualität messen.
- Keine Testfragen. Vor dem Start 50 bis 100 echte Fragen mit erwarteten Antworten sammeln und das System daran messen. Sonst weiß niemand, ob es gut ist.
- Tabellen und Bilder. Viele Systeme lesen Tabellen schlecht. Technische Datenblätter brauchen eine eigene Aufbereitung.
- Berechtigungen vergessen. Wenn der Assistent aus der Gehaltsliste zitiert, ist das Projekt beendet.
RAG mit lokaler KI
Wenn Dokumente das Unternehmen nicht verlassen dürfen, läuft das ganze System auf eigener Hardware: lokales Sprachmodell, zum Beispiel mit Ollama, lokales Embedding-Modell und eine Vektordatenbank auf dem eigenen Server. Für ein Team mit einigen Tausend Dokumenten reicht dafür ein einzelner Rechner mit guter Grafikkarte. Welche Hardware passt, steht im Ratgeber Lokale KI: Hardware und Kosten. Wie wir solche Projekte umsetzen, zeigt die Leistung KI auf Ihrem Firmenwissen.
Quellen & weiterführende Links
Häufige Fragen
Was bedeutet RAG?
RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „durch Abruf erweiterte Texterzeugung“. Die KI ruft zuerst passende Informationen aus einer Wissensquelle ab und erzeugt dann die Antwort auf dieser Grundlage.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Beim Fine-Tuning wird das Modell selbst nachtrainiert. Das ändert Stil und Verhalten, eignet sich aber schlecht für Fakten, die sich oft ändern. Bei RAG bleibt das Modell gleich, das Wissen liegt in Ihren Dokumenten und ist sofort aktuell, wenn ein Dokument geändert wird. Für Firmenwissen ist RAG fast immer die bessere Wahl.
Kann RAG auch lokal ohne Cloud laufen?
Ja. Modell, Suchindex und Dokumente können komplett auf eigener Hardware liegen, etwa mit Ollama und einer lokalen Vektordatenbank. Das ist sinnvoll, wenn Dokumente das Haus nicht verlassen dürfen.
Was kostet ein RAG-System?
Ein Pilot für eine Abteilung mit einigen hundert Dokumenten kostet meist 5.000 bis 15.000 € einmalig. Laufend kommen Modell- und Hostingkosten dazu, bei Cloud-Modellen oft 50 bis 300 € im Monat, bei lokaler KI die Hardware. Fertige Lösungen wie Copilot-Agenten auf SharePoint können günstiger starten.
Halluziniert ein RAG-System nicht trotzdem?
Seltener, aber es kann passieren. Gute Systeme zeigen die Quelle jeder Aussage, antworten „steht nicht in den Unterlagen“, wenn nichts gefunden wird, und werden mit echten Fragen getestet, bevor sie live gehen.
Unverbindlich & kostenlos
KI auf Firmenwissen (RAG): kostenloser Check
Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.
- 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
- 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
- 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.
Lieber direkt sprechen? 15-Min-Termin buchen
Weiterlesen