Zum Inhalt springen
roiwerk

KI-Agents & Microsoft

KI auf Ihrem Firmenwissen (RAG)

Das Wissen Ihres Unternehmens steckt in Handbüchern, Ordnern, SharePoint, E-Mails und Köpfen. Ein RAG-System (Retrieval Augmented Generation) macht es durchsuchbar wie ein Gespräch. Man stellt eine Frage und bekommt eine Antwort mit Quelle, aus Dokumenten, die man sehen darf.

QuellenSharePoint, Laufwerke, PDFs, Wikis, Tickets
Antwortenmit Quellenangabe
BetriebMicrosoft 365, EU-Cloud oder lokal
Pilotoft in 3–6 Wochen

Wofür ein RAG-System im Mittelstand genutzt wird

  • Technischer Service: Fehlercodes, Wartungsanleitungen, Ersatzteile aus tausenden Handbüchern
  • Vertrieb: Produktdetails, Unterschiede zwischen Varianten, frühere Angebote, Referenzen
  • Qualität und Produktion: Arbeitsanweisungen, Prüfpläne, Normen, Reklamationshistorie
  • HR und Verwaltung: Betriebsvereinbarungen, Richtlinien, Reisekosten, Formulare
  • Kanzleien und Beratung: frühere Schriftsätze, Gutachten, Vertragsvorlagen
  • Kundenservice: Antworten aus FAQ, Handbüchern und gelösten Tickets

Woran RAG-Projekte scheitern und wie wir das vermeiden

ProblemUrsacheLösung
Falsche oder veraltete Antwortenalte Dokumentversionen im IndexQuellen bereinigen, Versionen und Gültigkeit berücksichtigen
„Weiß ich nicht“ bei einfachen Fragenschlechte Zerlegung von Tabellen und PDFsDokumente strukturiert aufbereiten, Tabellen gesondert behandeln
Antworten aus fremden AbteilungenRechte nicht übernommenBerechtigungen der Quelle bei jeder Suche prüfen
Niemand nutzt esnicht dort, wo gearbeitet wirdEinbindung in Teams, Intranet oder bestehende Software
Kosten laufen davonunkontrollierte Nutzung großer Modellepassende Modellgröße, Kostenbudget, Caching

Unser Vorgehen

  1. Fragen sammeln: 30 bis 50 echte Fragen, die heute gestellt werden, mit der richtigen Antwort. Das ist später der Test.
  2. Quellen auswählen: Welche Dokumente sind verlässlich? Was ist veraltet? Wer ist für Aktualität verantwortlich?
  3. Aufbau: Anbindung der Quellen, Aufbereitung, Suche (Volltext und semantisch kombiniert), Antwortmodell, Rechteprüfung
  4. Bewertung: Wir messen, wie viele Testfragen korrekt beantwortet werden, bevor jemand es nutzt
  5. Einführung: in Teams, im Intranet oder als eigene Oberfläche, mit Feedback-Knopf für falsche Antworten

Cloud oder lokal

Für Wissen in Microsoft 365 setzen wir bevorzugt auf Copilot Studio mit SharePoint als Wissensquelle. Für andere Quellen oder sensible Daten bauen wir eigene Systeme, in der EU-Cloud oder komplett lokal mit offenen Modellen.

Häufige Fragen

Was ist RAG einfach erklärt?

Retrieval Augmented Generation bedeutet, dass die KI vor jeder Antwort in Ihren Dokumenten die passenden Stellen sucht und die Antwort nur daraus formuliert. So antwortet sie mit Ihrem aktuellen Wissen statt mit allgemeinem Internetwissen und kann sagen, aus welchem Dokument die Antwort stammt.

Muss die KI dafür mit unseren Daten trainiert werden?

Nein. Bei RAG wird kein Modell trainiert. Ihre Dokumente werden in kleine Abschnitte zerlegt und durchsuchbar gemacht. Das Modell liest bei jeder Frage nur die gefundenen Abschnitte. Dokumente lassen sich jederzeit ändern oder entfernen.

Was ist mit Berechtigungen?

Ein gutes RAG-System übernimmt die Rechte der Quelle. Wer ein Dokument in SharePoint nicht sehen darf, bekommt daraus auch keine Antwort. Das ist der wichtigste und am häufigsten vernachlässigte Teil.

Copilot oder eigenes RAG-System?

Wenn Ihr Wissen in SharePoint und OneDrive liegt, ist ein Agent in Copilot Studio oder Microsoft 365 Copilot oft der schnellste Weg. Ein eigenes System lohnt sich bei anderen Quellen (Laufwerke, Ticketsystem, ERP), bei besonderen Anforderungen an Antwortqualität oder wenn alles lokal laufen soll.

Weiterlesen

Ratgeber & Tools zum Thema

Unverbindlich & kostenlos

Kostenloser Prozess-Check

Schildern Sie kurz, welcher Ablauf Zeit frisst. Wir sagen Ihnen ehrlich, was sich automatisieren lässt, was es kostet und was es spart.

  1. 01Sie schildern den AblaufPer Formular, Sprachnachricht oder in 15 Minuten am Telefon.
  2. 02Wir prüfen Machbarkeit & NutzenKostenlos: welche Schritte sich automatisieren lassen und was es spart.
  3. 03Sie bekommen einen FestpreisKlarer Umfang, klarer Preis. Erst dann entscheiden Sie.

Lieber direkt sprechen? 15-Min-Termin buchen

Kostenlos und unverbindlich. Wir melden uns persönlich, kein Newsletter, keine Weitergabe. Details in der Datenschutzerklärung.

Passt dazu

Verwandte Leistungen