In den meisten Unternehmen ist das Wissen längst vorhanden: in Projektablagen und Wikis, in E-Mails und Ticketsystemen, in Verträgen, Handbüchern und in den Köpfen erfahrener Kolleginnen und Kollegen. Nur verfügbar ist es nicht. Wer eine Antwort braucht, sucht in mehreren Systemen, fragt herum oder erfindet das Rad neu. Und wenn Wissensträger das Unternehmen verlassen, geht ihr Wissen oft mit. Künstliche Intelligenz kann genau das ändern: Sie macht verstreutes Unternehmenswissen abrufbar wie eine Fachauskunft – in Sekunden, mit Quellenangabe.
Warum nicht einfach ein Sprachmodell fragen?
Große Sprachmodelle formulieren beeindruckend flüssig – aber sie kennen Ihr Unternehmen nicht. Ihr Wissen stammt aus öffentlichen Trainingsdaten mit einem festen Redaktionsschluss. Auf interne Fragen antworten sie deshalb entweder gar nicht oder, schlimmer, mit überzeugend klingenden Erfindungen – sogenannten Halluzinationen. Für den Unternehmenseinsatz fehlen drei entscheidende Dinge: der Zugriff auf Ihre Dokumente, die Aktualität und die Nachprüfbarkeit.
Die Lösung heißt Retrieval-Augmented Generation (RAG): Das Sprachmodell antwortet nicht aus dem Gedächtnis, sondern bekommt zu jeder Frage die relevanten Passagen aus Ihren eigenen Unterlagen mitgeliefert – und zitiert die Quellen, aus denen die Antwort stammt. So wird aus einem Sprachtalent eine belastbare Fachauskunft.
Wie RAG funktioniert – verständlich erklärt
Ein RAG-System arbeitet in zwei Schritten. Zuerst die Vorbereitung: Ihre Dokumente werden in sinnvolle Abschnitte zerlegt (Chunking) und in eine mathematische Repräsentation übersetzt (Embeddings), die die Bedeutung eines Textes erfasst – nicht nur seine Wörter. Diese Repräsentationen landen in einer Vektordatenbank.
Dann die Beantwortung: Stellt jemand eine Frage, sucht das System die inhaltlich passendsten Abschnitte – auch wenn dort ganz andere Begriffe stehen als in der Frage. Diese Fundstellen erhält das Sprachmodell als Kontext und formuliert daraus eine Antwort, Satz für Satz belegt mit den Originalquellen. Wer der Antwort nicht traut, klickt auf die Quelle und liest selbst nach.
Ausbaustufe 1: Naive RAG – der schnelle Einstieg
Die Grundform – ein Suchschritt, eine Antwort – ist bewusst einfach gehalten und genau deshalb der ideale Einstieg: schnell aufgebaut, gut verständlich, sofort nützlich. Für klar formulierte Fragen auf einem gepflegten Dokumentbestand („Wie beantrage ich…?", „Was regelt Vertrag X zu…?") liefert Naive RAG bereits verlässliche Ergebnisse und macht den Nutzen im Unternehmen greifbar.
Seine Grenzen zeigt der Ansatz bei mehrdeutigen Fragen, bei Fakten, die über viele Dokumente verstreut sind, und überall dort, wo Zusammenhänge zählen: Wer hängt mit wem zusammen, was gehört zu welchem Projekt, welche Regel ersetzt welche ältere Fassung? Ein einzelner Suchschritt findet Textstellen – aber keine Beziehungen. Und die rein semantische Suche hat eine oft unterschätzte Lücke: exakte Identifikatoren wie Artikelnummern oder Fehlercodes. Warum das so ist – und wie man es löst – zeigen die beiden entscheidenden Stellschrauben eines RAG-Systems.
Stellschraube 1: Chunking – wie Dokumente zerlegt werden
Die unscheinbarste Entscheidung mit der größten Wirkung: Wie werden Dokumente in Abschnitte zerlegt? Was hier verloren geht, kann keine noch so gute Suche zurückholen. Zu große Abschnitte verwässern die Treffer mit Irrelevantem, zu kleine reißen Aussagen aus dem Zusammenhang – eine Tabelle ohne ihre Überschrift, eine Ausnahme ohne ihre Regel. In der Praxis haben sich mehrere Ausprägungen etabliert:
- Fixe Blöcke: Der Text wird nach einer festen Zeichenzahl geschnitten. Einfach und schnell – aber der Schnitt trennt Sätze, Tabellen und zusammengehörige Absätze mitten durch.
- Fix mit Überlappung: Benachbarte Blöcke teilen sich einen Randbereich, damit an den Schnittgrenzen nichts verloren geht. Der bewährte Standard für den Einstieg, gut geeignet für homogene Fließtexte.
- Strukturbasiertes Chunking: Geschnitten wird entlang der Dokumentstruktur – Überschriften, Absätze, Tabellen, Aufzählungen. Das erfordert sauberes Parsing der Formate (PDF, Office, Wiki), zahlt sich aber bei strukturierten Dokumenten wie Verträgen oder Handbüchern deutlich aus.
- Semantic Chunking: Die höchste Ausprägung: Themenwechsel werden über die Bedeutung erkannt – geschnitten wird dort, wo inhaltlich ein neuer Gedanke beginnt, nicht wo ein Zeichenzähler es vorgibt.
Zusätzlich reichern wir Abschnitte mit Kontext an – Dokumenttitel, Kapitel, Gültigkeit –, damit jede Passage auch für sich genommen verständlich und korrekt zuordenbar bleibt. Und: Es gibt kein universell richtiges Chunking. Verträge, Tickets und technische Handbücher brauchen unterschiedliche Strategien – welche die richtige ist, zeigt die Evaluation am echten Dokumentbestand.
Stellschraube 2: Retrieval – finden, was wirklich gemeint ist
Die semantische Suche über Embeddings ist die große Stärke von RAG: Sie findet Passagen nach Bedeutung, auch wenn dort ganz andere Worte stehen als in der Frage. Aber sie hat eine systematische Schwäche – und die zeigt sich ausgerechnet bei den präzisesten Fragen. Wer nach der Artikelnummer „4711-B", einem Fehlercode oder einem bestimmten Paragraphen sucht, bekommt von rein semantischer Suche oft keine oder – schlimmer – ähnlich aussehende, aber falsche Treffer. Für ein Embedding liegen zwei Artikelnummern dicht beieinander; für Ihren Einkauf liegen Welten dazwischen. Klassisches RAG scheitert an genau solchen Anfragen.
Ein produktives RAG-System kombiniert deshalb mehrere Verfahren:
- Hybrid Search: Semantische Suche und klassische Volltextsuche laufen parallel, die Ergebnisse werden fusioniert. So zählen Bedeutung und exakte Zeichenketten – Artikelnummern treffen wieder.
- Re-Ranking: Eine zweite, genauere Bewertungsstufe prüft die Kandidaten im Detail und sortiert die wirklich relevanten nach vorn.
- Metadaten-Filter: Gültigkeitszeitraum, Dokumenttyp, Abteilung, Berechtigungen – die Suche berücksichtigt nur, was fachlich überhaupt in Frage kommt.
- Query-Verstehen: Die Frage wird vor der Suche aufbereitet – umformuliert, präzisiert oder in Teilfragen zerlegt –, damit auch umgangssprachliche Anfragen zu präzisen Suchanfragen werden.
- HyDE (Hypothetical Document Embeddings): Statt direkt mit der Frage zu suchen, formuliert die KI zunächst eine hypothetische Antwort – und mit deren Embedding wird gesucht. Eine ausformulierte Antwort ähnelt den tatsächlichen Dokumentpassagen deutlich mehr als eine kurze Frage; so werden Treffer gefunden, die die reine Fragensuche übersieht.
Ausbaustufe 2: Advanced RAG und GraphRAG – Präzision und Zusammenhänge
In der zweiten Ausbaustufe kommen diese Stellschrauben zusammen: strukturbewusstes oder semantisches Chunking, Hybrid Search, Re-Ranking und Metadaten-Filter machen aus dem einfachen Frage-Antwort-System eine präzise Suche über heterogene Bestände – vom Vertrag bis zum Ticketsystem.
GraphRAG geht einen Schritt weiter: Aus Ihren Dokumenten wird ein Wissensgraph aufgebaut – ein Netz aus Entitäten (Kunden, Projekte, Produkte, Verträge, Personen) und ihren Beziehungen. Damit werden Fragen beantwortbar, die über einzelne Dokumente hinausgehen: „Welche Projekte sind von Zulieferer X abhängig?" oder „Welche Verträge berühren Standort Y?" – Fragen, an denen reine Textsuche scheitert, weil die Antwort in keinem einzelnen Dokument steht.
Ausbaustufe 3: Agentic RAG – die KI recherchiert selbst
Die höchste Ausbaustufe verändert die Rolle der KI grundlegend: Statt eine Frage mit einem Suchdurchlauf zu beantworten, plant ein KI-Agent die Recherche. Er zerlegt komplexe Fragen in Teilfragen, durchsucht nacheinander verschiedene Quellen, bewertet die Qualität der Treffer, stellt bei Bedarf Rückfragen an die Datenbasis – und verifiziert am Ende die eigene Antwort gegen die gefundenen Belege.
Das lohnt sich überall dort, wo heute Menschen aufwendig recherchieren: bei der Vorbereitung von Audits, bei der Analyse von Vertragsportfolios, bei technischen Störungsanalysen über Jahre von Tickets und Dokumentationen hinweg. Agentic RAG beantwortet nicht nur Fragen – es erledigt Rechercheaufträge.
Die RAG-Landschaft im Überblick
Über die drei Ausbaustufen hinaus haben Forschung und Praxis eine ganze Familie von RAG-Architekturen hervorgebracht. Grob lassen sie sich einordnen in Query-Transformation (HyDE), intelligente Steuerung (CRAG, Self-RAG, Adaptive RAG), spezialisierte Indexierung (RAPTOR, Multimodal), Beziehungswissen (GraphRAG, LightRAG) und agentische Recherche (Agentic und Multi-Agent RAG). Die wichtigsten im Vergleich:
| Architektur | Komplexität | Antwortqualität | Kosten & Latenz | Einsatzszenario |
|---|---|---|---|---|
| Naive RAG ein Suchschritt, eine Antwort |
niedrig | gut bei klar formulierten Fragen auf gepflegtem Bestand | niedrig | FAQ, Richtlinien, schneller Pilot zum Nutzennachweis |
| Advanced RAG Hybrid Search + Re-Ranking + Query-Transformation |
mittel | hoch – auch bei Fachbegriffen, Artikelnummern und Codes | moderat | produktiver Standard für heterogene Dokumentbestände |
| HyDE Hypothetical Document Embeddings: die KI formuliert erst eine hypothetische Antwort, gesucht wird mit deren Embedding |
niedrig–mittel | hoch bei vagen, kurz formulierten Fragen | moderat (ein zusätzlicher Generierungsschritt) | umgangssprachliche Fragen weit weg vom Dokument-Wortlaut; Qualitätsgewinn ohne Umbau der Suche |
| Modular RAG Baukasten mit austauschbaren Modulen für Indexierung, Suche und Generierung |
mittel–hoch | hoch, je Baustein gezielt optimierbar | moderat | mehrere Wissensquellen und Anforderungen unter einem Dach; wachstumsfähige Basis |
| CRAG Corrective RAG: bewertet Suchtreffer und korrigiert schwache Ergebnisse vor der Antwort |
mittel | hoch, robust bei lückenhaften Beständen | moderat (zusätzliche Prüfschritte) | Bestände wechselnder Qualität; wenn falsche Antworten teuer sind |
| Self-RAG das Modell entscheidet selbst, ob es nachschlägt, und kritisiert die eigene Antwort |
mittel–hoch | hoch, weniger unnötige Suchen | moderat | gemischte Anfragen aus Wissens- und Allgemeinfragen |
| Adaptive RAG wählt je nach Frage-Komplexität den passenden Weg: direkt, einfach oder mehrstufig |
mittel–hoch | hoch bei stark gemischten Anfragetypen | optimiert – einfache Fragen bleiben günstig | große Nutzerbasis mit sehr unterschiedlichen Fragen; Kostenkontrolle |
| GraphRAG / LightRAG Wissensgraph aus Entitäten und Beziehungen; LightRAG als leichtgewichtige Variante |
hoch (LightRAG geringer) | sehr hoch bei Beziehungs- und Überblicksfragen | initial aufwendig (LightRAG günstiger), Abfragen moderat | beziehungsreiche Domänen: Projekte, Verträge, Lieferketten |
| RAPTOR hierarchische Zusammenfassungsbäume: Antworten auf Detail- und Überblicksebene |
mittel–hoch | sehr hoch bei Fragen über ganze Bestände hinweg | Indexaufbau aufwendig, Abfragen moderat | große Textbestände mit Detail- und Überblicksfragen (Berichte, Studien) |
| Multimodal RAG z.B. ColPali: durchsucht Dokumente als Bild – Layout, Tabellen, Diagramme, Scans |
mittel–hoch | sehr hoch bei visuell geprägten Dokumenten | höhere Index- und Speicherkosten | technische Zeichnungen, Datenblätter, gescannte Archive, tabellenlastige PDFs |
| Agentic RAG Single-Agent (ReAct): ein Agent plant die Recherche in Schleifen – denken, suchen, bewerten |
hoch | am höchsten bei komplexen Recherchen – mit verifizierten Antworten | hoch; Antworten in Sekunden bis Minuten | Rechercheaufträge, Audit-Vorbereitung, Störungsanalysen |
| Multi-Agent RAG spezialisierte Agenten für Suche, Prüfung und Synthese arbeiten arbeitsteilig und parallel |
sehr hoch | am höchsten bei breiten, mehrquelligen Recherchen mit Querprüfung | am höchsten | unternehmensweite Recherche über viele Systeme; kritische Analysen |
Die Architekturen schließen sich nicht aus – sie bauen aufeinander auf und lassen sich kombinieren. In der Praxis starten die meisten Projekte mit Naive oder Advanced RAG und wachsen dorthin, wo es der Anwendungsfall verlangt: Welche Architektur trägt, entscheidet Ihr Anwendungsfall – nicht der Trend.
Qualität, die man messen kann
Der Unterschied zwischen einem Demo-Chatbot und einem produktiven Wissenssystem liegt in der Qualitätssicherung. Für uns gehören dazu drei Dinge:
- Belegpflicht: Jede Antwort nennt ihre Quellen. Was sich nicht aus Ihren Dokumenten belegen lässt, wird nicht behauptet (Groundedness).
- Messbare Güte: Vor dem Rollout entsteht ein Testfragen-Set aus dem Fachbereich. Daran messen wir, ob die Suche die richtigen Passagen findet (Retrieval-Präzision) und ob die Antworten fachlich korrekt sind.
- Kontinuierliche Verbesserung: Nutzerfeedback und unbeantwortete Fragen fließen systematisch zurück in die Weiterentwicklung – ein Wissenssystem ist nie „fertig", es wird besser.
Datenschutz, Berechtigungen und Betrieb
Unternehmenswissen ist sensibel – entsprechend behandeln wir es. Der Betrieb erfolgt DSGVO-konform und auf Wunsch vollständig on-premises oder in Ihrer eigenen Cloud-Umgebung; Ihre Dokumente verlassen Ihre Infrastruktur dann nicht. Ebenso wichtig: Das Wissenssystem respektiert Ihre bestehenden Zugriffsrechte. Wer ein Dokument nicht lesen darf, bekommt dessen Inhalt auch nicht als Antwort – Berechtigungen gelten für die KI genauso wie für jeden Mitarbeitenden.
Der Weg zu Ihrer Lösung
Der Einstieg ist kleiner, als viele denken. Bewährt hat sich dieser Weg:
- Potenzialanalyse: Gemeinsam identifizieren wir die Wissensbereiche mit dem größten Nutzen und klären Datenlage, Berechtigungen und Betriebsmodell.
- Pilot mit echten Dokumenten: Ein abgegrenzter Bestand, echte Fragen aus dem Fachbereich, messbare Ergebnisse – in Wochen, nicht Monaten.
- Evaluierung und Ausbau: Was der Pilot belegt, wird schrittweise ausgebaut – von Naive RAG bis zu der Ausbaustufe, die Ihr Anwendungsfall wirklich braucht.
Die Grundlage dafür ist weniger die KI als Ihre Daten – und genau dort kommen unsere Wurzeln ins Spiel: Seit 2005 strukturieren wir Unternehmensdaten, bauen Datenplattformen und wissen, wie aus verstreuten Beständen verlässliche Informationsquellen werden.