Was ist RAG?

RAG: Definition und Grundidee

Ein Large Language Model kennt nur, was in seinen Trainingsdaten stand. Interne Preislisten, aktuelle Produktdaten oder Ihre Arbeitsanweisungen gehören nicht dazu. Fragt man dennoch danach, erfindet das Modell im ungünstigen Fall eine plausibel klingende Antwort.

RAG löst dieses Problem, indem es zwei Schritte kombiniert: Erst wird gesucht (Retrieval), dann formuliert (Generation). Das Verfahren wurde 2020 in einer Forschungsarbeit beschrieben und ist heute ein verbreiteter Weg, KI-Anwendungen mit Unternehmenswissen zu verbinden. Das Sprachmodell selbst bleibt dabei unverändert – das Wissen wird bei jeder Anfrage frisch mitgeliefert.

So funktioniert Retrieval-Augmented Generation

Zunächst werden die Dokumente aufbereitet: in sinnvolle Abschnitte zerlegt und als sogenannte Embeddings gespeichert – Zahlenvektoren, die die Bedeutung eines Textes abbilden. Diese landen in einer Vektordatenbank, die bei neuen oder geänderten Dokumenten automatisch aktualisiert werden kann. Bei jeder Frage folgt dann ein fester Ablauf in wenigen Schritten.

• Die Nutzerfrage wird ebenfalls in einen Vektor umgewandelt
• Die Suche findet die inhaltlich passendsten Textabschnitte, oft kombiniert mit klassischer Stichwortsuche
• Die Treffer werden zusammen mit der Frage an das Sprachmodell übergeben
• Das Modell formuliert eine Antwort auf Basis dieser Quellen und kann sie nennen

Vorteile und Grenzen von RAG

RAG macht KI-Antworten aktueller, überprüfbarer und unternehmensspezifisch. Neue Dokumente stehen sofort zur Verfügung, ohne das Modell neu zu trainieren. Quellenangaben ermöglichen es Nutzern, Aussagen nachzuprüfen. Zudem lassen sich Zugriffsrechte berücksichtigen, sodass jeder nur Antworten aus Dokumenten erhält, die er sehen darf.

Die Qualität steht und fällt jedoch mit den Daten und der Suche. Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten, und findet die Suche den richtigen Abschnitt nicht, hilft auch das beste Modell nicht. Ganz ausschließen lassen sich Fehler nicht – Tests mit typischen Fragen gehören daher zu jedem Projekt.

Praxisbeispiel: RAG im technischen Service

Ein Maschinenbauer hat umfangreiche Bedienungsanleitungen und Servicehinweise. Ein RAG-gestützter Assistent beantwortet Fragen von Servicetechnikern wie „Welches Anzugsdrehmoment gilt für dieses Bauteil?“ direkt aus den Handbüchern und verlinkt die passende Stelle. Vorab werden die Unterlagen bereinigt und veraltete Versionen aussortiert, damit der Assistent nicht aus überholten Dokumenten zitiert.

Statt lange zu blättern, erhält der Techniker schnell eine Antwort mit Quelle. Nano Concepts konzipiert und entwickelt RAG-Anwendungen – von der Datenaufbereitung über die Vektorsuche bis zur Integration in Website, Intranet oder App. Neue Handbuchversionen werden automatisch übernommen.