RAG im Unternehmenseinsatz – Potenziale und Praxis

Für viele Unternehmen klingt "Retrieval-Augmented Generation" erstmal zu technisch. Deshalb haben wir in unserem vorherigen Beitrag „Retrieval-Augmented Generation (RAG) – Einblicke und Potenziale für Unternehmen“ das Thema bereits ein wenig beleuchtet.
Um dieses Thema zu vertiefen, haben wir Lasse Kohlmeyer vom Hasso-Plattner-Institut (HPI) - als einen der führenden Forschungsstandorte im Bereich KI und Data Engineering - zum Gespräch gebeten. Das HPI beschäftigt sich über das Drittmittelprojekt KI-Servicezentrum Berlin-Brandenburg das vom Bundesministerium für Bildung und Forschung gefördert wird, intensiv mit der praktischen Anwendung und Weiterentwicklung solcher Technologien – unter anderem mit eigenen Open-Source-Lösungen für RAG-Systeme.

Frage:

KI ist gerade stark im Trend und vermutlich hat inzwischen jeder davon gehört. Viele Unternehmen haben inzwischen auch Systeme wie klassische Chatbots oder auch KI-Assistenten getestet. Wie würden Sie einem KMU erklären, was der Unterschied zwischen einem RAG-System und einem Chatbot ist und wo die Vorteile liegen?

Chatbots bzw. die dahinterstehenden großen Sprachmodelle beziehen ihre Informationen lediglich aus ihren Trainingsdaten und den letzten User-Prompts. Oft passen diese Daten bzw. darin häufig gesehene sprachliche Muster nicht zu Anfragen, die wir als User faktisch korrekt beantwortet sehen möchten, was zum Eindruck von Halluzinationen führt. RAG-Systeme sind eine Erweiterung klassischer Chatbots und schalten eine Dokumentenbasis bzw. eine Suchmaschine vor die Antwort des Chatbots. Statt nur mit der Frage konfrontiert zu sein, liefert die Suchmaschine gleich die nötigen Dokumente zur Beantwortung der Frage mit, wodurch sich dem Modell eine richtige Beantwortung leichter fällt. Neben dieser Reduzierung von Halluzinationen ermöglichen RAG-Systeme eine Anpassung z.B. an eigene Unternehmensdaten ohne ein kostspieliges neues Training des Sprachmodells. Nachteile von RAG-Systemen liegen meiner Meinung nach nur in der zusätzlichen Komplexität.

Frage:

In welchem Unternehmensbereich sehen Sie aktuell den größten Nutzen von RAG-Systemen?

Besonders beim Kundenservice ist es wichtig, verlässliche, bzw. faktisch korrekte Antworten zu liefern. Zwar können Halluzinationen auch in RAG-Systemen nicht komplett ausgeschlossen werden, aber deutlich reduziert werden. Auch die interne Anwendung von RAG-Systemen, besonders, wenn eine Organisation viele ungeordnete Dokumente besitzt, die niemand mehr so richtig durchdringt, finde ich sehr nützlich.

Frage:

In der Informatik gibt es das Konzept „Garbage in, garbage out“, welches beschreibt, dass die Qualität der eingegebenen Daten maßgeblich entscheidend für das Ergebnis ist. Wo sind in diesem Zusammenhang die größten Fallstricke, wenn ein Unternehmen ein RAG verwenden möchte? Wie können hier Fehler vermieden werden?

Jede selbst anpassbare Komponente eines Systems bietet große Chancen und Fallstricke. Bei RAG-Systemen spielt zwar auch die Auswahl des Sprachmodells und die Auswahl des Information Retrieval Parts, also der „Suchmaschine“ eine Rolle, doch natürlich hängt die Qualität der Antworten sehr stark von den eingespielten Dokumenten ab. PDF-Dateien mit vielen Bildern und Tabellen haben andere Voraussetzungen als Text-Dateien. Ergebnisse können auch sehr negativ beeinflusst davon sein, wenn sich beispielsweise 90% der Dokumente um Reiserichtlinien drehen, ein großer Teil der Anfragen überhaupt nichts mit Reisen zu tun haben. Hier kann es dann sinnvoll sein, den Information Retrieval Part entsprechend zu verbessern oder Dokumente thematisch vorzugruppieren. Die Vorgruppierung kann wiederum eine Aufgabe für ein anderes KI-Modell sein, das auf Kategorisierung spezialisiert ist.

Frage:

Gerade bei uns in Europa ist Datenschutz und der Umgang mit sensiblen Daten ein wichtiges Thema. Wie lassen sich RAG-Systeme datenschutzkonform gestalten, besonders bei sensiblen Firmeninformationen?

RAG-Systeme haben den großen Vorteil, dass sowohl das Sprachmodell, als auch der Information Retrieval Part ausgetauscht werden können zum Beispiel durch Komponenten, die auch lokal auf dem eigenen Laptop oder im eigenen Serverraum laufen. Sensible Daten oder Daten, die relevant im Datenschutzrecht sind, müssen so nicht mehr die eigene Organisation verlassen, so dass z.B. keine Vereinbarungen mit Auftragsdatenverarbeitern geschlossen werden müssten, weil es keine Auftragsdatenverarbeitung mehr gibt.

Frage:

Laut einer Umfrage von Mittelstand-Digital (kuenstliche-intelligenz-im-mittelstand.pdf) ist das Interesse an der Nutzung von KI im Unternehmen sehr groß, jedoch fehlendes Know-how und fehlende Fachkräfte das größte Hindernis bei der Implementierung dieser Technologie. Gibt es aus Ihrer Sicht inzwischen einfache, unkomplizierte Lösungen, die Unternehmen einfach einsetzen und testen können – ohne eine eigene IT-Infrastruktur aufbauen zu müssen?

Es gibt eine Reihe von Start-Ups, die sich auf RAG-Systeme spezialisiert haben und diese Produktiv zur Verfügung stellen. Auch größere Anbieter bieten Optionen für RAG an – in beiden Bereichen möchte ich keine Namen nennen. Am Ende bewegt man sich hier in einem Spannungsfeld aus Kosten und der Bereitschaft sensible Daten an andere Unternehmen zu übermitteln. Wer erste Erfahrungen mit RAG-Systemen machen möchte, ohne hohe Investitionen aufbringen zu müssen, kann das prototypisches Open Source RAG System des KI-Servicezentrums nutzen.

Frage:

Aktuell gibt es viel Weiterentwicklung im Bereich der Erweiterungen von RAG wie Beispielsweise Cache-Augmented Generation (CAG) oder GraphRAG, das Graphdatenbanken für eine verbesserte Informationsstruktur nutzt. Forscht das HPI aktuell auch an solchen Alternativen oder spezialisieren Sie sich auf RAG-Systeme?

Das HPI hat sich natürlich nicht auf RAG-Systeme spezialisiert, sondern darauf, die digitale Souveränität Europas zu stärken. RAG-Systeme tragen zu diesem Ziel bei, da damit Daten in Europa gehalten werden können und Unabhängigkeit von größeren nicht europäischen Konzernen entsteht. Ich kann nicht für die über 20 Lehrstühle am HPI sprechen, aber die Weiterentwicklung von RAG-Systemen zu erforschen, halte ich persönlich für sehr sinnvoll. Konkrete Vorhaben sind mir allerdings nicht bekannt. Interessierte Organisationen können sich aber gerne an uns wenden, dann finden wir sicherlich einen Weg auf diesen Bedarf einzugehen.

Frage:

Wie sieht die Zukunft von RAG-Systemen aus? Gibt es bereits neue Forschungsfelder? Und glauben Sie, dass in 10 Jahren RAGs fester Bestandteil im Unternehmensalltag sein werden?

Hier wird es sicherlich zu einer Reihe von Effizienz-Steigerungen kommen, die den Retrieval-Bestandteil beschleunigen bzw. ersetzen wie bei Cache-Augmented Generation. Relevante Forschungsfelder spielen sich hier im Bereich Trustworthiness und Information Retrieval ab, wobei insbesondere Information Retrieval aber auch schon eine lange Forschungstradition hat. Interessanter finde ich persönlich die größeren Paradigmenwechsel hin zu Agenten-basierten KI-Anwendungen, die über RAG Zugang zu genaueren Informationen erhalten.

Frage:

Um den Einsatz neuer Systeme zu testen ist es in der Regel hilfreich, mit kleinen Pilotprojekten zu starten. Was raten Sie einem Unternehmen, welches mit dem Gedanken spielt, ein RAG in die Prozesse zu integrieren? Gibt es Ihrer Erfahrung nach einfache, pragmatische Einstiegschancen, bevor ein größeres Projekt gestartet wird?

In erster Linie würde ich raten ein prototypisches RAG-Tool auszuprobieren, wie ich es schon erwähnt habe. Wer über unser prototypisches RAG-Tool hinaus eigene KI-Pilotprojekte starten möchte, kann sich bei uns auf ein solches kostenfreies Pilotprojekt bewerben. Wir unterstützen dabei bei der Implementierung des KI-Vorhabens und leisten Hilfe-zur-Selbsthilfe. Zur nächsten Bewerbungsphase informieren wir auf unserer Website (KI-Servicezentrum | Hasso-Plattner-Institut).

Das KI-Servicezentrum des Hasso-Plattner-Instituts entwickelt RAG-Lösungen, die speziell für den lokalen Anwendungsfall entwickelt wurden. Ein Beispiel ist das Open-Source-Projekt RAGsst, das eine Grundlage bietet, um eigene RAG-Anwendungen flexibel aufzusetzen und zu erweitern. aihpi/ragsst: Retrieval Augmented Generation and Semantic-search Tools

Das diesem Bericht zugrunde liegende Vorhaben (Hasso-Plattner-Institut) wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen »KI-Servicezentrum Berlin-Brandenburg« 01IS22092 gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei der Autorin/beim Autor.