Malte Dreyer
Direktor Computer- und Medienservice
Überblick
Große Sprachmodelle (Large Language Models, LLMs) beeindrucken durch ihre natürlichsprachliche Konversationsfähigkeit. Für den Einsatz im Hochschulkontext zeigen sie jedoch auch Schwächen: Ihr Wissen ist auf den Trainingszeitpunkt eingefroren, sie haben keinen Zugriff auf interne Dokumente und sie neigen dazu, plausibel klingende, aber falsche Aussagen zu erfinden – sogenannte Halluzinationen.
Genau hier setzt Retrieval-Augmented Generation (RAG) an: Bevor das Sprachmodell antwortet, durchsucht ein vorgeschaltetes System eine kuratierte Wissensbasis – etwa Verwaltungsregeln, Vorlesungsmaterialien oder Forschungsdokumente – und liefert die relevantesten Passagen als Kontext für das LLM. Das Modell formuliert seine Antwort dann auf Basis dieser gesicherten Quellen und kann Quellenverweise mitliefern. So entstehen Chatbots, die nicht nur natürlich kommunizieren, sondern auf institutionsspezifischem Wissen aufbauen.
Vier Phasen der Implementierung
Die Konzeption eines RAG-Systems lässt sich in vier Phasen strukturieren (siehe Abbildung 1): In Phase 1 – Datenaufbereitung werden Quelldokumente ausgewählt, bereinigt und in durchsuchbare Einheiten zerlegt. Hier entscheidet sich die spätere Antwortqualität, denn: Die Qualität der Daten bestimmt die Qualität der Antworten. Die Phase 2 – Retrieval-Strategie legt fest, wie nach relevanten Inhalten gesucht wird; bewährt hat sich eine Kombination aus semantischer und keywordbasierter Suche. Phase 3 – Chatbot-Verhalten definiert über den System-Prompt Rolle, Sprachstil, Umgang mit Quellen und Grenzen des Bots. Abschließend umfasst Phase 4 – Qualitätssicherung die systematische Evaluation und mögliche agentische Erweiterungen, etwa eine zusätzliche Web-Recherche oder Multi-Agent-Workflows.
RAG-Workflow: Die 4 Phasen
Relevanz für Hochschulen
Die möglichen Anwendungsfelder reichen von Forschungsdatenmanagement über 24/7-Tutoren für Vorlesungen bis zu Auskunftsbots für Onboarding, Stellenausschreibungen oder datenschutzrechtliche Fragen. Gerade für hochschulspezifisches Wissen, das in den Trainingsdaten kommerzieller LLMs unterrepräsentiert ist, zeigt sich RAG dem Fine-Tuning von LLMs für diese Anwendungsbereiche überlegen – und bleibt zudem flexibel aktualisierbar.
Der Blick nach vorn
RAG ist kein Allheilmittel. Halluzinationen lassen sich reduzieren, aber nicht eliminieren, Poisoning-Angriffe auf die Wissensbasis sind dokumentiert und ohne klare Governance und kontinuierliche Datenpflege verlieren auch die besten Bots an Wert. Die Erfahrung zeigt: Erfolg entsteht weniger durch immer größere Modelle als durch sorgfältige Datenkuratierung, klar umgrenzte Anwendungsfälle und iterative Verbesserung. Der nächste Schritt – agentische und multimodale RAG-Architekturen – wird die Möglichkeiten weiter erweitern.