Semi-automatisierte Dokumentenaufbereitung für den LLM-Einsatz

Zu Beginn des Projekts wurden gemeinsam mit der DEOS AG die bestehende Ausgangssituation und die zentralen Probleme bei der Dokumentensuche untersucht. Darauf aufbauend wurden die Anforderungen an ein RAG-basiertes Assistenzsystem erhoben. Als besonders relevant wurden eine hohe Antwortgenauigkeit, nachvollziehbare Quellenangaben und eine möglichst schnelle Bereitstellung der gesuchten Informationen identifiziert.

Anschließend wurde ein erster vollständiger RAG-Prototyp entwickelt. Dieser ermöglichte es, Dokumente zu verarbeiten, Nutzerfragen entgegenzunehmen, passende Textstellen aus einer Wissensdatenbank abzurufen und daraus eine Antwort zu erzeugen. Der Prototyp wurde in Python unter Verwendung bekannter modularer Komponenten aus einem Open-Source-Framework fürs Arbeiten mit Sprachmodellen und weiterer Werkzeugen zur Dokumentenverarbeitung umgesetzt. Zur Speicherung und semantischen Suche der aufbereiteten Inhalte wurde eine Vektordatenbank eingesetzt.

Während der prototypischen Entwicklung zeigte sich, dass die Qualität der erzeugten Antworten wesentlich von der Aufbereitung der Ausgangsdokumente abhängig war. Der Schwerpunkt des Projekts wurde deshalb zunehmend auf die Entwicklung und Untersuchung einer verbesserten Verarbeitungspipeline gelegt.

Die entwickelte Lösung besteht aus zwei aufeinander aufbauenden Verarbeitungsstufen. In der ersten Stufe werden PDF- und Word-Dokumente eingelesen und vereinheitlicht. Hierfür werden sowohl klassische Parser, also Programme zum Auslesen von Daten und Erkennen derer Bestandteile für die Weiterverarbeitung, als auch Verfahren zur optischen Zeichenerkennung eingesetzt. Anschließend werden die Inhalte in kleinere, für die Suche geeignete Abschnitte unterteilt und mit Metadaten wie Dokumentname, Seite, Produkt und Abschnitt versehen. 

Diese grundlegende Verarbeitung erzeugt eine möglichst saubere und nachvollziehbare Datenbasis. Die ursprüngliche Position eines Inhalts innerhalb des Dokuments bleibt dabei erhalten, sodass gefundene Informationen später wieder ihrer Quelle zugeordnet werden können. 

In der zweiten Stufe kommt eine weiterentwickelte Verarbeitungspipeline zum Einsatz. Dabei werden die extrahierten Informationen innerhalb definierter Produktklassen und Kategorien hierarchisch zusammengeführt und verdichtet. Einzelne Textabschnitte werden zunächst auf ihrer jeweiligen Ebene zusammengefasst. Darauf aufbauend werden die Ergebnisse schrittweise erneut verarbeitet, bis übergeordnete Zusammenfassungen für Kategorien und Produktgruppen entstehen. 

Vereinfacht lässt sich dieses Vorgehen mit einer geordneten Ablagestruktur vergleichen: Anstatt bei jeder Frage sämtliche Seiten aller Handbücher einzeln zu durchsuchen, erstellt das System zunächst strukturierte Übersichten über einzelne Themen, Produkte und Produktgruppen. Bei einer Suchanfrage kann dadurch zuerst der passende Bereich identifiziert werden. Anschließend werden gezielt die dazugehörigen Detailinformationen und Originalquellen abgerufen. 

Die Verdichtung erfolgt rekursiv, da die Zusammenfassungen einer Ebene jeweils als Grundlage für die nächsthöhere Ebene dienen. Gleichzeitig bleiben Verknüpfungen zu den ursprünglichen Dokumentabschnitten erhalten. Dadurch können Informationen aus mehreren Dokumenten miteinander in Beziehung gesetzt werden, ohne dass die Originalquellen verloren gehen. 

Dieser Ansatz ist insbesondere relevant, wenn gleiche Begriffe oder technische Werte in unterschiedlichen Zusammenhängen auftreten. Durch die Zuordnung zu Produktklassen, Kategorien und gegebenenfalls Produktversionen erhält das System zusätzlichen Kontext. Die Wahrscheinlichkeit wird damit reduziert, dass eine zwar sprachlich passende, fachlich jedoch unzutreffende Textstelle für die Antwort verwendet wird. 

Für unterschiedliche Verarbeitungsschritte wurden verschiedene Large Language Models untersucht. Dabei wurde zwischen leistungsfähigen, aber kostenintensiveren Modellen und kleineren, wirtschaftlicher einsetzbaren Modellen unterschieden. Nicht jeder Verarbeitungsschritt erforderte die gleiche Modellleistung. Einfache Aufgaben wie die Klassifikation oder formale Aufbereitung von Inhalten konnten durch kleinere Modelle übernommen werden, während komplexere Verdichtungen oder Qualitätsprüfungen leistungsfähigere Modelle erforderten. Auf diese Weise wurde untersucht, wie sich Genauigkeit und laufende Kosten sinnvoll miteinander verbinden lassen. 

Die Qualität der Verarbeitung wurde anhand verschiedener Kriterien betrachtet. Hierzu wurden von den Expert:innen aus dem Unternehmen und dem Mittelstand-Digital Zentrum Hamburg die Genauigkeit des Retrievals, die Präzision der erzeugten Verdichtungen und der erforderliche Tokenverbrauch festgelegt. Zur automatisierten Bewertung der Zusammenfassungen wurde ergänzend ein weiteres Sprachmodell als bewertende Instanz eingesetzt. Dieses sogenannte „LLM as a Judge“-Verfahren prüfte, ob wesentliche Informationen korrekt und ohne inhaltliche Verfälschung in den verdichteten Darstellungen enthalten waren. Die abschließende Antwortqualität wurde zusätzlich anhand exemplarischer Fragen qualitativ beurteilt. 

Um die Nachvollziehbarkeit der Antworten sicherzustellen, wurden die gefundenen Informationen nicht nur als allgemeine Quellenliste ausgegeben. Einzelne Informationen konnten mit konkreten Verweisen auf die zugrunde liegenden Dokumente und Seiten verbunden werden. Ähnlich wie bei wissenschaftlichen Zitaten konnten dadurch auch mehrere Quellen für eine Aussage angegeben werden. Nutzer:innen konnten somit erkennen, auf welchen Dokumentstellen eine Antwort beruhte. 

Die Entwicklung erfolgte iterativ. Zwischenergebnisse wurden fortlaufend getestet und die Verarbeitungsschritte entsprechend der identifizierten Anforderungen angepasst. Am Projektende wurde dem Partnerunternehmen ein funktionsfähiger Prototyp übergeben. Die weitere Integration in die unternehmenseigene Systemumgebung erfolgt durch die DEOS AG. 

Im Projekt zeigte sich, dass die Qualität eines RAG-basierten Assistenzsystems maßgeblich von der vorgelagerten Dokumentenverarbeitung bestimmt wird. Auch ein leistungsfähiges Sprachmodell kann fehlerhaft erkannte Tabellen, fehlende Überschriften oder falsch zugeordnete Textabschnitte nicht zuverlässig ausgleichen. Die korrekte Extraktion, Bereinigung und Strukturierung der Dokumente ist daher unabhängig von der später verwendeten RAG-Architektur die wichtigste technische Grundlage. 

Insbesondere die optische Zeichenerkennung und das Verarbeiten (Parsing) komplexer Dokumente erwiesen sich als zentrale Herausforderungen. Unterschiedliche Tabellenformatierungen, wiederkehrende Seitenbestandteile und umfangreiche Dokumentstrukturen müssen bereits bei der Datenaufbereitung berücksichtigt werden. Dieser Aspekt ist nicht nur für die DEOS AG relevant, sondern stellt bei vielen kleinen und mittleren Unternehmen mit historisch gewachsenen Dokumentenbeständen eine typische Herausforderung dar. 

Die Untersuchungen zeigten zudem, dass Chunking mit klassischen Verfahren als Ansatz für RAG-Systeme bei umfangreichen technischen Dokumentationen nur eingeschränkt ausreicht. Durch die Aufteilung in einzelne Abschnitte können wichtige übergeordnete Zusammenhänge verloren gehen. Dies betrifft insbesondere Fälle, in denen technische Angaben erst gemeinsam mit Informationen zu Produktgruppe, Kategorie oder Version eindeutig werden. 

Die rekursive hierarchische Verdichtung kann diese Einschränkung reduzieren. In den prototypischen Tests führte die strukturierte Aufbereitung zu einer höheren Präzision der Antworten und ermöglichte es, für eine Anfrage gezielter relevante Informationen abzurufen. Gleichzeitig wurden weniger Text beziehungsweise weniger Tokens an das antwortgenerierende Sprachmodell übergeben. Dadurch kann neben einer verbesserten Antwortqualität langfristig auch eine Verringerung der laufenden Nutzungskosten erreicht werden, während die Initialkosten zur Erstellung der Verdichtung aber erhöht sind. 

Ein weiterer Vorteil bestand darin, dass mehrere Quellen für einzelne Aussagen berücksichtigt werden konnten. Informationen, die sich über unterschiedliche Dokumente verteilen oder gegenseitig ergänzen, konnten gemeinsam in die Antwort einfließen und jeweils mit ihren Ursprungsquellen verknüpft werden. Dies verbessert die Nachvollziehbarkeit und erleichtert die fachliche Überprüfung der Ergebnisse. 

Der zusätzliche Aufwand einer hierarchischen Verdichtung ist jedoch nicht für jeden Dokumentenbestand gleichermaßen sinnvoll. Bei kleinen Datenmengen oder kurzen, bereits klar strukturierten Dokumenten können die Kosten der zusätzlichen Verarbeitung den erzielbaren Nutzen übersteigen. Der Ansatz eignet sich daher vor allem für größere Dokumentenbestände, in denen Informationen über viele Dateien, Produkte und Kategorien verteilt sind. 

Auch die Auswahl der eingesetzten Sprachmodelle sollte sich am jeweiligen Verarbeitungsschritt orientieren. Der Einsatz eines besonders leistungsfähigen Modells für sämtliche Aufgaben wäre technisch möglich, jedoch wirtschaftlich nicht immer sinnvoll. Durch die gezielte Kombination unterschiedlicher Modelle können einfache Verarbeitungsschritte kostengünstig durchgeführt werden, während höhere Modellleistung nur für komplexe Aufgaben eingesetzt wird. 

Für einen produktiven Einsatz sind im nächsten Schritt die Integration des Prototyps in die unternehmenseigenen Systeme und weiterführende Tests mit realen Nutzer:innen erforderlich. Dabei sollte insbesondere untersucht werden, wie externe Kundinnen, Supportmitarbeitende und weitere interne Bereiche das Assistenzsystem im Arbeitsalltag verwenden. Die Ergebnisse dieser Tests können als Grundlage dienen, um die Benutzerführung, die Qualität der Antworten und die Aufbereitung neuer oder aktualisierter Dokumente weiterzuentwickeln.