Praxistest: KI-gestützte Gesprächsprotokolle

Wendepunkt e. V. ist ein Verein mit Sitz in Elmshorn, Schleswig-Holstein, der sich seit über 20  Jahren auf die Unterstützung von Menschen konzentriert, die von häuslicher Gewalt, sexualisierter Gewalt und Kindesmissbrauch betroffen sind. Der gemeinnützige Verein bietet psychosoziale Beratung, therapeutische Hilfe und Präventionsprojekte an und führt jährlich mehr als 2.000 individuelle Beratungsgespräche durch. Zudem organisiert Wendepunkt e. V. Schulungen und Workshops, um das Bewusstsein für Gewalt- und Missbrauchsthemen zu schärfen und Präventionsarbeit zu leisten. In enger Kooperation mit anderen Institutionen und Netzwerken stellt der Verein einen sicheren Raum bereit, in dem Betroffene über ihre Erlebnisse sprechen und Unterstützung auf ihrem Weg zur Heilung und Stärkung erhalten.

Im Rahmen des Projekts mit dem Mittelstand-Digital Zentrum Hamburg wurde zunächst ein Workshop durchgeführt, um den aktuellen Prozess zur Vorbereitung und Durchführung von Klientengesprächen systematisch abzubilden und potenzielle Einsatzszenarien für KI-Lösungen zu identifizieren. Dazu wurden mehrere Personen aus der Geschäftsführung sowie den Bereichen IT, Datenschutz und Geschäftsprozessen eingeladen, um gemeinsam den aktuellen Ablauf detailliert nachzuvollziehen.

Aus der Prozessanalyse haben sich zwei Ansatzpunkte für den Einsatz von KI ergeben: (1) Unterstützung der Fallerfassung mit einem Chatbot und (2) Unterstützung der Dokumentation durch die automatisierte Erstellung einer Gesprächszusammenfassung. Aufgrund des höheren Umsetzungsbedarfs wurde sich für den zweiten Anwendungsfall entschieden.

Im zweiten Workshop wurde basierend auf dem im ersten Workshop identifizierten Anwendungsfall ein Umsetzungskonzept getestet. Dazu wurde zunächst die Aufnahme einer realistische Gesprächssituation von rund 10 Minuten über Microsoft Teams angefertigt. Um die Vertraulichkeit der Klientengespräche zu wahren, wurde als Testfall die Erstellung von Notizen einer Mitarbeiterbesprechung gewählt. Die Erstellung der Notizen wurde anschließend in zwei Varianten getestet, in denen die Aufnahme zuerst transkribiert und anschließend mithilfe eines Large Language Modells (LLM) zusammengefasst wurde, um Teilnehmerlisten, Diskussionspunkte und To-dos zu extrahieren.

In der ersten Variante kommen kommerzielle Lösung zum Einsatz: Zur Erstellung des Transkripts wird die Transkriptionsanwendung von Microsoft 365 genutzt, welches anschließend mithilfe von ChatGPT zusammengefasst wird. In der zweiten Variante nutzt das Team noScribe für die Transkription. Für die Zusammenfassung kommt Llama-3 7B zum Einsatz, das auf lokalen Rechnern betrieben werden kann und somit eine datenschutzfreundliche Alternative zu den Hyperscalern darstellt. Die Ausgabe erfolgte anhand desselben Protokollformats, um die Vergleichbarkeit hinsichtlich Qualität, Verarbeitungsgeschwindigkeit und Kosten sicherzustellen.

Im zweiten Schritt wurden beide Transkripte mit identischen Prompt-Vorlagen automatisiert zusammengefasst. Dazu wurden die LLMs über ein strukturiertes Template angewiesen, Teilnehmerlisten, Tagesordnungspunkte, Diskussionszusammenfassungen und To-dos zu erstellen.

Um die Qualität zu steigern, erfolgte ein iteratives Prompt-Tuning: Erste Auswertungen zeigten Lücken bei der Nennung von Verantwortlichkeiten und unklare To-dos. Daraufhin wurde der Prompt erweitert, um explizit Verantwortlichkeiten darzustellen und offene Punkte hervorzuheben. In zwei A/B-Testzyklen mit unterschiedlichen Prompt-Varianten erreichte das Team schließlich eine konsistent strukturierte Ausgabe in Form einer Tabelle, die Teilnehmer, Maßnahmen, Termine und Zuständigkeiten klar ausweist.

Darüber hinaus wurde eine angepasste Gesprächsvariante erprobt: Die zweite Gesprächsrunde wurde semi-strukturiert geführt, wobei Verantwortlichkeiten und Aufgaben namentlich eindeutig festgelegt wurden. Dieses Vorgehen ermöglichte es, auch ohne auf die sehr rechenintensive und teils fehleranfällige Sprecheridentifikation zurückzugreifen, klare und verlässliche To-dos abzuleiten. 

Die Analyse der beiden Varianten ergibt, dass die Transkription mit noScribe strukturiertere und besser lesbare Textabschnitte liefert, als die Anwendung von Microsoft 365. Durch die gezielte Optimierung des Prompts konnten präzise gegliederte Protokolle erstellt werden, in denen Teilnehmerlisten, Diskussionspunkte und To-dos klar ausgewiesen werden. Insgesamt lieferten sowohl die kommerzielle als auch die lokal betriebene Lösung eine grundsätzliche technische Machbarkeit der automatisierten Gesprächsdokumentation mit zufriedenstellenden Ergebnissen. Gleichzeitig wurden Aspekte wie Datenschutzanforderungen und Benutzerfreundlichkeit als wichtige Ansatzpunkte für weitergehende Optimierungen identifiziert.

Auf dieser Basis wird als nächster Schritt ein Pilotbetrieb geplant, in dem Datenschutzaspekte und Nutzerakzeptanz in einer realen Umgebung überprüft werden. Langfristig ist zudem eine Skalierung in weiteren Bereichen wie den Bereichsleiterrunden vorgesehen.