ChatPro – Chatbot-basierte Produktempfehlung für komplexe Produkte
Ausgangslage
Die CNT Gesellschaft für Personal- und Unternehmensentwicklung mbH bietet ein breit gefächertes Portfolio an Personaltests, die individuell auf verschiedene Zielgruppen und Anwendungsbereiche zugeschnitten sind.
Das Hauptprodukt CAPTain Test® gibt es in verschiedenen Ausführungen
- CAPTain compact® – die Auswertung mit der höchsten Flexibiltät, die eine kompakte und prägnante Analyse des Arbeits- und Leistungsstils und des Teamverhaltens liefert. Die Auswertung hilft dabei, individuelle Stärken, Entwicklungspotenziale und bevorzugte Arbeitsweisen zu erkennen.
- CAPTain management® – ausführliche Management-Gutachten bezogen auf unterschiedliche Hierarchieebenen und Anforderungen. Mit der Auswertung kann eine Eignung für die Führungsaufgabe beurteilt werden.
- CAPTain sales® – die Auswertung für den Vertrieb. In der Auswertung werden umfassend, objektiv und präzise die für den Vertrieb notwendigen Verhaltenskompetenzen erfasst.
- CAPTain smart® – die Auswertungen für spezielle Fragestellungen. Analysiert werden je nach Variante das Konfliktverhalten, der Kommunikationsstil, die Lernkompetenz, Selbstmanagementfähigkeiten oder die Teamrolle.
- Weitere Produkte erfassten die individuellen Motive, die interkulturelle Kompetenz oder die Vertriebskompetenz.
Aufgrund der zunehmenden Komplexität und Vielfalt dieser Tests fällt es Kunden häufig schwer, die für ihre spezifischen Anforderungen passenden Testverfahren auszuwählen.
Um diese Herausforderung zu bewältigen, ist es notwendig, innovative Lösungen zu entwickeln, die den Kunden dabei helfen, schnell und präzise die passenden Tests zu identifizieren. Eine solche Lösung könnte die Implementierung eines LLM-gestützten Chatbots sein, der in der Lage ist, Kundenanfragen zu analysieren, relevante Informationen aus einer Wissensdatenbank abzurufen und darauf basierend maßgeschneiderte Produktempfehlungen zu geben.
Herausforderungen
Die Entwicklung eines KI-gestützten Chatbots zur Empfehlung passender Personaltests brachte eine Reihe technischer und organisatorischer Herausforderungen mit sich. Diese betrafen insbesondere die Datenqualität und die Auswahl sowie Integration eines leistungsfähigen Large Language Models (LLM). Schnell wurde außerdem klar, dass der Aufwand zur Bereitstellung eines selbst gehosteten Systems für die erwartete Nutzung unverhältnismäßig hoch wäre. Daher bestand eine zentrale Herausforderung darin, einen geeigneten Anbieter für Chatbots zu finden, der sowohl DSGVO-konform und sicher in der Datenverarbeitung ist als auch den Anforderungen an eine möglichst niedrige Latenzzeit und hohe Benutzerfreundlichkeit gerecht wird. Die Auswahl des LLM erfolgte in einem späteren Schritt, nachdem der geeignete Chatbot-Anbieter gefunden und integriert war.
Datenheterogenität und Datenqualität
Eine der zentralen Herausforderungen bestand in der heterogenen Datenbasis. Die Informationen zu den Personaltests lagen in unterschiedlichen Formaten, Webseiten und unstrukturierten Texten vor. Daher war eine sorgfältige Bereinigung, Harmonisierung und Transformation der Daten erforderlich. Ziel war es, eine standardisierte, semi-strukturierte Datenbasis zu schaffen, die optimal für die Verarbeitung durch das gewählte LLM vorbereitet ist.
Integration und Auswahl des Chatbot-Anbieters
Die Auswahl eines geeigneten Chatbots war ein kritischer Faktor für den Projekterfolg. Dabei wurden verschiedene Anbieter hinsichtlich Datenschutzes, Kosten, Leistungsfähigkeit und Integrationsmöglichkeiten verglichen. Da der Chatbot unter Umständen personenbezogenen Daten verarbeitet, spielte der Datenschutz eine entscheidende Rolle.
Ein weiterer wichtiger Aspekt war das Prompt Engineering. Um präzise und kontextbezogene Produktempfehlungen zu ermöglichen, mussten spezifische Instruktionen entwickelt und getestet werden. Dies erforderte eine iterative Optimierung der Prompts, um die bestmöglichen Ergebnisse zu erzielen.
Vorgehen
Das Projekt folgte einem linearen Ansatz, bei dem die Datenauswahl und Transformation parallel zur Auswahl des Anbieters anhand der im Vorfeld erhobenen Anforderungskriterien durchgeführt wurde. Dies ermöglichte eine strukturierte und gezielte Umsetzung der einzelnen Phasen.
Anforderungsanalyse und Auswahl eines Anbieters LLM-gestützten Chatbots
Zu Beginn des Projekts wurden in einem gemeinsamen Workshop durchgeführt relevante Use Cases und Kundenbedürfnisse identifiziert. Dieser Workshop diente nicht nur der reinen Anforderungsaufnahme, sondern auch dazu, ein gemeinsames Verständnis für die Zielsetzung des Projekts zu schaffen. Durch interaktive Diskussionen konnten unterschiedliche Perspektiven einbezogen und potenzielle Herausforderungen frühzeitig erkannt werden.
Im Rahmen der Anforderungsanalyse wurden detaillierte Anforderungen erstellt, die als Grundlage für die Auswahl und Umsetzung dienten. Dabei wurden zentrale Aspekte wie Datenschutz, Kosten und Benutzerfreundlichkeit besonders berücksichtigt, um den zukünftigen Betrieb des Systems sicherzustellen. Der Datenschutz spielte eine zentrale Rolle, da der Chatbot möglicherweise mit sensiblen Daten arbeitet und dabei stets DSGVO-konform agieren muss. Neben technischen Anforderungen wurden auch Nutzererwartungen und User Experience-Aspekte betrachtet. Es war essenziell, dass der Chatbot einfach zu konfigurieren und zu warten ist und eine intuitive, möglichst natürliche Interaktion ermöglicht.
Auf Basis dieser zuvor festgelegten Anforderungen wurden mehrere potenzielle Anbieter evaluiert. Dabei wurden insbesondere Datenschutz, Kosten und Benutzerfreundlichkeit untersucht. Nach einer umfassenden Analyse wurde schließlich ein Anbieter ausgewählt, der den definierten Anforderungen am besten entsprach.
Datenprüfung und Transformation
Nachdem der Anbieter ausgewählt wurde, erfolgte eine umfassende Dateninventur. Dabei wurden alle verfügbaren internen und externen Datenquellen zusammengeführt und analysiert. Die primäre externe Datenquelle waren die Inhalte der Webseite des Unternehmens. Während das automatische Einlesen der Webseiten über das Interface technisch einfach realisierbar war, zeigten erste Tests erhebliche Probleme in der Datenqualität. Daher wurde eine semi-automatische Crawling-Lösung auf Basis der Open-Source-Software Firecrawl.dev implementiert. Diese Lösung ermöglichte es, Webseitentexte gezielt in ein für LLMs verständliches Markdown-Format zu konvertieren.
Markdown für LLMs ist ein semi-strukturiertes Textformat, das eine klare Trennung von Inhalten und Layout ermöglicht. Dabei werden z. B. fettgedruckte Begriffe für Schlüsselbegriffe genutzt, Überschriften zur thematischen Gliederung definiert und Tabellen in strukturierte Dateneinheiten überführt. Diese Struktur stellt sicher, dass LLMs den Text effizient verarbeiten können, ohne auf überflüssige oder redundante Informationen zu stoßen.
Nach der automatischen Extraktion wurden die Daten manuell überarbeitet, um irrelevante Inhalte wie wiederkehrende Kontaktinformationen oder redundante Abschnitte zu entfernen. Dadurch wurde sichergestellt, dass die resultierende Datenbasis möglichst präzise und qualitativ hochwertig für die spätere Verarbeitung war.
Testen, Validierung & Optimierung
Nach der Datenprüfung und Transformation wurde der Chatbot zunächst in einem nicht-live Betrieb von mehreren Mitarbeitenden getestet. Dabei wurde insbesondere die Richtigkeit der empfohlenen Personaltests anhand zuvor definierter Kriterien überprüft. Zusätzlich wurden verschiedene Strategien zur Informationsgewinnung und Auswahl des optimalen Tests ausprobiert, um die bestmögliche Benutzerführung zu ermitteln.
Ein zentraler Bestandteil des Testprozesses und Optimierungsprozesses war das Prompt Engineering. Die Formulierungen der Prompts wurden iterativ überarbeitet und an unterschiedliche Szenarien angepasst. Durch wiederholte Tests wurden Anweisungen verfeinert, um die Genauigkeit und Relevanz der generierten Antworten zu maximieren. Dabei wurden verschiedene Versionen der Prompts entwickelt, um zu verstehen, wie sich unterschiedliche Formulierungen auf die Antwortqualität auswirken.
Zusätzlich wurden mehrere LLM-Anbieter getestet, um herauszufinden, wie unterschiedlich sie auf spezifische Instruktionen reagieren. Dabei wurde untersucht, welche Modelle am besten mit den Anforderungen der Personaltest-Empfehlungen harmonierten. Die Leistung der LLMs wurde anhand von Kriterien wie Präzision, Antwortgeschwindigkeit und Anpassungsfähigkeit an verschiedene Eingabevarianten bewertet.
Schließlich wurden alle Testergebnisse in einer Fehleranalyse zusammengeführt. Besonders falsche Empfehlungen und Missverständnisse in der Interaktion wurden detailliert anhand der Nachrichten-Historie untersucht. Auf Basis dieses Feedbacks erfolgten Anpassungen der Prompt-Strategie sowie eine gezielte Erweiterung der Wissensdatenbank, um die Qualität der Antworten kontinuierlich zu verbessern. Die iterative Optimierung stellte sicher, dass der Chatbot schrittweise an die Anforderungen der Benutzer angepasst wurde und eine hohe Präzision in der Beratung gewährleisten konnte.
Erkenntnisse und Projektergebnisse
Das Projekt zur Entwicklung eines KI-gestützten Chatbots für die Empfehlung von Personaltests hat wertvolle Erkenntnisse geliefert und bedeutende Fortschritte erzielt. Durch die strukturierte Herangehensweise konnten zahlreiche Herausforderungen identifiziert und gezielt gelöst werden.
Ein zentrales Ergebnis war die erfolgreiche Integration der Datenbasis, die aus einer Kombination interner und externer Quellen besteht. Die ursprünglich angedachte automatische Extraktion der Webseitentexte zeigte Qualitätsprobleme, weshalb eine semi-automatische Crawling-Lösung mit Firecrawl implementiert wurde. Diese ermöglichte es, Webseitentexte in ein für LLMs verständliches Markdown-Format umzuwandeln, das anschließend manuell überarbeitet wurde, um Redundanzen zu vermeiden und die Informationsqualität zu steigern.
Die Evaluierung verschiedener Chatbot-Anbieter anhand vordefinierter Kriterien führte zur Auswahl einer Lösung, die eine schnelle API-Integration, regelmäßige Updates und hohe Datenschutzstandards bietet. Dies stellte sicher, dass der Chatbot skalierbar und zukunftssicher ist.
Das Testen und Optimieren im nicht-live Betrieb mit Mitarbeitenden lieferte wertvolle Erkenntnisse zur Qualität der Produktempfehlungen. Es wurde festgestellt, dass die richtige Gestaltung der Prompts eine entscheidende Rolle spielt. Durch iteratives Prompt Engineering wurden die Anweisungen kontinuierlich angepasst, um präzisere Antworten zu erhalten. Zudem wurden verschiedene LLM-Anbieter getestet, um deren Reaktionen auf unterschiedliche Instruktionen zu analysieren und den besten Anbieter für die spezifischen Anforderungen auszuwählen.
Schließlich wird der Chatbot in den kommenden Wochen in den Live-Betrieb auf der Webseite überführt. In dieser Pilotierungsphase werden die Interaktionen mit den Kunden detailliert analysiert, um weiteres Optimierungspotenzial zu identifizieren. Besonders im Fokus stehen die Verbesserung der Antwortqualität sowie die Erhöhung der Conversion-Rate. Die Erkenntnisse aus der Echtzeit-Nutzung werden genutzt, um das System iterativ weiterzuentwickeln und den Mehrwert für die Nutzer kontinuierlich zu steigern.
Dieses Projekt zeigt zudem, dass KMU auch ohne eigenes Rechenzentrum und große IT-Abteilungen in der Lage sind, eigene Chatbots auf ihrer Webseite zu integrieren. Obwohl die Umsetzung eine sorgfältige Planung, ausgiebige Tests und verschiedene Iterationsschritte erfordert, ist es dennoch machbar. Durch die Nutzung externer Anbieter und moderner KI-Technologien können auch kleinere Unternehmen innovative Lösungen anbieten und ihre digitale Präsenz nachhaltig verbessern.