Prompting in der Praxis – ein unternehmensinterner Erfahrungsbericht

Dies ist der zweite Blogbeitrag einer Beitragsreihe über generative KI. Den letzten Beitrag zum Thema Meta Prompting finden Sie hier. Im vorangegangenen Beitrag ging es darum, wie Sie mit Techniken aus dem Meta Prompting Ihr Verständnis von textgenerierender KI, sogenannten Large Language Models (LLMs), vertiefen und damit ihre Eingaben (Prompts) verbessern können. Dieser Beitrag beschreibt, wie ein Unternehmen generative KI erfolgreich eingesetzt hat, um ein Angebot für einen Kunden zu erstellen, welche Erwartungen an die KI realistisch sind und wie die Angestellten und Geschäftsführer den Einsatz bewertet haben.

Ausgangslage

Beim hier betrachteten Unternehmen handelt es sich um eine Eventagentur, die – wie üblich in der Branche – Angebote für interessierte Kunden erstellt. Da Angebote Arbeitszeit in Anspruch nehmen, die niemandem in Rechnung gestellt werden kann, besteht branchenübergreifender Bedarf nach Effizienzsteigerung.

Vorbereitung

Bevor der erste Prompt verfasst wird, müssen sich die Beteiligten einerseits untereinander über die Ausgangslage und das zu erreichende Ziel klar werden und dies andererseits auch vermitteln können. Diese scheinbare Selbstverständlichkeit ist tatsächlich nur scheinbar selbstverständlich: In der Praxis ist es nicht unüblich, dass nur ein begrenzter Teil der Belegschaft bei allen relevanten Kundenmeetings anwesend war, womit sich der Kenntnisstand der Beteiligten unterscheidet.

Der zweite Schritt besteht darin, diesen Kenntnisstand auch dem Programm vermitteln zu können, wie man ihn auch einem Menschen ohne Vorkenntnisse vermitteln würde. Auch dies ist nur scheinbar selbstverständlich: Im Workshop war die initiale Erklärung des Projekts weder dem verwendeten LLM – es handelte sich um ChatGPT – noch dem Moderator verständlich.

Das Problem bestand darin, dass die Teilnehmer alle erfahrene Marketingexperten waren, die sich bereits ausgiebig mit dem Projekt beschäftigt hatten, und daher unter einer Art Betriebsblindheit litten. In diesem Fall half, dass mit dem Workshopleiter eine Person ohne Vorwissen vor Ort war, die nachfragen konnte. Wenn dies nicht der Fall ist, müssen sich die Anwender in eine entsprechende unwissende Person vorstellen.

In der Programmierung ist eine ähnliche Technik bekannt: das sogenannte Rubber Ducking. Dabei erklärt man einer Gummiente seinen Code, um durch die schrittweise Erklärung zu merken, an welcher Stelle man einen Fehler begangen hat. Im Gegensatz zur Gummiente ist es bei LLMs jedoch außerdem möglich nachzufragen, ob die gegebenen Informationen ausreichen. Diese Technik ist als Model Guided Prompting bekannt und wurde im vorherigen Blogbeitrag erwähnt.

Vorgehen

Der Seed-Prompt

Sobald alle Beteiligten auf den aktuellen Informationsstand gebracht wurden und diesen Stand einem Unbedarften vermitteln können, kann das Prompting beginnen. Wie bereits im letzten Blogbeitrag erwähnt, ist der erste Prompt – der Seed Prompt – der wichtigste, da er die Richtung vorgibt, in die das Modell „denkt“. In diesem ersten Prompt sollten die wichtigsten Informationen enthalten sein, aber nicht alle Informationen, die zur Verfügung stehen. Das Programm wird Schwierigkeiten haben, die Masse an Informationen korrekt zu gewichten; außerdem schränkt es laut Erfahrungsberichten die Kreativität ein [1]. Im Falle des Workshops enthielt der Seed Prompt folgende Informationen, wobei die Beispiele aus Gründen des Datenschutzes frei gewählt wurden:

Erster Absatz: Hintergrundinformationen

Der erste Absatz gibt einen sehr kurzen Anriss, worum es geht:

• Im ersten Satz steht das grundsätzliche Anliegen: „Ich muss ein Angebot für einen Kunden erstellen.“
• Kurzinformation zum Kunden, z.B. „Großunternehmen in der Elektrobranche“
• Ort der Präsentation, z.B. an einem Messestand in einer Messehalle
• Der Übergang zum Kerninhalt mit den Worten: „Die Herausforderung besteht im Folgenden:“

Im vorliegenden Fall bestand das Hauptproblem darin, dass eine große Anzahl wissenschaftlicher Posterpräsentationen gleichwertig in einem großen Raum ausgestellt werden musste, ohne sie an Wände anzubringen. Der zweite Absatz des Prompts – leicht abgeändert, um die Anonymität sicherzustellen – lautete wie folgt:

„62 A0-Poster müssen gleichwertig im Raum präsentiert werden. Es ist nicht möglich, sie an Wänden anzubringen. Im einfachsten Fall könnte man sie an einer Wäscheleine aufhängen, was aber nicht ansprechend aussieht. Man könnte sie auch als Ständer aufstellen, wobei das Risiko besteht, dass sie umfallen könnten. Wir bräuchten eine Möglichkeit die Poster zu aufzustellen, dass sie gut sichtbar sind, ansprechend erscheinen, aber nicht umfallen können.“

Dieser scheinbar simpel – fast schon kindlich – geschriebene Prompt beinhaltet mehrere erfolgreiche Prompting-Konzepte: der erste Satz beschreibt das Anliegen, der zweite ein Problem bzw. eine Einschränkung. Dies folgt dem Prinzip Informationen explizit zur Verfügung zu stellen und dabei klar unter Auslassung aller unwesentlichen Informationen zu kommunizieren. In den zwei darauffolgenden Sätzen werden zwei Beispiele genannt, um das Problem zu lösen. Dies folgt dem Prinzip des Multi-Shot Promptings. Multi-Shot Prompting ist ein hochtrabender Ausdruck für das Geben mehrerer Beispiele und eine der mächtigeren Strategien, um die Qualität der Ausgaben von LLMs zu erhöhen.

Diese Beispiele stehen aber nicht für sich: es wird gleich dazugesagt, was das Problem mit diesen Beispielen ist, damit das Programm versteht, warum es sich nicht für diese Beispiele entscheiden kann. Im letzten Satz findet sich die Anforderung noch einmal ausdrücklich ausgeschrieben. Dies entspricht er Strategie des Input Output Promptings: sagen, was man haben möchte. Zwar können LLMs auch implizite Aufforderungen verstehen, die Qualität des Outputs steigt jedoch, wenn klar formuliert wird, was das Ergebnis beinhalten soll. Dies leitet auch zum letzten Absatz über:

Der letzte Absatz beschreibt ausführlich, was das Programm tun soll. Zwar wurde dies schon im letzten Satz des vorherigen Absatzes angerissen, aber nur kurz in Bezug auf die Herausforderung. Der – erneut aus Gründen der Vertraulichkeit gekürzte – Absatz sah folgendermaßen aus:

„Bitte erstelle mir 5 detaillierte Vorschläge, wie (mit welchem System) ich die Poster aufstellen kann, so dass sie ansprechend, lesbar, hübsch und sicher sind. Geh dabei ggf. auch auf die zu verwendeten Materialien ein.“

Wie Sie sehen, hat sich hier im drittletzten Wort in der Eile ein Grammatikfehler eingeschlichen. Dies ist unproblematisch, da LLMs wie ChatGPT aus dem Kontext die Bedeutung erfassen können.

ChatGPT unterbreitet daraufhin fünf Beispiele

• Freistehende Poster-Displays mit stabiler Basis
• Spannsystem von der Decke (Seilsystem mit Hängedisplays)
• Modulare Wand- und Stellwand-Systeme (Paravent-ähnliche Aufstellung)
• Säulenständer mit drehbaren Posterrahmen
• Luftgefüllte Strukturen als Posterträger

Alle Beispiele wurden ausführlich in ihrer Funktion beschrieben. Außerdem wurden, wie angeordnet, die Materialtypen genannt, die bei den jeweiligen Systemen eingesetzt werden. Aus Platzgründen und mangels Relevanz wurde dieser Teil der Antwort hier ausgelassen.

Iteratives Prompting

Eine weitere wichtige Eigenschaft von LLMs wie ChatGPT ist, dass es sich um Chatbots handelt, die sich an den Verlauf der Konversation erinnern können, was ein Gespräch (sog. iteratives Prompting) ermöglicht.

Brainstorming mit ChatGPT

In diesem Fall wurde mit folgender Eingabe nachgefragt, was es mit dem letzten Konzept auf sich hat:

„Könntest Du auf die luftgefüllten Strukturen eingehen und erklären, wie sie halten?“

Die ausgesprochen ausführliche Antwort ist ebenfalls nicht weiter relevant. Kurz zusammengefasst besagte sie, dass es sich bei den Konstrukten um PVC oder Polyestergewebe handelt, die unten beschwert werden und bei Bedarf mit dem Boden mithilfe von Gurten und Ösen verankert werden können; die Poster können dann an diesen Konstrukten aufgehängt werden.

Entscheidend ist, dass diese Erklärung die Belegschaft auf die Idee brachte, einen klassischen Säulenwald aus Holzsäulen zur Darstellung zu nutzen. Diese Idee wurde anschließend übernommen und in das Angebot eingearbeitet. Die Idee zum Säulenwald war kein direkter Vorschlag des LLM. Aber die Vorschläge (plus Ausführung) des LLM brachten die Teilnehmer des Workshops auf eigene Gedanken. Dies ist derselbe Prozess, der auch beim rein menschlichen Brainstorming vonstattengeht.

Selbstverständlich können die Fähigkeiten zur Konversation auch genutzt werden, um Ideen von ChatGPT weiter ausbauen zu lassen. In dem hier beschriebenen Fall musste die Idee, auf die ChatGPT seine humanoiden Gegenstücke gebracht hatte, natürlich erst ChatGPT mitgeteilt werden. Im Folgenden sehen Sie den – aus den üblichen Gründen gekürzten – Prompt:

„Wir hatten die Idee, das Anordnungsproblem folgendermaßen zu lösen: Viereckige „Säulen“ mit einem Plakat pro Seite. Zwischen je zwei Säulen ein Stehtisch mit Zetteln und Tischen, damit die Teilnehmer sich zu den Plakaten austauschen können. Ggf. noch Flipcharts oder Whiteboards an den Zeltwänden oder alternativ in einem gesonderten Rückzugsraum, um sich ggf. detailiert austauschen zu können.

Könntest Du bitte:

1) Diese Idee weiter detailliert ausarbeiten

2) 3 Alternativideen im Detail vorstellen?“

Darauf passierte etwas, was Nutzer von LLMs oft frustriert: ChatGPT wiederholte einfach nur in anderer Form, was der Nutzer bereits geschrieben hatte. Glücklicherweise unterscheiden sich LLMs von Menschen in einer zentralen Eigenschaft: Sie können die Anweisung „sei kreativ“ tatsächlich auf Kommando umsetzen, was im folgenden Prompt genutzt wurde:

„Die Alternativen sind ok, aber bei der Ausarbeitung hast Du abseits der Materialvorschläge eigentlich nur wiederholt, was ich geschrieben habe. Bitte sei kreativ und spinne einfach mal etwas weiter. Ich sage Bescheid, wenn es zu sehr abdriftet oder den Kundenanforderungen widerspricht.“

Die darauffolgenden Vorschläge waren tatsächlich kreativ, interessant – und in Teilen vollkommen unbezahlbar. Wäre die Konversation in diesem Chatfenster weitergegangen, wäre das der richtige Moment gewesen, explizit ein Budget vorzugeben. Wie zu Anfang geschrieben, sollte man das Programm nicht zu Beginn mit Informationen überfrachten, sondern sie – wie hier – zu gegebenem Zeitpunkt nachschieben. In der Regel hat dies den gewünschten Effekt und die Ergebnisse werden entsprechend besser. Das ist jedoch nicht immer der Fall:

Denken Sie nicht an Kängurus!

An einer Stelle in der Konversation hatte der Versuch, per Prompt weitere Informationen nachzufüttern, keinen Erfolg. Da der Austausch bis dahin gute Ergebnisse geliefert hatte, sollte die Unterhaltung fortgesetzt werden, jedoch unter Auslassung der Ergebnisse des fraglichen Prompts. Dazu wurde das LLM mit dieser Eingabe angewiesen:

„Das war nicht hilfreich. Ignoriere bitte den letzten Prompt und Deine dazugehörige Antwort“.

Bitte beachten Sie dabei: Es ist nicht möglich, die Erinnerung an diese Eingabe damit aus dem LLM zu löschen! Genau wie ein Mensch, dem Sie sagen, man sei vom Thema abgekommen und solle wieder zum ursprünglichen Anliegen zurückkehren, sich an das zu Ignorierende erinnern kann, kann das LLM dies auch. Mit der Konsequenz, dass es erneut (ungewollt) Bezug auf die falsche Fährte nehmen kann. Die Anweisung, das Geschriebene zu ignorieren, ist trotzdem wirksam, lediglich nicht perfekt. Wenn Sie jegliche Erinnerung löschen möchten, müssen Sie ein neues Chatfenster öffnen, womit jedoch die bisherige Konversation verloren geht.

Zu viel des Guten

Sind Sie frustriert davon, dass den Verfassern dieser Beiträge scheinbar alles mühelos gelingt und sie die schönsten Texte und beeindruckendsten Bilder mit generativer KI erstellen, während Ihre Texte aus belanglosen Wortversatzstücken bestehen und die Bilder wie die des fünfjährigen Picasso aussehen? Dann gibt es gute Neuigkeiten: Das erscheint nur so, weil die Fehlschläge nicht ebenso prominent ausgestellt werden.

Eine Strategie, die nicht zum Erfolg führte, sah z.B. folgendermaßen aus: Die vom potentiellen Kunden bereitgestellten Informationen wurden – selbstverständlich anonymisiert – dem Programm mit dem Auftrag zur Verfügung gestellt, daraus ein Angebot zu erstellen. Das LLM war von der Masse an Informationen so überfordert, dass es größtenteils bedeutungslose Phrasen von sich gab. Auch hier gelang es zwar, erste Konzeptideen zu entwickeln, die aber schlussendlich nicht überzeugen konnten.

Diese zwei Beispiele verdeutlichen, welche Erwartungen an LLMs realistisch und welche überzogen sind: überzogen ist die Vorstellung, LLMs könnten einem ein fertiges Konzept auf dem Silbertablett servieren, wenn man nur den richtigen „magischen“ Prompt kennen würde; realistisch ist, LLMs als Sparringspartner zu nutzen, die blitzschnell Ideen generieren können, die aber vom Menschen weitergedacht werden sollten. Dieses Prinzip des aktiven Weiterdenkens und anschließenden Zurückspielens neuer Ideen an ChatGPT wird auch von Professor Rieck in seinem Buch erwähnt, das er auf genau diese Weise gemeinsam mit ChatGPT geschrieben hat [1].