Definition von Prozessen des Prompt Engineering

Prompt Engineering ist eine Technik, die verwendet wird, um Eingaben für generative KI-Tools zu entwerfen, um große Sprachmodelle zu optimieren und Ausgaben zu verfeinern.

Prompts werden als Eingaben bezeichnet, während die vom generativen KI-Tool generierten Antworten als Ausgaben gelten. Genauigkeit und Spezifität auf der Eingabeebene – hier kommt das Prompt Engineering ins Spiel – ist die Art und Weise, wie das generative KI-Tool wiederum genauere und spezifischere Antworten produziert. Mit effektivem Prompt Engineering erfüllt ein generatives KI-Tool seine generativen Aufgaben besser, zum Beispiel das Erstellen von Code, das Verfassen von Marketingtexten, das Erstellen von Bildern, das Analysieren und Synthetisieren von Texten und mehr.

Prompt Engineering kombiniert die Prinzipien von Logik und Codierung. Es erfordert auch ein gewisses Maß an menschlicher Kreativität. Die Anforderungen an das Prompt Engineering können je nach Technologie variieren, obwohl die meisten generativen KI-Tools natürliche Sprachanfragen oder -abfragen verarbeiten können. Mit anderen Worten ist Prompt Engineering wie das Stellen einer Frage mit spezifischen Anweisungen, die genauer bestimmen, wie die Antwort gegeben wird.

Die Grundlagen des Prompt-Engineerings

Um die Grundlagen des Prompt Engineering zu verstehen, ist es wichtig, sich mit generativer KI und großen Sprachmodellen (LLMs) auseinanderzusetzen.

Generative KI, oder Gen-AI, bezeichnet die Art von künstlicher Intelligenz, die Inhalte generieren kann, sei es Text, Code, Bilder, Musik oder Video. Große Sprachmodelle sind Teil der zugrundeliegenden Technologie, die es der generativen KI ermöglicht, Ausgaben zu produzieren.

LLMs sind das Rückgrat der natürlichen Sprache in der KI. Sie ermöglichen textbezogene Anwendungen: Analyse, Synthese, Übersetzung, Erkennung und Generierung. Große Sprachmodelle werden auf großen Informationsmengen, oft in Textform, trainiert und lernen Muster aus diesem Text, um Vorhersagen oder Ausgaben bei Abfragen zu generieren.

Das Verständnis des prädiktiven Aspekts von LLMs ist der Schlüssel zum Verständnis, wie Prompt-Engineering funktioniert:

  1. Sie verfassen eine Eingabe, also den Prompt. Dieser kann einen Ausgabeindikator enthalten, der dem Modell mitteilt, welches Format die generierte Reaktion haben soll.
  2. Das Modell „denkt“, indem es die Ableitungen und Muster (in Form von Zahlen) verwendet, die aus den Trainingsdaten erlernt wurden. Dabei wird versucht, Muster zu erkennen, weshalb die generierten Ergebnisse als Vorhersagen bezeichnet werden.
  3. Anschließend wird eine Ausgabe generiert, eine Reaktion.

Auf einer grundlegenden Ebene könnte ein effektiver Prompt daher eine Anweisung oder eine Frage enthalten und durch Kontext, Eingaben oder Beispiele untermauert werden.

Hier ist ein grundlegendes Beispiel für Prompt-Engineering:

Eingabe:

Pflanzen sind

Mit diesem Prompt möchten wir erreichen, dass die KI einen Satz vervollständigt. Es fehlt jedoch an Spezifität. Bei Eingaben in das ChatGPT 3.5-Modell von OpenAI wird folgende Ausgabe generiert:

prompt-engineering-chatgpt-plants-are.png

Wir versuchen also, etwas zu verdeutlichen, indem wir Auslassungspunkte hinzufügen.

Eingabe:

Pflanzen sind…

Die Auslassungspunkte reichen aus, um eine Ausgabe zu generieren, die den Satz vervollständigt. Das Modell übertrifft sich hierbei allerdings:

prompt-engineering-chatgpt-plants-are-ellipsis.png

Da wir nicht den gesamten enzyklopädischen Eintrag über Pflanzen suchen, präzisieren wir unsere Anweisungen.

Eingabe:

Vervollständige den Satz:
Pflanzen sind

Jetzt erzeugt das Modell diese Ausgabe:

prompt-engineering-chatgpt-complete-the-sentence.png

Wir können unsere Anweisungen weiter präzisieren:

prompt-engineering-chatgpt-continue-to-specify-our-instructions.png

Diese iterative Anweisungsabstimmung ist das Grundprinzip des Prompt Engineerings. Sie variiert je nach Modell und kann je nach erforderlicher Aufgabe verschiedene Formate annehmen.

Warum ist Prompt Engineering wichtig?

Prompt Engineering ist eine wichtige Praxis im Bereich der generativen KI, da sie KI-gestützte Tools verbessert und folglich das Nutzungserlebnis sowie die Ergebnisse, die Nutzer:innen von den Modellen erhalten, verbessert.

Zero-Shot-Training ist eine solche Engineering-Technik, die darauf beruht, einen Prompt zu füttern, der nicht Teil der Trainingsdaten des Modells ist, um ein spezifisches Ergebnis zu generieren.

Entwickler:innen können mit dieser Art von Prompt Engineering experimentieren, um ein großes Sprachmodell wie GPT-3 so abzustimmen, dass es sich besser als Kundenservice-Chatbot oder als branchenspezifischer Inhaltsgenerator eignet – beispielsweise für Verträge, Marketing-E-Mails usw.

Betrachten wir die Bedeutung des Prompt Engineering an einem realen Beispiel:

Ein E-Commerce-Unternehmen beschließt, eine Anwendung zu entwickeln, die ein generatives KI-Tool integriert, um seinen Kundenservice zu verbessern. Der KI-Assistent soll die Fähigkeit besitzen, die Kundenstimmung zu bewerten, Kundenakten und Kundentranskripte zu überprüfen und Kund:innen Optionen anzubieten, die für ihre Abfragen relevant sind. Das Unternehmen muss das Tool mithilfe von Prompt Engineering genauer abstimmen, um diese spezifischen Aufgaben speziell und im Kontext der vom Unternehmen angebotenen Produkte oder Dienstleistungen auszuführen. In diesem Szenario stellt das Prompt Engineering sicher, dass der KI-Assistent in der Anwendung sowohl für das Unternehmen als auch für Nutzer:innen einen Mehrwert bietet. Das Unternehmen möchte möglicherweise auch Prompts vor der Eingabe von Kund:innen einfügen, um die Sicherheit der Kundenerfahrung zu gewährleisten und das Tool vor Missbrauch zu schützen. Ein Prompt, der ein positives Nutzungserlebnis gewährleisten soll, könnte beispielsweise so aussehen: „Beantworte nur Fragen, die für E-Commerce oder Einkaufserlebnisse relevant sind.“ Bei Fragen, die nicht mit E-Commerce oder Einkäufen zu tun haben, antworte bitte mit „Ich kann diese Frage nicht beantworten. Wenden Sie sich stattdessen bitte an den Kundensupport.“

Arten von Prompt-Engineering

Für jede Art von Aufgabe oder gewünschter Ausgabe gibt es eine zugehörige Art des Prompt Engineerings. Hier sind einige Techniken des Prompt Engineering:

  • Anleitungsprompts: Wie das obige Beispiel erfordert auch diese Art des Prompt Engineering, dass Entwickler:innen einen Prompt mit expliziten Anweisungen für die gewünschte Ausgabe erstellen.
  • Few-Shot-Prompting: Während Zero-Shot-Prompting eine Art von Prompt ist, die dem Modell keine Beispiele für gesuchte Antworten bietet, besteht Few-Shot-Prompting daraus, einige Beispiele einzugeben, um zu demonstrieren, wie das Modell reagieren soll.
  • Chain-of-Thought-Prompting: Diese bei mathematischen Problemen nützliche Technik beruht darauf, die Gedankenschritte im Prompt darzulegen, sodass das Modell seine Überlegungen in der Ausgabe wiedergibt.
  • Generated Knowledge Prompting: Diese Technik hilft bei der Feinabstimmung großer Sprachmodelle, indem sie diese mit Fakten und faktenrelevanten Informationen füttert, sodass zunächst eine wissensbasierte Ausgabe generiert werden kann. Dann fordert eine sekundäre Eingabe das Modell auf, die Genauigkeit einer Tatsache zu überprüfen, gepaart mit dem Wissen, das es in der ersten Ausgabe erzeugt hat. Als Reaktion sollte das Modell eine genaue Ausgabe auf die Abfrage geben. Dies ist eine Technik, die verwendet wird, um die Genauigkeit großer Sprachmodelle zu verbessern.
  • Tree-of-Thought-Prompting: Diese Technik ermöglicht komplexere Problemlösungen, indem sie das Chain-of-Thought-Prompting verallgemeinert und natürliche Zwischenschritte oder Gedanken in das Modell einfügt. Tree-of-Thought-Prompting verleiht Sprachmodellen die Fähigkeit, die Wirkung von Zwischengedanken auf das Problemlösen selbst zu bewerten. Es handelt sich also um eine Technik des Prompt Engineering, die das Modell ermutigt, einen bewussten Denkprozess zu durchlaufen.

Dies ist eine nicht erschöpfte Liste mehrerer Prompt Engineering-Techniken. Während die Forschung zu generativer KI und großen Sprachmodellen voranschreitet, entstehen verschiedene neue Techniken des Prompt Engineering.

Herausforderungen und Einschränkungen des Prompt-Engineerings

Zwar trägt das Prompt Engineering dazu bei, das Potenzial der generativen KI-Technologie optimal auszuschöpfen, es birgt aber auch einige Herausforderungen und Einschränkungen im Zusammenhang mit Adversarial Prompting, Faktentreue und Voreingenommenheit.

Adversarial Prompting ist eine Art von Prompt-Injektion, die „schädliches Verhalten“ bei großen Sprachmodellen hervorruft. Es stellt Nutzer:innen vor wichtige Sicherheitsprobleme, denn diese Art von Prompts können die Ausgabe verfälschen und die Genauigkeit eines Modells beeinträchtigen.

Es gibt verschiedene dokumentierte Arten von Adversarial Prompting, einschließlich Prompt-Leaking und Jailbreaking – Techniken, die darauf abzielen, große Sprachmodelle dazu zu bringen, Dinge zu tun, zu denen sie nie bestimmt waren. Ein solches Verhalten ist oft schädlich. Während Prompt Engineering also zur Verbesserung großer Sprachmodelle beitragen kann, kann bösartiges Prompt Engineering einen gegenteiligen Effekt haben.

Die Faktentreue und Verzerrungen der von großen Sprachmodellen erzeugten Ausgaben weisen ebenfalls auf die Grenzen des Prompt Engineering hin. Ein großes Sprachmodell ist nur so gut wie die Daten, mit denen es trainiert wurde. Diese Daten enthalten von Natur aus Verzerrungen, die das Modell lernt. Daraus folgt, dass das Modell selbst bei gezielter Aufforderung Reaktionen liefert, die verzerrt sind oder zwar sehr überzeugend wirken, aber möglicherweise gar nicht korrekt oder faktisch richtig sind. Diese Fehler werden auch als Halluzinationen bezeichnet. Zusätzliches Prompt Engineering – also das Hinzufügen von Kontext und Wissen in die Eingabezeichenfolge – kann helfen, die Ausgabe zu verbessern, aber Nutzer:innen müssen zuerst wissen, dass die ursprüngliche Ausgabe des Modells falsch war.

Um vom vollen Nutzen des Prompt Engineering zu profitieren, müssen Nutzer:innen Urteilsvermögen anwenden und Verifizierungstechniken oder -prozesse einsetzen.

Auf menschlicher Ebene wird das Prompt Engineering den Arbeitsmarkt verändern. Laut McKinsey hat die generative KI das Potenzial, Aufgaben zu automatisieren, die bis zu 70 % der Zeit der Mitarbeiter:innen beanspruchen1. Prompt Engineering, bereits eine gefragte Spezialkompetenz in einigen Bereichen, wird wahrscheinlich zu einer grundlegenden Anforderung für die meisten Mitarbeiter:innen. Branchen und Unternehmen stehen vor der Herausforderung, ihre Mitarbeiter:innen dahingehend weiterzubilden.

Strategien für effektives Prompt-Engineering

Prompt Engineering kombiniert Programmierung, Logik und auch ein wenig Kunstfertigkeit. Strategien für effektives Prompt Engineering sollten sich auf all das oben Genannte stützen. Denken Sie also über folgende Strategien nach:

Beginnen Sie mit einfachen Schritten
Beginnen Sie mit einfachen Schritten, wenn Sie gerade erst am Anfang stehen. Die Gestaltung von Prompts ist ein iterativer Prozess. Daher hilft es, mit kleinen Schritten zu beginnen, um zu verstehen, wie das Modell reagiert und wie man den Prompt für optimale Ergebnisse gestalten kann.

Seien Sie konkret
Spezifität auf Eingabeebene gewährleistet Genauigkeit auf Ausgabeebene. Verwenden Sie in Ihren Anweisungen aktive Befehle wie „Vervollständigen“, „Zusammenfassen“, „Übersetzen“ usw. und fügen Sie Modifikatoren hinzu, die klare Interpretationsgrenzen für das Modell festlegen, wie z. B. „Übersetze diesen Text in kanadisches Französisch“ oder „Fasse Mary Shelleys Frankenstein in maximal 100 Wörtern zusammen“.

Sehen Sie sich unser Beispiel zu den Grundlagen des Prompt Engineering an. Während Sie den Prompt verfeinern, geben Sie an, was Sie vom Modell über Pflanzen erfahren möchten, wenn es den Satz vervollständigt.

Sagen Sie ihm, was es tun soll (nicht, was es nicht tun soll)
Formulieren Sie, was Sie vom Modell verlangen, im Positiven anstatt im Negativen. Das heißt, sagen Sie ihm nicht, was es nicht tun soll. Verwenden Sie erneut aktive Sprachanweisungen und seien Sie spezifisch in Bezug auf das gewünschte Ergebnis.

Fassen Sie sich kurz
Die Spezifität ist zwar entscheidend, aber es ist auch wichtig, diese Spezifität mit Prägnanz und Präzision auszugleichen. Lange Prompts, selbst wenn sie präzise sind, verwirren oft die Modelle.

Wenn Sie einen Prompt für ein großes Sprachmodell verfassen, bedenken Sie, wie Sie auf eine Reihe von Anweisungen zur Ausführung einer Aufgabe reagieren würden. Wissen Sie genau, was von Ihnen verlangt wird? Hat Sie das Briefing verwirrt, weil es zu lang oder zu wortreich ist? Diese Denkweise, gepaart mit Ihrem Verständnis der Funktionsweise großer Sprachmodelle, wird dafür sorgen, Ihr Prompt Engineering zu optimalen Ergebnissen zu leiten.

Prompt Engineering mit Elastic

Die Elasticsearch Relevance Engine (ESRE) ist für KI-gestützte Suchanwendungen entwickelt worden und kombiniert natürliche Sprachverarbeitung (NLP) und generative KI, um das Sucherlebnis der Kunden zu verbessern.

Mithilfe der Elasticsearch Relevance Engine können die KI-Assistenten von Elastic für Security und Observability Ihr Team bei der Ermittlung von Alarmen, der Incident-Response sowie der Generierung oder Umwandlung von Anfragen unterstützen. Die Elastic AI Assistants bieten Empfehlungen für Prompts, die die Cybersicherheit oder Observability Ihrer Teams unterstützen.

Ein Diagramm, das veranschaulicht, wie Elasticsearch ein großes Sprachmodell verwendet, um Suchabfrageergebnisse zu liefern.

Nächste Schritte

Was Sie tun sollten, sobald Sie bereit sind... hier sind vier Möglichkeiten, wie wir Ihnen helfen können, Daten in Ihr Unternehmen zu integrieren:

  1. Starten Sie eine kostenlose Testversion, um zu erfahren, wie Elastic Ihr Unternehmen unterstützen kann.
  2. Lernen Sie unsere Lösungen bei einer Tour kennen und entdecken Sie die Elasticsearch-Plattform und die Vorteile unserer Lösungen für Ihre Anforderungen.
  3. Erfahren Sie, wie Sie Ihren Elasticsearch-Cluster einrichten und beginnen Sie mit unserem 45-minütigen Webinar zur Datenerfassung und -ingestion.
  4. Teilen Sie diesen Artikel mit interessierten Personen. Teilen Sie den Artikel per E‑Mail, LinkedIn, X oder Facebook.

Fußnoten

Chui, Michael. „Economic potential of generative AI: The next productivity frontier,“ McKinsey, 14. Juni 2023, https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier#/