Ich habe viel Zeit damit verbracht, die kreativen Möglichkeiten von LLMs (große Sprachmodelle wie ChatGPT / GPT-4) zu erkunden. Bei der Verfolgung dieses Ziels habe ich es als Herausforderung empfunden, wirklich originelle kreative Ergebnisse zu erzielen. Ich habe jedoch Möglichkeiten entdeckt, die Gesamtqualität der von diesen Sprachmodellen erzeugten Ausgabe zu verbessern. Kürzlich struggle ich von der qualitativen Verbesserung überrascht, die sich aus einer meiner kreativen Übungen ergab, einem Prozess, den ich weiterentwickelt hatte. Deshalb versuche ich in diesem Beitrag, das von mir entwickelte Modell wie folgt zu formalisieren:
Das Modell des Vorschlagenden • Kritikers • Synthesizers • Beurteilers
Dieser Prozess entstand aus einigen Erkenntnissen und Beobachtungen, die ich über LLMs gesammelt habe.
1. LLMs erzielen bessere Ergebnisse, wenn man „mehr Zeit“ zum „lauten Denken“ erhält
Ich habe Beispiele dafür gesehen, wie LLMs ihre Logik- und Argumentationsfähigkeiten verbessern könnten, indem sie ein Drawback Schritt für Schritt durcharbeiten und bei jedem Schritt ihre Begründung erläutern.
Da es sich bei einem LLM praktisch um eine prädiktive Textual content-Engine handelt, liegt es auf der Hand, dass die Wahrscheinlichkeit, dass er zu einem idealen Ergebnis „gelenkt“ wird, umso größer ist, je mehr Kontextinformationen ihm bereitgestellt werden oder die er unterwegs produziert.
Ein stärkeres Setup führt zu einem stärkeren Ergebnis
2. LLMs scheinen bei analytischen Aufgaben besser zu sein als bei kreativen
Ich habe beobachtet, dass LLMs sich durch objektive, faktenbasierte Analysen oder auf Meinungskonsens basierende Analysen auszeichnen. Ich könnte zum Beispiel diesen Beitrag überprüfen lassen und er würde mir eine kritische Antwort mit einigen intestine begründeten Punkten geben.
Ich bin mir nicht sicher, ob das an den Prioritäten der Groups liegt, die diese Modelle trainiert haben, oder an der Schwierigkeit, verlässliches Suggestions zu subjektiven Aufgaben zu geben – wo die Meinung einer Individual dramatisch von der einer anderen abweichen kann und es kein absolutes Richtig oder Falsch gibt .
Ein weiterer Aspekt davon ist jedoch, dass es dem LLM „schwer fällt“, vorherzusagen, was Sie als die Individual, die die Eingabeaufforderung schreibt, als Ergebnis erwarten.
Es brachte mich zu der Frage:
Könnten Sie mit dem richtigen Prozess eine kreative Lösung aus einem LLM herauskitzeln?
Eine der ersten Herausforderungen, die ich bei der Vergabe kreativer Schreibaufgaben an LLM-Studenten festgestellt habe, bestand darin, dass dem Dialog statt der Darstellung wenig Aufmerksamkeit geschenkt wurde. Die meisten Geschichten, die ich produziert hatte, lasen sich wie Handlungszusammenfassungen.
Additionally führte ich ein Experiment durch, bei dem ich den LLM dazu aufforderte, ein Szenario zu konstruieren, in dem alle Schlüsselfiguren der Geschichte von Schauspielern in einem Improvisationsworkshop dargestellt wurden und sie sich einen Dialog für eine bestimmte State of affairs ausdenken würden.
Die Verwendung von Personas zur Improvisation von Charakterdialogen verbesserte die Ergebnisse
Dies führte mich dazu, den Wert darin zu erkennen, dass unterschiedliche, vom LLM geschaffene Personas aus unterschiedlichen Perspektiven in den Dialog treten. Nicht nur für kreatives Schreiben, ich finde es auch eine interessante Technik, um Konzepte zu erkunden. Wenn Sie beispielsweise einen Philosophieprofessor mit einem Informatikprofessor besprechen, können Sie Ansätze zur Schaffung eines AGI besprechen.
Ich stellte jedoch immer noch fest, dass dies zu unbefriedigenden Ergebnissen führen würde. Die Personas waren zu offen für die Meinung des anderen. Es gab zu viele „Ja und…“ und zu wenig kritische Debatten, was zu einem Endergebnis führte, das einer Überprüfung nicht standzuhalten schien.
Und doch, wenn ich das LLM dann bitte, das Ergebnis zu kritisieren, kann es viele der gleichen negativen Punkte hervorbringen, die ich hatte – was darauf hindeutet, dass es das Potenzial hat, noch besser zu werden
Ich begann über das Konzept der Generative Adversarial Networks (GANs) nachzudenken, bei denen im Wesentlichen zwei KIs um die Qualität des Ergebnisses „gegeneinander spielen“ – wobei eine KI immer bessere „Vermutungen“ anstellt und die andere KI es versucht Fehler in diesen Versuchen zu finden.
So habe ich mich für den Prozess entschieden, der für mich zu deutlich besseren Ergebnissen geführt hat.
Lassen Sie mich zunächst die einzelnen Persona-Rollen beschreiben und dann näher darauf eingehen, wie ich sie nutzen kann.
Der Antragsteller
Dies ist die idealistische Individual, die das gewünschte Ergebnis vorschlägt. Tatsächlich ist dies die Rolle, die Ihre zugrunde liegende Aufforderung verkörpert.
Der Kritiker
Dies ist die gegnerische Rolle, die versucht, begründete Argumente gegen was vorzubringen Der Antragsteller schlägt vor. Ihr Ziel ist es, dafür zu sorgen, dass die Idee abgelehnt wird.
Der Synthesizer
Diese Persona bringt beide Seiten der Diskussion zusammen und berücksichtigt die Kritik, um den besten Weg vorzuschlagen, um ein positives Ergebnis zu erzielen. Sie sollten unvoreingenommen, aber im Allgemeinen unterstützend sein Der Antragsteller erreichen will.
Der Richter
Diese Persona wägt ab, was sie von den anderen drei Personas gehört hat, und gibt eine faire und ehrliche Einschätzung darüber ab, wie wahrscheinlich der Erfolg des Vorschlags ist. Anschließend vergeben sie eine AF-Observe für die allgemeine Health.
Aufstellen
Zuerst bitte ich den LLM, für jede der Personas eine Biografie zu schreiben. Zum Beispiel – The Proposer als preisgekrönter Science-Fiction-Autor. Ich habe das nicht ausgiebig getestet, aber ich denke, dass dieser selbst generierte zusätzliche Kontext jeder Individual ein reichhaltigeres Suggestions in der Diskussion gibt
Kontexteinstellung
Mit den Biografien jeder generierten Persona habe ich den Kontext für das LLM festgelegt, in dem wir in einem Workshop das Transkript dieser vier Personas lesen. Ich lasse sie abwechselnd sprechen und definiere ihre Rollen gemäß PCSJ, wie oben beschrieben. Ich beginne damit, dass sie sich vorstellen, um zu betonen, dass ihre früheren Biografien als Kontext beibehalten wurden.
Es ist wichtig, den Kontext als „Transkript einer Besprechung“ festzulegen, andernfalls verfällt das LLM in die Standardeinstellung, den Dialog zu beschreiben, anstatt ihn zu schreiben
Iterativer Prozess
Schließlich „leite ich den Prozess“, indem ich jede Persona ihre Rolle spielen lasse. Wenn der Richter die Endnote vergibt und diese schlechter als „A-“ ist, lasse ich ihn seine Diskussion unter Berücksichtigung der Kommentare und des Feedbacks fortsetzen. Ich werde ihre PCSJ-Rollen noch einmal benennen, sonst können sie in ein natürlicheres Gespräch verfallen.
Nachdem ich dieses Modell als Technik zum Durchdenken verschiedener Konzepte verwendet hatte, kam mir eine andere Idee. Als ich mir Beispiele anhörte, wie Menschen LLMs genutzt haben, um genauere Eingabeaufforderungen zu generieren, fiel mir Folgendes auf:
Die Rolle des Synthesizers könnte darin bestehen, die perfekte Aufforderung zu schreiben, um das Ziel des Proposer zu erreichen
In diesem Sinne wird es zu einem kleinen „Meta“. Das Ziel des Gesprächs besteht darin, die Machbarkeit der Schaffung einer Aufforderung zu besprechen, die die beabsichtigten Ergebnisse erzielt.
Und Das So konnte ich die besten kreativen Schreibergebnisse erzielen, die ich bisher gesehen habe.
