In den letzten Wochen habe ich mehrere Blogs geschrieben, die sich mit den Einschränkungen und Missverständnissen beliebter großer Sprachmodelle (LLMs) wie ChatGPT befassen. Ich habe darüber gesprochen häufige Missverständnisse sowie Bereiche, in denen die heutigen Werkzeuge zu erwarten sind eine bessere (oder schlechtere) Leistung erbringen. Hier werde ich einen Ansatz skizzieren, der meiner Meinung nach die Zukunft von LLMs im Hinblick darauf darstellt, wie man sie nützlicher, genauer und wirkungsvoller machen kann. Ich sehe bereits die Umsetzung des Ansatzes und erwarte, dass sich der Pattern beschleunigt. Lass uns eintauchen!
Ensemble-Modelle – bewährt für maschinelles Lernen, Einzug in LLM-Anwendungen
Einer der Ansätze, der dazu beigetragen hat, die Leistungsfähigkeit von Modellen des maschinellen Lernens sowie klassischer statistischer Modelle zu steigern, ist die Ensemble-Modellierung. Sobald die Verarbeitungskosten ausreichend gesunken waren, wurde es möglich, eine breite Palette von Modellierungsmethoden anhand eines Datensatzes auszuführen, um herauszufinden, was am besten funktioniert. Darüber hinaus wurde festgestellt, dass, wie beim intestine dokumentierten Konzept von Die Weisheit der Massenstammen die besten Vorhersagen oft nicht vom besten Einzelmodell, sondern aus einer Mittelung vieler verschiedener Vorhersagen aus vielen verschiedenen Modellen.
Jede Modellierungsmethode hat Stärken und Schwächen, und keine wird perfekt sein. Die gemeinsame Berücksichtigung der Vorhersagen vieler Modelle kann jedoch zu aussagekräftigen Ergebnissen führen, die im Durchschnitt zu einer besseren Antwort führen, als jedes einzelne Modell liefert.
Lassen wir dieses Konzept für einen Second beiseite, um ein anderes Konzept vorzustellen, das wir benötigen, bevor wir zum Kernpunkt kommen können.
Anwendungen versus Modelle – das ist nicht dasselbe!
Das nächste zu verstehende Konzept ist der Unterschied zwischen einem Gegebenen LLM Modell (oder jede Artwork von Modell) und eine Anwendung, die es Benutzern ermöglicht, mit diesem Modell zu interagieren. Das hört sich zunächst wie ein kleiner Unterschied an, ist es aber nicht! Zum Beispiel, Advertising and marketing-Combine Modelle werden seit Jahren zur Bewertung und Zuordnung von Marketingausgaben verwendet. Die Fähigkeit, tatsächlich Mehrwert zu schaffen Advertising and marketing-Combine Die Modelle erlebten einen rasanten Aufschwung, als sie hinter Enterprise-Advertising and marketing-Anwendungen entwickelt wurden, die es Benutzern ermöglichten, Einstellungen zu optimieren, die damit verbundenen Auswirkungen zu simulieren und dann eine Aktion zur Operationalisierung einzureichen.
Während Advertising and marketing-Combine Während Modelle den Motor liefern, der den Prozess antreibt, ist die Anwendung wie ein Lenkrad und ein Gaspedal, die es einem Benutzer ermöglichen, die zugrunde liegenden Modelle effektiv zu nutzen. LLMs selbst sind bei der Erstellung noch nicht benutzerbereit, da es sich tatsächlich um eine große Anzahl von Gewichtungen handelt. Wenn wir sagen, dass wir „ChatGPT verwenden“ oder etwas anderes LLM Was wir heute wirklich tun, ist die Interaktion mit einer Anwendung, die auf der zugrunde liegenden Anwendung läuft LLM Modell. Diese Anwendung dient dazu, das Modell in die Praxis umsetzen zu können.
Lassen Sie uns nun die letzten beiden Themen miteinander verknüpfen, um auf den Punkt zu kommen …
LLMs auf die nächste Stufe bringen
Die Zukunft von LLMs liegt meiner Meinung nach in der Zusammenführung der beiden vorherigen Konzepte. Um LLMs wirklich nützlich, präzise und einfach zu interagieren zu machen, müssen darauf anspruchsvolle Anwendungsschichten aufgebaut werden, die einen Ensemble-Ansatz nutzen, um Benutzern die gewünschten Antworten zu liefern. Was bedeutet das? Lassen Sie uns weiter tiefer eintauchen.
Wenn ich eine traditionelle Suchmaschine frage und eine LLM Wenn ich dieselbe Frage modelliere, kann es sein, dass ich je nach verschiedenen Faktoren sehr ähnliche oder sehr unterschiedliche Antworten bekomme. Allerdings enthält jede Antwort wahrscheinlich etwas Wahres und Nützliches, das herausgefunden werden kann. Nächste Ebene LLM Anwendungen werden Methoden entwickeln, um Ergebnisse aus einem zu erhalten LLM, einer herkömmlichen Suchmaschine und möglicherweise anderen Quellen, und verwenden Sie diese Ergebnisse dann, um sich gegenseitig zu vergleichen, gegenüberzustellen und auf Fakten zu überprüfen. Die endgültige Ausgabe, die an den Benutzer zurückgegeben wird, ist dann eine „beste“ Kombination der verschiedenen Ausgaben zusammen mit einer Bewertung, wie zuverlässig die Antwort erachtet wird.
Mit anderen Worten, wenn ein LLM und eine Suchmaschine quick die gleiche Antwort liefert, besteht eine gute Probability, dass sie größtenteils korrekt ist. Wenn die Antworten stark voneinander abweichen und diese Unterschiede nicht erklärt werden können, liegt möglicherweise ein Downside mit Halluzinationen vor. Daher können wir gewarnt werden, dass das Vertrauen gering ist und wir zusätzliche manuelle Überprüfungen der Informationen durchführen sollten.
Hinzufügen zusätzlicher Motoren zum Combine
Mein geplanter Ensemble-Ansatz wird auch eine Reihe spezialisierter Engines nutzen. Zum Beispiel, Wolfram|Alpha verfügt über ein Plug-in Dadurch kann ChatGPT Rechenaufgaben an ChatGPT weitergeben. Dies ist wichtig, da ChatGPT bei Berechnungen notorisch schlecht ist, da es keine Berechnungs-Engine ist. Durch die Übergabe von Rechenaufgaben an eine zur Berechnung bestimmte Engine wird die endgültige Antwort generiert LLM Die Anwendung wird der Antwort überlegen sein, die ohne Verwendung einer solchen Engine generiert wird.
Rechtzeitig, LLM Anwendungen werden sich dahingehend weiterentwickeln, dass sie eine breite Palette spezialisierter Engines verwenden, die für die Verarbeitung bestimmter Arten von Berechnungen verwendet werden. Möglicherweise gibt es Engines, die Fragen im Zusammenhang mit bestimmten wissenschaftlichen Disziplinen wie Genetik oder Chemie bearbeiten und speziell für die Berechnungen und Inhalte dieser Disziplinen geschult sind. Der rote Faden werden die textbasierten Eingabeaufforderungen sein, die wir der Anwendung zuführen, die sie dann analysieren und an die verschiedenen Engines weitergeben kann, bevor sie alle erhaltenen Antworten zusammenfasst, daraus eine gemischte Antwort synthetisiert und sie an uns zurücksendet.
Es ist wichtig zu beachten, dass der Prozess des Zusammenfügens der Gesamtheit der Antworten selbst ein großes Downside darstellt, das wahrscheinlich noch komplexer ist als alle zugrunde liegenden Modelle. Es wird additionally einige Zeit dauern, bis das Potenzial des Ansatzes erkannt wird.
Mit LLM Ensemble Functions gewinnen
Im Laufe der Zeit ist es leicht vorstellbar, dass ein LLM Anwendung, die Eingabeaufforderungen an mehrere Basiswerte weiterleitet LLM Modelle (ein Ensemble von LLM Modelle) sowie eine Reihe spezialisierter Engines für bestimmte Arten von Inhalten (ein Ensemble spezialisierter Engines), bevor alle Ergebnisse zu einer zusammenhängenden Antwort konsolidiert werden (ein Ensemble von Ensembles, wenn Sie so wollen!). Mit anderen Worten: ein Erfolg LLM Die Bewerbung geht weit über das bloße Bestehen einer Prüfung hinaus immediate zu einem Basiswert LLM Modell zur Bearbeitung.
Ich glaube, dass LLMs selbst bereits schnell zur Massenware werden. Das Geld und die Zukunft liegen nicht darin, etwas Besseres zu bieten LLM an diesem Punkt (obwohl es weiterhin Verbesserungen geben wird) ebenso wie bei der Bereitstellung besserer Anwendungen. Diese Anwendungen nutzen einen Ensemble-Ansatz, um verschiedene verfügbare LLMs neben anderen spezialisierten Modellen und Engines zu nutzen, die bestimmte Arten von Berechnungen und Inhalten verarbeiten. Das Ergebnis wird eine Reihe leistungsstarker Lösungen sein, die helfen KI sein Potenzial erreichen.
Ursprünglich gepostet im Analytik Issues-E-newsletter auf LinkedIn
Die Publish Große Sprachmodelle auf die nächste Stufe bringen erschien zuerst auf Datenfloq.
