Große Sprachmodelle wie GPT-4 und PaLM 2 haben sich zu einem entscheidenden Bestandteil moderner KI-Systeme entwickelt, ihr Verständnis der Verarbeitung natürlicher Sprache revolutioniert und verschiedene Sektoren verändert. Trotz großer Fortschritte beim Verständnis und der Erstellung kontextbezogener Antworten weisen LLMs immer noch gewisse Nachteile auf. Die Tatsache, dass Multi-Flip-Interaktionen mit Sprachmodellen viele Token erzeugen, die leicht über dem Eingabe-Token-Restrict von LLMs liegen, ist eines der Hauptprobleme. GPT-4 ist beispielsweise auf 32.000 Token begrenzt. Die LLMs müssen während der Begegnung Kontextinformationen behalten und auf der Grundlage der gesammelten Informationen Antworten erstellen.
Die einfache Verkettung aller Kontextinformationen und deren Unterbringung in LLMs kann jedoch leicht die Verarbeitungskapazitäten von LLMs überschreiten und Fehler anhäufen, was dazu führt, dass das Modell den Überblick über die Konversation verliert und weniger genaue Antworten liefert. Einige neuronale Gedächtnismechanismen wurden untersucht, um das Drawback der begrenzten Token-Eingabe von LLMs zu überwinden. Die Speicherkomponenten dienen als Speicher- und Abrufsystem für relevante Informationen aus früheren Interaktionen. Die Erweiterung von LLMs mit herkömmlichem neuronalem Gedächtnis führt jedoch normalerweise zu Schwierigkeiten beim Speichern, Abrufen und Bearbeiten historischer Informationen im Gedächtnis, insbesondere bei Aufgaben, die komplexe Multi-Hop-Schlussfolgerungen erfordern.
Zwei Hauptgründe sind, dass sie historische Daten nicht strukturiert speichern und nicht symbolisch manipulieren, da sie alle auf Vektorähnlichkeitsberechnungen basieren, die fehlerhaft sein und eine Anhäufung von Fehlern verursachen können. Forscher der Tsinghua-Universität, der Beijing Academy of Synthetic Intelligence und der Zhejiang-Universität plädieren dafür, Datenbanken als innovatives symbolisches Gedächtnis für LLMs zu nutzen, um die oben genannten Probleme zu lösen. ChatDB ist der Title des gesamten Frameworks. Abbildung 1 unten zeigt die beiden Teile, aus denen ChatDB besteht: ein LLM-Controller und sein Speicher. Die Lese- und Schreibvorgänge im Speicher werden vom LLM-Controller gesteuert, bei dem es sich um einen beliebigen weit verbreiteten LLM handeln kann.
Das Gedächtnis von LLMs, das symbolisch, nicht symbolisch oder eine Mischung aus beidem sein kann, ist dafür verantwortlich, die Vergangenheit im Auge zu behalten und Daten nach Bedarf zu verbreiten, damit das LLM auf menschliche Eingaben reagieren kann. ChatDB legt Wert darauf, Datenbanken als symbolisches Gedächtnis zu nutzen und die organisierte Speicherung historischer Daten durch die Ausführung bildlicher Sprache, nämlich SQL-Befehle, zu ermöglichen. Das LLM hat diese SQL-Anweisungen erstellt. Eine Datenbank kann als symbolischer Speicher in Situationen verwendet werden, in denen historische Daten genau erfasst, aktualisiert, abgefragt, gelöscht und analysiert werden müssen. Beispielsweise muss ein Filialleiter die täglichen Verkaufszahlen im Auge behalten. Daher ist die Verwendung von Matrizen oder Klartext als Speicher ungeeignet.
Allerdings ist die Verwendung einer Datenbank als externer symbolischer Speicher durchaus sinnvoll. Die Datenbank verwendet SQL-Befehle, um präzise Aktionen wie das Einfügen, Löschen, Aktualisieren und Auswählen von Daten auszuführen. Daher verwendeten sie Datenbanken als externen symbolischen Speicher, der die Korrektheit und Effizienz bei der Verwaltung und Bearbeitung historischer Daten garantiert und die Leistung von LLMs in Situationen, die eine sehr genaue und langwierige Datenerfassung und -verarbeitung erfordern, erheblich verbessert. Im ChatDB-Framework schlagen sie die Chain-of-Reminiscence-Strategie vor, um den externen symbolischen Speicher geschickter zu nutzen und so die Denkfähigkeit von LLMs weiter zu steigern.
Benutzereingaben werden über die Chain-of-Reminiscence-Technik in eine Folge von Zwischenspeicherbetriebsstufen umgewandelt, die die gewünschten Ausgaben erzeugen. Ein komplexes Drawback wird mithilfe der Chain-of-Reminiscence-Technik in mehrere Speicheroperationsstufen unterteilt, wodurch die Problemlösungsschwierigkeit erheblich reduziert wird. Jeder Zwischenschritt in ChatDB erfordert eine oder mehrere SQL-Anweisungen. Der Bereich der LLMs profitiert stark von ihrer ChatDB. Erstens schlagen sie vor, Datenbanken als externen symbolischen Speicher zu LLMs hinzuzufügen. Dies würde eine organisierte Archivierung historischer Daten ermöglichen und symbolische und komplizierte Datenmanipulationen mithilfe von SQL-Anweisungen ermöglichen.
Zweitens können sie den Speicher effektiv manipulieren, indem sie Benutzereingaben mithilfe ihrer Chain-of-Reminiscence-Technik in mehrstufige Zwischenspeicheroperationen umwandeln. Dies verbessert die Effizienz von ChatDB und ermöglicht es ihm, komplizierte Datenbanktransaktionen mit mehreren Tabellen präziser und stabiler zu verwalten. Schließlich zeigen ihre Untersuchungen, dass das Hinzufügen von symbolischem Speicher zu LLMs die Fähigkeiten zum Multi-Hop-Denken verbessert und die Fehleranhäufung verringert, sodass ChatDB bei einem synthetischen Datensatz eine bessere Leistung erbringen kann als ChatGPT.
Besuche die Papier Und Projekt. Vergessen Sie nicht, mitzumachen unser 23k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Aneesh Tickoo ist Beratungspraktikantin bei MarktechPost. Derzeit absolviert er seinen Bachelor-Abschluss in Datenwissenschaft und künstlicher Intelligenz am Indian Institute of Expertise (IIT) in Bhilai. Die meiste Zeit verbringt er mit der Arbeit an Projekten, die darauf abzielen, die Leistungsfähigkeit des maschinellen Lernens zu nutzen. Sein Forschungsinteresse gilt der Bildverarbeitung und er ist leidenschaftlich daran interessiert, Lösungen dafür zu entwickeln. Er liebt es, mit Menschen in Kontakt zu treten und an interessanten Projekten mitzuarbeiten.
