Das GPT-Modell, die Transformatorarchitektur hinter dem bekannten, von OpenAI entwickelten Chatbot namens ChatGPT, arbeitet anhand einiger weniger Beispiele am Konzept von Lernaufgaben. Dieser Ansatz, der als In-Context-Studying bezeichnet wird, erspart dem Modell die Feinabstimmung mit Tausenden von Eingabetexten und ermöglicht ihm, zu lernen, bei verschiedenen Aufgaben gute Leistungen zu erbringen, indem nur aufgabenspezifische Beispiele als Eingabe verwendet werden. Die Feinabstimmung der Modelle für bestimmte Aufgaben kann sehr teuer sein, da GPT ein „großes“ Sprachmodell mit Milliarden von Parametern ist und alle Modellparameter während der Feinabstimmung aktualisiert werden müssen, was sich als vergleichsweise kostspielig erweist.
In-Context-Lernen wird effektiv für die Codegenerierung, die Beantwortung von Fragen, die maschinelle Übersetzung usw. eingesetzt, es mangelt jedoch immer noch daran und es stößt bei der Verwendung für grafische maschinelle Lernaufgaben auf Herausforderungen. Zu den Aufgaben des maschinellen Lernens von Graph gehört die Identifizierung von Verbreitern, die Halbwahrheiten oder falsche Nachrichten in sozialen Netzwerken und Produktempfehlungen auf E-Commerce-Web sites verbreiten. Beim kontextbezogenen Lernen bestehen Einschränkungen bei der Formulierung und Modellierung dieser Aufgaben über Diagramme in einer einheitlichen Aufgabendarstellung, die es dem Modell ermöglicht, eine Vielzahl von Aufgaben ohne Umschulung oder Parameteroptimierung zu bewältigen.
Kürzlich stellte ein Forscherteam in seiner Forschungsarbeit PRODIGY vor, ein Pre-Coaching-Framework, um kontextbezogenes Lernen über Diagramme zu ermöglichen. PRODIGY (Pretraining Over Numerous In-Context Graph Programs) formuliert In-Context-Lernen über Graphen mithilfe der prompten Graphdarstellung. Das Immediate-Diagramm dient als kontextbezogene Diagrammaufgabendarstellung, die die Modellierung von Knoten, Kanten und maschinellen Lernaufgaben auf Diagrammebene integriert. Das Immediate-Netzwerk verbindet die Eingabeknoten oder -kanten mit zusätzlichen Label-Knoten und kontextualisiert die Immediate-Beispiele und Anfragen. Diese vernetzte Darstellung ermöglicht die Spezifizierung verschiedener Aufgaben des maschinellen Lernens von Diagrammen für dasselbe Modell, unabhängig von der Größe des Diagramms.
Das von Forschern der Stanford College und der Universität Ljubljana vorgeschlagene Group hat eine graphische neuronale Netzwerkarchitektur entworfen, die speziell auf die Verarbeitung des Immediate-Graphen zugeschnitten ist und graphstrukturierte Daten effektiv modelliert und daraus lernt. Das vorgeschlagene Design nutzt GNNs, um Darstellungen der Knoten und Kanten des Immediate-Graphen zu lehren. Außerdem wurde eine Familie von kontextbezogenen Vortrainingszielen eingeführt, um den Lernprozess zu leiten und Überwachungssignale bereitzustellen, die es dem Modell ermöglichen, relevante Diagrammmuster zu erfassen und über verschiedene Aufgaben hinweg zu verallgemeinern.
Um die Leistung und Effektivität von PRODIGY zu bewerten, haben die Autoren Experimente zu Aufgaben mit Zitiernetzwerken und Wissensgraphen durchgeführt. Zitationsnetzwerke stellen Beziehungen zwischen wissenschaftlichen Arbeiten dar, während Wissensgraphen strukturierte Informationen über verschiedene Bereiche erfassen. Das vorab trainierte Modell wurde für diese Aufgaben mithilfe von kontextbezogenem Lernen getestet und die Ergebnisse werden mit kontrastiven Basislinien vor dem Coaching mit fest codierter Anpassung und Normal-Feinabstimmung mit begrenzten Daten verglichen. PRODIGY übertraf die kontrastiven Pre-Coaching-Basislinien mit hartcodierter Anpassung hinsichtlich der Genauigkeit um durchschnittlich 18 %. Bei der Anwendung von kontextbezogenem Lernen wurde eine durchschnittliche Verbesserung von 33 % gegenüber der Normal-Feinabstimmung mit begrenzten Daten erzielt.
Zusammenfassend lässt sich sagen, dass PRODIGY in graphbasierten Szenarien wie dem kontextbezogenen Lernen in Graph-Machine-Studying-Anwendungen vielversprechend zu sein scheint. Es kann sogar nachgelagerte Klassifizierungsaufgaben für bisher nicht sichtbare Diagramme durchführen, was es noch effektiver und vorteilhafter macht.
Besuche die Papier. Vergessen Sie nicht, mitzumachen unser 23k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Tanya Malhotra studiert im letzten Jahr an der College of Petroleum & Vitality Research in Dehradun und studiert BTech in Informatik mit Spezialisierung auf künstliche Intelligenz und maschinelles Lernen.
Sie ist eine Knowledge-Science-Enthusiastin mit gutem analytischem und kritischem Denken sowie einem großen Interesse daran, sich neue Fähigkeiten anzueignen, Gruppen zu leiten und die Arbeit organisiert zu verwalten.
