Die Popularität und Verwendung von Massive Language Fashions (LLMs) boomt ständig. Mit dem enormen Erfolg im Bereich der generativen künstlichen Intelligenz führen diese Modelle zu massiven wirtschaftlichen und gesellschaftlichen Veränderungen. Eines der besten Beispiele für die trendigen LLMs ist der von OpenAI entwickelte Chatbot namens ChatGPT, der Menschen imitiert und seit seiner Veröffentlichung Millionen von Nutzern hat. Basierend auf der Verarbeitung natürlicher Sprache und dem Verständnis natürlicher Sprache beantwortet es Fragen, generiert einzigartige und kreative Inhalte, fasst lange Texte zusammen, vervollständigt Codes und E-Mails und so weiter.
LLMs mit einer großen Anzahl von Parametern erfordern viel Rechenleistung, um den Aufwand durch den Einsatz von Methoden wie Modellquantisierung und Netzwerkbereinigung zu reduzieren. Während es sich bei der Modellquantisierung um einen Prozess handelt, der die Darstellung von Parametern in LLMs auf Bitebene reduziert, zielt Community Pruning andererseits darauf ab, die Größe neuronaler Netzwerke zu reduzieren, indem bestimmte Gewichtungen entfernt und dadurch auf Null gesetzt werden. Der fehlende Fokus auf das Bereinigen von LLMs ist hauptsächlich auf die hohen Rechenressourcen zurückzuführen, die in aktuellen Ansätzen für Umschulung, Coaching von Grund auf oder iterative Prozesse erforderlich sind.
Um diese Einschränkungen zu überwinden, haben Forscher der Carnegie Mellon College, von FAIR, Meta AI und dem Bosch Heart for AI eine Beschneidungsmethode namens Wanda (Beschneiden durch Gewichte und Aktivierungen) vorgeschlagen. Inspiriert durch die Forschung, dass LLMs aufkommende Merkmale großen Ausmaßes aufweisen, induziert Wanda eine Sparsität in vortrainierten LLMs, ohne dass eine Umschulung oder Gewichtsaktualisierungen erforderlich sind. Die Gewichte der kleinsten Größenordnung in Wanda werden basierend darauf beschnitten, wie sie sich mit den entsprechenden Eingabeaktivierungen multiplizieren, und die Gewichte werden für jede Modellausgabe unabhängig bewertet, da diese Bereinigung auf einer Ausgabe-für-Ausgabe-Foundation erfolgt.
Wanda funktioniert intestine, ohne dass eine Umschulung oder eine Aktualisierung der Gewichte erforderlich ist, und das reduzierte LLM wurde sofort auf die Inferenz angewendet. Die Studie ergab, dass ein winziger Teil der verborgenen Zustandsmerkmale von LLMs ungewöhnlich große Größen aufweist, was ein besonderes Merkmal dieser Modelle ist. Aufbauend auf dieser Erkenntnis entdeckte das Staff, dass das Hinzufügen von Eingabeaktivierungen zur herkömmlichen Gewichtsgrößenbeschneidungsmetrik die Bewertung der Gewichtsbedeutung überraschend genau macht.
Die erfolgreichste Open-Supply-LLM-Familie, LLaMA, wurde vom Staff zur empirischen Bewertung von Wanda verwendet. Die Ergebnisse zeigten, dass Wanda effiziente, spärliche Netzwerke direkt aus vorab trainierten LLMs erfolgreich identifizieren konnte, ohne dass ein erneutes Coaching oder Gewichtsaktualisierungen erforderlich waren. Es übertraf die Größenbereinigung um ein Vielfaches, erforderte jedoch geringere Rechenkosten und erreichte oder übertraf auch die Leistung von SparseGPT, einer kürzlich vorgeschlagenen LLM-Bereinigungsmethode, die bei Modellen der massiven GPT-Familie genau funktioniert.
Zusammenfassend scheint Wanda ein vielversprechender Ansatz zur Bewältigung der Herausforderungen beim Beschneiden von LLMs zu sein und bietet eine Grundlage für zukünftige Forschung in diesem Bereich, indem es weitere Untersuchungen zum Verständnis der Sparsität in LLMs anregt. Durch die Verbesserung der Effizienz und Zugänglichkeit von LLMs durch Beschneidungstechniken können Fortschritte im Bereich der Verarbeitung natürlicher Sprache fortgesetzt werden und diese leistungsstarken Modelle können praktischer und umfassender anwendbar werden.
Besuche die Papier Und Github Verknüpfung. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachen unser 25k+ ML SubReddit, Discord-KanalUnd E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Tanya Malhotra studiert im letzten Jahr an der College of Petroleum & Vitality Research in Dehradun und studiert BTech in Informatik mit Spezialisierung auf künstliche Intelligenz und maschinelles Lernen.
Sie ist eine Knowledge-Science-Enthusiastin mit gutem analytischem und kritischem Denken sowie einem großen Interesse daran, sich neue Fähigkeiten anzueignen, Gruppen zu leiten und die Arbeit organisiert zu verwalten.
