Die Kluft zwischen kommerziellen und nichtkommerziellen LLMs wird immer kleiner. Vielen Dank für die fantastische Arbeit von OpenLLaMA Projekt gibt es jetzt ein hochwertiges, kommerziell nutzbares Foundation-LLM mit 7B-Parametern, das mit hochmodernen Modellen ähnlicher Größe bei akademischen Benchmarks mithalten kann (einschließlich des ursprünglichen LLaMA-7B von Meta).
Wir bauen auf dieser Arbeit auf, indem wir die Abstimmung dieses Modells mit dem anleiten VMware/Open-instruct-v1-Datensatz (kombiniert oasst1, dolly und hh-rlhf) Erweitern des mosaikml/dolly_hhrlhf, das 63.000 von Menschen generierte Eingabeaufforderungs-Vervollständigungspaare enthält. Das Ergebnis ist ein kommerziell realisierbares LLM mit Anweisungsbefolgung: „open-llama-7b-open-instruct”, das Anweisungen auf die gleiche Weise akzeptieren kann, wie Sie mit Modellen wie ChatGPT, Vicuna oder MPT interagiert haben.
Intern haben wir beobachtet, dass dieses auf Anweisungen abgestimmte OpenLLaMA-Modell bei unseren internen Benchmarks mit nichtkommerziellen Open-Supply-Modellen ähnlicher Größe mithalten kann, und planen in Kürze weitere Benchmarks unter Verwendung öffentlicher Datensätze. Während dieses Modell auf der kleineren Seite der LLMs liegt, beschleunigt sich der OSS-Fortschritt und dies ist ein weiterer Schritt vorwärts bei der Demokratisierung von KI, indem die Machbarkeit von Open-Supply-Modellen für die kommerzielle Nutzung demonstriert wird, ohne dass große Kompromisse bei der Qualität eingegangen werden müssen.
Unsere unmittelbaren nächsten Schritte bestehen darin, das Open-LLaMA-Modell zu aktualisieren, um den Konversationsmodus zur Handhabung von Multi-Flip-Interaktionen zu unterstützen und zusätzliche Schulungen durchzuführen, um das Basismodell zu verbessern. Gleichzeitig sind wir gespannt auf die bevorstehende Veröffentlichung von OpenLLaMA 13B und die damit verbundenen Verbesserungen im Vergleich zum aktuellen 7B-Modell.
Schauen Sie bald wieder vorbei, wenn wir der Forschungsgemeinschaft diese neuen Modelle und den Feinabstimmungscode zur weiteren Entwicklung zur Verfügung stellen. Wir sind gespannt, was die Zukunft für OSS LLMs und ihre Anwendungen in verschiedenen Bereichen bereithält.
Wissen
Ich möchte Ihnen meinen Dank aussprechen Steve Liang für deine Unterstützung bei der Zusammenstellung dieses Artikels!
Hinweis: Wir haben verwendet VMware/Open-LLama-7b-Open-Instruct um die Entwurfsvorlage für diesen Artikel zu generieren und sie dann zu ändern.
