Nach dem großen Erfolg von MosaikML-7B hat MosaikML erneut die zuvor gesetzten Maßstäbe übertroffen. In der neuen bahnbrechenden Model hat MosaikML MosaikML-30B auf den Markt gebracht.
MosaikML ist ein sehr präziser und leistungsstarker vortrainierter Transformator. MosaikML behauptet, dass MosaikML-30B sogar besser als ChatGPT3 ist.
Vor der Einführung von MosaikML-30B hatte MosaikML-7B die KI-Welt im Sturm erobert. MPT-7B Base-Instruct, Base-Chat und Story Writing waren große Erfolge. Das Unternehmen gibt an, dass diese Modelle weltweit über drei Millionen Mal heruntergeladen wurden. Einer der Hauptgründe, auf eine noch bessere Engine zu drängen, wie das von Mosaic ML mit dem MPT-30B der Fall ist, battle die Begeisterung der Group für die Modelle, die sie zuvor veröffentlicht hatten.
Es battle unglaublich, wie die Group diese MPT-Engines angepasst und genutzt hat, um etwas zu entwickeln, das besser abgestimmt ist und konkrete Anwendungsfälle bedient. Einige der interessanten Fälle sind LLaVA-MPT. LLaVa-MPT erweitert das vortrainierte MPT-7B um Sehverständnis.
Ebenso optimiert GGML MPT-Engines, um besser auf Apple Silicon und CPUs zu laufen. GPT4ALL ist ein weiterer Anwendungsfall, mit dem Sie eine GPT4-ähnliche Chat-Possibility mit MPT als Foundation-Engine ausführen können.
Wenn wir genau hinsehen, ist einer der Hauptgründe dafür, dass MosaikML so besser ist und scheinbar einen Vorteil hat, gleichzeitig aber auch eine harte Konkurrenz und eine bessere Different zu größeren Unternehmen darstellt, die Liste der von ihnen angebotenen Wettbewerbsfunktionen und die Anpassungsfähigkeit ihrer Modelle an verschiedene Anwendungsfälle mit vergleichsweise einfacher Integration.
In dieser Pressemitteilung behauptete Mosaic ML außerdem, dass ihr MPT-30B das bestehende ChatGPT3 mit etwa einem Drittel der von ChatGPT verwendeten Parameter übertrifft, was es im Vergleich zu bestehenden generativen Lösungen zu einem extrem leichten Modell macht.
Es ist besser als der bestehende MPT-7B von MosaicML, und dieser MPT-30B ist für die kommerzielle Nutzung unter einer kommerziellen Lizenz leicht verfügbar.
Darüber hinaus verfügt MPT-30B über zwei vortrainierte Modelle, MPT-30B-Instruct und MPT-30B-Chat, die durch eine einzige Anweisung beeinflusst werden können und durchaus in der Lage sind, einem Multiturn-Gespräch über einen längeren Zeitraum zu folgen Dauer.
Die Gründe dafür, dass es besser ist, bleiben bestehen. MosaicML hat den MPT-30B nach einem Backside-up-Ansatz zu einem besseren und robusteren Modell entwickelt, um sicherzustellen, dass jedes bewegliche Teil eine bessere und effizientere Leistung erbringt. MPT-30B wurde mit einem 8k-Token-Kontextfenster trainiert. Es unterstützt längere Kontexte über ALiBi.
Es hat seine Trainings- und Inferenzleistung mithilfe von FlashAttention verbessert. MPT-30B ist außerdem mit stärkeren Codierungsfähigkeiten ausgestattet, was auf die Vielfalt der erfassten Daten zurückzuführen ist. Dieses Modell wurde auf Nvidias H100 auf ein 8K-Kontextfenster erweitert. Das Unternehmen gibt an, dass dies nach seinem besten Wissen das erste LLM-Modell ist, das auf H100s trainiert wurde und den Kunden problemlos zur Verfügung steht.
Darüber hinaus hat MosaicML das Modell leichtgewichtig gehalten, was aufstrebenden Unternehmen dabei hilft, die Betriebskosten niedrig zu halten.
Auch die Größe des MPT-30B wurde speziell ausgewählt, um die Bereitstellung auf einer einzelnen GPU zu vereinfachen. 1xA100-80GB mit 16-Bit-Präzision oder 1xA100-40GB mit 8-Bit-Präzision können das System betreiben. Andere vergleichbare LLMs wie Falcon-40B haben eine größere Parameteranzahl und können (heute) nicht auf einer einzelnen Rechenzentrums-GPU bereitgestellt werden; Dies erfordert mehr als zwei GPUs, was die Mindestkosten für das Inferenzsystem erhöht.
Besuche die Referenzartikel Und HuggingFace Repo-Link. Vergessen Sie nicht, mitzumachen unser 25k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
