Wir haben einige aufregende Neuigkeiten zu verkünden!
Wie Sie wahrscheinlich wissen, unterstützt PeriFlow von FriendliAI verschiedene LLMs, darunter GPT und T5. Darüber hinaus haben wir die Unterstützung für drei weitere, sehr gefragte Open-Supply-Modelle hinzugefügt: MPT [1]LLaMA [2]und Dolly [3].
MPT
MosaicML bietet Instruments, die den Prozess des Trainierens von Modellen für maschinelles Lernen rationalisieren, und hat kürzlich Open-Supply-LLMs eingeführt. Da Databricks den Wert des Unternehmens erkannte, gab es kürzlich die Übernahme von MosaicML für 1,3 Milliarden US-Greenback bekannt [4].
MosaikMLs MPT-7B [5] und MPT-30B [1] wurden mit modernsten Techniken wie Alibi und FlashAttention geschult. MPT-30B unterstützt insbesondere eine Lengthy-Context-Inferenz durch die Nutzung eines 8K-Kontextfensters während des Trainings. Darüber hinaus ist es das erste öffentliche Modell, das auf einem NVIDIA H100-Cluster trainiert wurde.
Lama
LLaMA ist eine Sammlung von Meta-Grundmodellen und bietet verschiedene Parametergrößen: 7B, 13B, 33B und 65B. Bemerkenswert ist, dass das Modell LLaMA-13B das Modell GPT-3 175B bei bestimmten Aufgaben übertrifft [2]obwohl die Parameter um eine Größenordnung kleiner sind.
Der wahre Wert von LLaMA liegt in seinem Beitrag zur Forschungsgemeinschaft – der offenen Weitergabe der Trainingsmethodik, einschließlich der Modellarchitektur und des Codes. Diese Transparenz fördert eine kollaborative Umgebung, in der Forscher entweder bestehende LLaMA-Modelle verfeinern oder ihre Modelle von Grund auf erstellen können, indem sie die Erkenntnisse von LLaMA übernehmen. Zum Beispiel Alpaka [6]Vicuña [7]Gorilla [8]und Koala [9] sind fein abgestimmte Derivate der LLaMA-Modelle, während RedPajama [10] ist eine vollständig Open-Supply-Reproduktion von LLaMA.
Dolly
Dolly ist ein von Datatbricks entwickeltes Open-Supply-Sprachmodell, das auf dem Pythia-Modell von EleutherAI basiert [11]. Zusätzlich zum Modellprüfpunkt führte Databricks „databricks-dolly-15k“ ein. [12], ein neuer hochwertiger, von Menschen erstellter Befehlsdatensatz, der eine entscheidende Rolle bei der Feinabstimmung von Dolly spielte. Dank des neuen Datensatzes ist Dolly das erste Open-Supply-Sprachmodell zur Befolgung von Anweisungen, das sowohl für Forschungs- als auch für kommerzielle Anwendungen geeignet ist.
Zusammenfassend lässt sich sagen, dass PeriFlow die meisten LLMs unterstützt – und jetzt auch dienen kann MPT, LLaMAUnd Dolly. Darüber hinaus unterstützt PeriFlow verschiedene Datentypen, darunter fp32, fp16, bf16 und int8 (für int8 siehe unsere aktuelle Model). Blogeintrag!), und Tensor-/Pipeline-Parallelitäten für verschiedene Bereitstellungsumgebungen. Genießen Sie die hohe Leistung von PeriFlow für die Betreuung von LLM-Modellen wie MPT, LLaMA und Dolly!
Weitere Informationen zu FriendliAI finden Sie unter Verknüpfung.
Informationen zu PeriFlow finden Sie unter Verknüpfung.
[1] https://www.mosaicml.com/blog/mpt-30b
[2] Touvron, Hugo et al. „Lama: Offene und effiziente Grundsprachmodelle.“ arXiv-Vorabdruck arXiv:2302.13971 (2023).
[4] https://www.mosaicml.com/blog/mosaicml-databricks-generative-ai-for-all
[5] https://www.mosaicml.com/blog/mpt-7b
[6] https://crfm.stanford.edu/2023/03/13/alpaca.html
[7] https://lmsys.org/blog/2023-03-30-vicuna/
[8] https://gorilla.cs.berkeley.edu/
[9] https://bair.berkeley.edu/blog/2023/04/03/koala/
[10] https://www.together.xyz/blog/redpajama
[12] https://huggingface.co/datasets/databricks/databricks-dolly-15k
