Willkommen zurück, liebe Weisheitssucher! Wie Sie vielleicht bereits wissen, werden Sprachmodelle (LLMs) aufgrund der umfangreichen Forschungs- und Entwicklungskapazitäten von Organisationen immer leistungsfähiger. In der Anfangsphase battle ChatGPT (ChatGPT 3) von OpenAI ein Open-Supply-Modell. Mit den nachfolgenden Veröffentlichungen von ChatGPT 3.5 und ChatGPT 4 beschloss OpenAI jedoch, seinen Quellcode zu schließen.
Dennoch konzentrieren sich viele neue Organisationen und Institute mittlerweile auf die Entwicklung von Open-Supply-LLMs. Folglich verlagert sich die Branche hin dazu, der Entwicklung von Open-Supply-LLMs im Vergleich zu den früheren Stadien der KI-Generierung Vorrang einzuräumen.
Lassen Sie uns im heutigen Thema über ein sehr interessantes Open-Supply-LLM namens Falcon 40B sprechen.
Der Falcon 40B LLM ist jetzt einer der leistungsstärksten LLMs in der Welt Huggingface, offene LLM-Bestenliste. Das Modell wurde vom TII (Expertise Innovation Institute) entwickelt und Anfang dieses Jahres haben sie ihr Modell als angekündigt „Frei von Lizenzgebühren für kommerzielle und wissenschaftliche Nutzung, als Reaktion auf die weltweite Nachfrage nach integrativem Zugang zu KI.“
Der Falcon LLM
Das Falcon LLM verfügt über 40 Milliarden Parameter und wurde auf einem riesigen Datensatz von 1 Billion Token trainiert. Der Trainingsprozess begann im Dezember 2022, dauerte über zwei Monate und nutzte 384 GPUs auf AWS. Die vor dem Coaching gesammelten Daten wurden aus öffentlichen Net-Crawlings gesammelt und der maschinengenerierte Textual content und Inhalte für Erwachsene herausgefiltert. Außerdem wurden Deduplizierungstechniken verwendet, um den Pre-Coaching-Datensatz zu bereinigen. Insgesamt trainierte Falcon auf einem 5-Billionen-Token-Datensatz. Die Fähigkeiten der Falcons wurden durch das Hinzufügen sorgfältig ausgewählter Quellen zum Vortrainingsdatensatz verbessert, darunter Forschungspublikationen und Social-Media-Chats.
- Falcon 40B kann für eine Vielzahl von Aufgaben eingesetzt werden, darunter:
- Verständnis natürlicher Sprache
- Erzeugung natürlicher Sprache
- Maschinenübersetzung
- Beantwortung der Frage
- Textzusammenfassung
Das TII hat auch die Lehrversionen des LLM zur Verfügung gestellt, zusammen mit den Modellen, die anhand von Lehr- und Konversationsdaten verfeinert wurden.
Falcon hat seinen jüngeren Bruder namens Falcon 7B, der ebenfalls über ein dem Falcon 40B ähnliches Modell verfügt.
Bard vs. Falcon 40B vs. ChatGPT3.5
Hier sind die wichtigsten Unterschiede zwischen Bard, Falcon 40B und ChatGPT 3.5.
Abschluss
Sprachmodelle (LLMs) werden aufgrund umfangreicher Forschungs- und Entwicklungskapazitäten immer leistungsfähiger. Der Open-Supply-LLM Falcon 40B ist einer der leistungsstärksten LLMs in der Huggingface Open LLM-Rangliste. Falcon 40B verfügt über 40 Milliarden Parameter und wurde auf einem riesigen Datensatz von 1 Billion Token trainiert und kann für Aufgaben wie das Verstehen natürlicher Sprache, die Erzeugung natürlicher Sprache, maschinelle Übersetzung, Beantwortung von Fragen und Textzusammenfassung verwendet werden.
