Wir freuen uns, den Begin von bekannt zu geben Modelz Beta, eine serverlose GPU-Inferenzplattform. Unser Staff hat hart daran gearbeitet, eine Plattform zu entwickeln, die den Zugriff auf maschinelles Lernen demokratisiert und es einfacher denn je macht, Modelle für eine Vielzahl von Anwendungsfällen zu erstellen und bereitzustellen.
Modelz ist eine vollständig verwaltete Plattform, die Benutzern eine einfache API für die Bereitstellung ihrer Modelle für maschinelles Lernen bietet. Die Plattform kümmert sich um die gesamte zugrunde liegende Infrastruktur, einschließlich Server, Speicher und Netzwerk. Dies bedeutet, dass sich Benutzer auf die Entwicklung ihrer Modelle und deren Bereitstellung auf der Plattform konzentrieren können, ohne sich um die zugrunde liegende Infrastruktur kümmern zu müssen.
Modelz bietet standardmäßig die folgenden Funktionen:
- Serverlos: Die serverlose Architektur ermöglicht uns eine einfache Skalierung entsprechend Ihren Anforderungen und ermöglicht uns die Bereitstellung einer zuverlässigen und skalierbaren Lösung für die Bereitstellung und Prototypisierung von Machine-Studying-Anwendungen in jeder Größenordnung.
- Kosten senken: Zahlen Sie nur für die Ressourcen, die Sie verbrauchen, ohne zusätzliche Kosten für inaktive Server oder Kaltstarts. Erhalten Sie 30 kostenlose Minuten L4-GPU-Nutzung, wenn Sie sich bei uns anmelden. Fügen Sie eine Zahlungsmethode hinzu und erhalten Sie zusätzliche 90 Minuten free of charge.
- OpenAI-kompatible API: Unsere Plattform unterstützt OpenAI-kompatible API, was bedeutet, dass Sie neue Open-Supply-LLMs mit nur wenigen Codezeilen problemlos in Ihre bestehenden Anwendungen integrieren können.
- Prototyping-Umgebung: Wir bieten eine robuste Prototyping-Umgebung, die Gradio und Streamlit unterstützt. Durch unsere Integration mit HuggingFace Area ist der Zugriff auf vorab trainierte Modelle und das Starten von Demos mit nur einem Klick einfacher denn je. Dadurch können Sie Ihre Modelle schnell testen und iterieren und so Zeit und Aufwand im Entwicklungsprozess sparen.
Der Einstieg in Modelz ist einfach und unkompliziert. Hier sind die schnellen Schritte für den Einstieg:
- Für einen Account anmelden auf der Internetseite.
- Verwenden Sie die Modelz-Vorlagen, um die Bereitstellung zu erstellen.
- Senden Sie Anfragen oder besuchen Sie die Benutzeroberfläche der Bereitstellung.
Hier ist ein vollständiges Workflow-Beispiel, bei dem die Modelz Beta-Plattform und die Bloomz 560M-Vorlage zum Erstellen einer Inferenzbereitstellung verwendet werden.
Nach der Erstellung erhalten Sie die detaillierten Informationen in der Benutzeroberfläche:
Wir zeigen die Protokolle, Ereignisse (z. B. die Bereitstellungs-Scale-Up- und Scale-Down-Ereignisse) und die Metriken (z. B. Gesamtanfragen, Inflight-Anfragen) im Dashboard an. Darüber hinaus können Sie auch die Bedienungsanleitung erhalten.
Die Bloomz 560M-Vorlage wird bereitgestellt von modelz-llm, das die OpenAI-kompatible API für das Modell bereitstellt. Sie können das OpenAI-Python-Paket verwenden, um das Modell zu verwenden. Zuerst müssen Sie den Endpunkt abrufen und API-Schlüssel vom Dashboard aus.
import openai
openai.api_base="https://bloomz-webhiq5i9dagphhu.modelz.io"
# Use your API Key in modelz.
openai.api_key="mzi-xxx"
# create a chat completion
chat_completion = openai.ChatCompletion.create(
mannequin="any", messages=[{"role": "user", "content": "Hello world"}])
Die Bereitstellung wird nach einem Leerlaufintervall auf 0 herunterskaliert (wird auf der Erstellungsseite konfiguriert). Sie können die Autoscaling-Ereignisse und -Metriken im Dashboard abrufen:
Modelz ist darauf aufgebaut envd, mosec, modelz-llmund viele andere Open-Supply-Projekte. Wenn Sie daran interessiert sind, der Modelz-Group beizutreten, haben Sie folgende Möglichkeiten, sich zu engagieren:
- Treten Sie der bei Modelz-Discord-Community: Wir haben eine Discord-Group, in der Sie sich mit anderen Entwicklern und Datenwissenschaftlern vernetzen, Fragen stellen und Ihr Wissen und Ihre Experience teilen können.
- Tragen Sie zu Open-Supply-Projekten bei: Modelz basiert auf
envd, mosec, modelz-llm und viele andere Open-Supply-Projekte. Wenn Sie daran interessiert sind, zu diesen Projekten beizutragen, können Sie sich deren GitHub-Repositories ansehen und mit der Mitarbeit beginnen. - Teilen Sie Ihre Modelle und Projekte: Wenn Sie mit Modelz ein Modell für maschinelles Lernen oder ein Projekt erstellt haben, würden wir uns freuen, davon zu hören! Sie können Ihre Projekte in unserer Discord-Group oder auf Twitter mit dem Hashtag #Modelz teilen oder erwähnen @TensorChord.
Während wir weiterhin die Möglichkeiten der KI und ihre Auswirkungen auf unsere Welt erforschen, wünsche ich Ihnen eine großartige Reise auf Ihrem Streben nach Wissen und Innovation. Egal, ob Sie gerade erst mit KI beginnen oder ein erfahrener Profi sind, KI bietet endlose Möglichkeiten für Wachstum und Entdeckung.
