Die Aktualisierung von Versionsdaten für ML-Modelle und die Verwendung ähnlicher Algorithmus-Versionen sind bereits seit vielen Jahren ohne MLOps-Konzept möglich Neues Analyse- und Analysesystem für maschinelles Lernen. Lesen Sie, wie Sie dies mithilfe der Plattformen LakeFS und MLflow realisieren können.
Das ist LakeFS und darüber hinaus MLOps
Versionskontrollsysteme, ähnlich wie Git, verfügen über zahlreiche Instruments zur Aktualisierung von Variations- und Archivierungscodes und können die Ergebnisse in der Versionsverwaltung anzeigen nicht. ≤ а и др уβх ччinaesse к манды. In den Systemen des maschinellen Lernens gibt es nicht nur Code, sondern auch Informationen, die ich erhalten habe здесь. Es ist nicht erforderlich, alle Artefakte aus verschiedenen ML-Systemen mit Daten- und Parametermodellen zu aktualisieren In dieser praktischen Zeit wird die Konzezeption aktiviert MLOps.
Zu den Instruments für die Aktualisierung dieser Daten gehört MLOps, darunter LakeFS – meine Plattform mit dem gleichen Code, der mit Apache Spark, Kafka und Apache Spark integriert ist. Hive Metastore, dbt, Trino, Presto. Ich nutze die Daten in verschiedenen Objekten wie AWS S3, Azure Blob Storage, Google Cloud Storage und der verfügbaren Kontrollversion auf der Web site von Git-Usern Neue Wörter, darunter auch Bilder für die Suche nach isolierten Versionen Einbeziehung in eine bestimmte State of affairs.
LakeFS zeichnet sich dadurch aus, dass es sich um eine neue, atomare und aktualisierte Model von Information Lake handelt, die Instruments für den Obtain bereitstellt oder mit der neuen Model von Information Lake übereinstimmt Im Laufe der Zeit. Diese Plattformen ermöglichen eine automatische Prozessintegration und -zerlegung, da sie mit mehreren Systemen und Systemen zur automatischen Automatisierung ausgestattet sind Neue Anwendungsformate und Vergleichsmöglichkeiten. MLOps-Injektoren können einen effektiven Prozess für den Einsatz in einem neuen Unternehmen aufbauen, das keine kritischen Ergebnisse in der Produktion und im Unternehmen erfordert Es handelt sich um Mini-ML-Systeme.
Nachdem Sie LakeFS heruntergeladen und diese einfache CLI-Interferenz installiert haben, müssen Sie jetzt ein Repositorium für Ihre Daten erstellen. Es ist möglich, die benötigten Instruments zu verwenden, um die erforderlichen Ergebnisse zu erzielen. Da LakeFS jedoch auch andere Anwendungen verwenden kann, hat diese Kombination mit anderen MLOps-Instruments eine große Wirkung. Im Grunde kann man LakeFS mit MLflow verbinden, um die benötigte Modellversion hinzuzufügen. Sobald dies geschehen ist, ist das Downside gelöst.
Vorteile von MLflow
Напомним, MLflow Von Databricks – es handelt sich um eine offene, länderübergreifende Plattform, die es ermöglicht, verschiedene Verschlüsselungsmaschinen zu erstellen. Es unterstützt REST-API und CLI-Schnittstellen sowie Python, R und Java. Die vollautomatische Automatisierung aller MLOps-Zyklen verfügt über 4 MLflow-Module: Monitoring, Projekt, Modelle und Registry, von denen ich bereits gesprochen habe здесь. Die MLflow-Praxis nutzt derzeit mehrere Unternehmen (Databricks, Microsoft, Toyota, МТС, ВК und andere) sowie zahlreiche andere Unternehmen mir.
Die MLflow-Komponente basiert auf der Registry und verfügt über ein zentral verwaltetes C-API-Modell und eine integrierte Schnittstelle, die für die Nutzung verwendet werden kann Verschiedene Modelle und Versionen bestehen aus mehreren Anbietern im Rahmen der Projektentwicklung.
Wenn Sie diese Daten vorab in MLflow erworben haben, können Sie die Python-Shopper-API-Plattform LakeFS verwenden, um neue Daten zu sammeln und die entsprechenden Daten zu speichern ет в репозитории. Damit diese Nachricht den Kunden noch nicht erreichen konnte. Zum Beispiel kann man es in Python mit mehreren pip-Paketen bearbeiten:
$ pip set up ‚lakefs_client==‘
Im Rahmen eines echten Projekts müssen wir die für die Prüfung und Verleumdung erforderlichen Daten ermitteln und sie in der Datenbank überprüfen. Kann die Datenbank LakeFS in das ML-Modell importieren mlflow.log_paramSie haben hier Informationen zu den ausgewählten Modellen erhalten.
Bei der Verwendung von LakeFS und MLflow werden keine Versionsdaten für die Entwicklung des ML-Modells bereitgestellt. Es sind möglicherweise nicht alle Versionsdaten verfügbar, die mit einem konkreten Versionsmodell verknüpft sind, aber LakeFS mit anderen MLflow-Komponenten verbindet. Beispielsweise kann MLflow Monitoring den Code von ML-Modellen mit diesen Daten verbinden.
Nach diesem Verständnis realisieren MLflow und LakeFS verschiedene MLOps-Konzepte:
– MLflow wird für die Aktualisierung weiblicher zyklischer Maschinen verwendet, einschließlich eines zentralen Rechenmodells und seiner Analyse;
— LakeFS wird die Daten mithilfe von Git-Inhalten aktualisieren. .
Das Ergebnis ist, dass MLOps-Injektoren effektive und automatische Verarbeitungsprozesse ermöglichen können, die dazu dienen, Experimente durchzuführen und sie zu veröffentlichen Herstellung eines Maschinenmodells.
Um diese und andere moderne MLOps-Instrumente in Projekten einzusetzen Analysieren großer DatenmengenSie wenden sich an spezialisierte Kurse in unserem lizenzierten, zentralen Qualitäts- und Qualitätszentrum für Unternehmen, Organisationen und Architekten Autoren, Investoren, Administratoren, Information Scientists und Analysten von Massive Information in Moskau:
– Analyse und Überprüfung der ML-Resolution
— Maschinelles Lernen auf Python
Источники
1. https://pub.towardsai.net/data-versioning-for-efficient-workflows-with-mlflow-and-lakefs-892df1f8e7d8
2. https://docs.lakefs.io/
