Ursprünglich veröffentlicht am louisbouchard.aihabe es 2 Tage vorher gelesen mein Blog!
Dank der Superkräfte großer Modelle, darunter das berühmte ChatGPT, aber auch Imaginative and prescient-Modelle und alle anderen Typen, mit denen Sie möglicherweise gerade arbeiten, verarbeiten wir mittlerweile riesige Datenmengen.
Tatsächlich liegt das Geheimnis dieser Modelle nicht nur in der großen Datenmenge, auf der sie trainiert werden, sondern auch in der Qualität dieser Daten. Was bedeutet das? Das bedeutet, dass wir viele sehr gute, ausgewogene und vielfältige Daten benötigen. Und als Datenwissenschaftler wissen wir alle, wie kompliziert und mühsam es sein kann, schnell, in großem Maßstab und möglicherweise mit einem begrenzten Price range einen so guten Datensatz zu erstellen. Was wäre, wenn wir beim Aufbau dabei helfen könnten oder sogar automatisierte Hilfe hätten? Nun, hier kommt aktives Lernen ins Spiel.
In einem Satz besteht das Ziel des aktiven Lernens darin, möglichst wenig Trainingsdaten zu verwenden, um die Annotation Ihres gesamten Datensatzes zu optimieren und das bestmögliche Modell zu trainieren.
Es handelt sich um einen überwachten Lernansatz, der zwischen den Vorhersagen Ihres Modells und Ihren Daten hin und her pendelt. Was ich damit meine, ist, dass Sie mit einer kleinen Menge kuratierter, kommentierter Daten beginnen und Ihr Modell damit trainieren können. Sie müssen nicht warten, bis Ihr gesamter Datensatz mit mehreren Millionen Bildern fertig ist. Schieben Sie es einfach da raus. Mithilfe von aktivem Lernen können Sie Ihr Modell dann auf unsichtbare Daten anwenden und menschliche Annotatoren mit der Kennzeichnung beauftragen. Aber das ist noch nicht alles. Wir können auch bewerten, wie genau die Vorhersagen sind, und mithilfe einer Vielzahl von Erfassungsfunktionen, bei denen es sich um Funktionen zur Auswahl der nächsten ungesehenen Daten zur Kommentierung handelt, können wir die Auswirkungen der Kennzeichnung eines größeren Datensatzvolumens oder der Verbesserung der Genauigkeit der generierten Kennzeichnungen quantifizieren , um die Leistung des Modells zu verbessern.
Dank der Artwork und Weise, wie Sie die Modelle trainieren, können Sie das Vertrauen analysieren, das sie in ihre Vorhersagen haben. Vorhersagen mit geringer Konfidenz erfordern automatisch die Beschriftung zusätzlicher Bilder dieses Typs, und Vorhersagen mit hoher Konfidenz erfordern keine zusätzlichen Daten.
Sie sparen additionally grundsätzlich Zeit und Geld, da Sie am Ende weniger Bilder mit Anmerkungen versehen müssen und über das bestmögliche optimierte Modell verfügen. Wie cool ist das! Aktives Lernen ist der vielversprechendste Ansatz für die Arbeit mit großen Datensätzen.
Beim aktiven Lernen sind einige wichtige Grundbegriffe zu beachten. Das Wichtigste ist, dass es den Menschen nutzt, was man hier in der Mitte dieser großartigen Darstellung deutlich sehen kann. Es ist weiterhin erforderlich, dass Menschen die Daten mit Anmerkungen versehen, sodass Sie die volle Kontrolle über die Qualität der Vorhersage Ihres Modells haben. Es handelt sich nicht mehr um eine komplette Blackbox, die mit Millionen von Bildern trainiert wurde. Sie haben seine Entwicklung iterativ verfolgt und ihm geholfen, besser zu werden, wenn es ausfällt. Ich glaube, dass diese Funktion es am wichtigsten und interessantesten macht. Natürlich hat es den Nachteil, dass die Kosten im Vergleich zu unbeaufsichtigten Ansätzen, bei denen man niemanden braucht, steigen, aber es ermöglicht Ihnen, diese Kosten zu begrenzen, indem Sie nur dort trainieren, wo die Modelle es brauchen, anstatt ihm so viele Daten wie möglich zuzuführen und darauf zu hoffen für die beste. Darüber hinaus überwiegt oft die Zeitersparnis beim Trainieren des Modells und seiner Produktionseinführung diese Kosten. Und Sie können einige automatische Anmerkungstools verwenden und diese anschließend manuell korrigieren, was wiederum die Kosten senkt.
Dann haben Sie natürlich Ihren beschrifteten Datensatz, von dem wir alle wissen, was er ist. Auf diesem beschrifteten Datensatz wird Ihr aktuelles Modell trainiert, und auf dem unbeschrifteten Satz handelt es sich um die Daten, die Sie möglicherweise verwenden könnten, die aber noch nicht mit Anmerkungen versehen wurden.
Ein weiterer Schlüsselgedanke ist tatsächlich die Antwort auf die wichtigste Frage, die Sie möglicherweise bereits im Kopf haben: Wie finden Sie die fehlerhaften Daten, um sie zu kommentieren und dem Coaching hinzuzufügen? Die Lösung heißt hier Abfragestrategien. Sie sind für jeden aktiven Lernalgorithmus unerlässlich und entscheiden, welche Daten gekennzeichnet werden sollen und welche nicht. Es gibt mehrere mögliche Ansätze, um in unserem großen Pool an unbeschrifteten Daten die aussagekräftigsten Teilmengen zu finden, die unserem Modell am meisten helfen, indem sie wie Unsicherheitsstichproben annotiert werden. Dabei testen Sie Ihr aktuelles Modell anhand Ihrer unbeschrifteten Daten und zeichnen die am wenigsten zuverlässigen klassifizierten Beispiele zur Annotation .
Eine weitere hier gezeigte Technik ist der Question by Committee- oder QBC-Ansatz. Hier haben wir mehrere Modelle, unsere Ausschussmodelle.
Sie werden alle auf einer anderen Teilmenge unserer gekennzeichneten Daten geschult und haben daher ein unterschiedliches Verständnis unseres Issues.
Diese Modelle werden jeweils eine Hypothese zur Klassifizierung unserer unbeschrifteten Daten haben, die einigermaßen ähnlich, aber dennoch unterschiedlich sein sollte, weil sie die Welt grundsätzlich anders sehen, genau wie wir, die unterschiedliche Lebenserfahrungen haben und in unserem Leben verschiedene Tiere gesehen haben, dies aber immer noch tun die gleichen Vorstellungen von einer Katze und einem Hund. Dann ist es ganz einfach: Die zu kommentierenden Daten sind einfach diejenigen, bei denen unsere Modelle am meisten unterschiedlicher Meinung sind, was bedeutet, dass es kompliziert ist, sie zu verstehen. Und wir beginnen von vorne, indem wir die ausgewählten Daten an unsere Experten weiterleiten und sie kontinuierlich mit Anmerkungen versehen! Dies ist natürlich eine grundlegende Erklärung des aktiven Lernens anhand eines Beispiels einer Abfragestrategie, was sicherlich der spannendste Teil ist. Lassen Sie mich wissen, wenn Sie weitere Movies zu anderen maschinellen Lernstrategien wie dieser wünschen! Ein klares Beispiel für den aktiven Lernprozess ist die Beantwortung von Captchas bei Google. Es hilft ihnen, komplexe Bilder zu identifizieren und Datensätze zu erstellen, wobei Sie und viele andere Personen als Komitee-Jury für Anmerkungen fungieren. Dadurch können kostengünstige und großartige Datensätze erstellt und gleichzeitig sichergestellt werden, dass Sie ein Mensch sind, was zwei Zwecken dient. Wenn Sie sich additionally das nächste Mal über ein Captcha ärgern, denken Sie einfach daran, dass Sie KI-Modellen dabei helfen, Fortschritte zu machen!
Schauen Sie sich das Video an, um anhand eines praktischen Beispiels mehr über ein großartiges Software zu erfahren, das von meinen Freunden bei Encord entwickelt wurde:
