Leistungsstarke Modelle für maschinelles Lernen werden verwendet, um Menschen bei der Bewältigung schwieriger Probleme zu unterstützen, z. B. bei der Erkennung von Krankheiten in medizinischen Bildern oder der Erkennung von Straßenhindernissen für autonome Fahrzeuge. Aber maschinell lernende Modelle können Fehler machen, daher ist es in Excessive-Stakes-Umgebungen entscheidend, dass Menschen wissen, wann sie den Vorhersagen eines Modells vertrauen können.
Die Unsicherheitsquantifizierung ist ein Werkzeug, das die Zuverlässigkeit eines Modells verbessert; Das Modell erzeugt zusammen mit der Vorhersage eine Punktzahl, die ein Konfidenzniveau ausdrückt, dass die Vorhersage korrekt ist. Während die Quantifizierung von Unsicherheiten nützlich sein kann, erfordern bestehende Methoden typischerweise ein erneutes Trainieren des gesamten Modells, um ihm diese Fähigkeit zu verleihen. Beim Coaching werden einem Modell Millionen von Beispielen gezeigt, damit es eine Aufgabe lernen kann. Die Umschulung erfordert dann Millionen neuer Dateneingaben, die teuer und schwierig zu beschaffen sein können, und verbraucht auch riesige Mengen an Rechenressourcen.
Forscher des MIT und des MIT-IBM Watson AI Lab haben nun eine Technik entwickelt, die es einem Modell ermöglicht, eine effektivere Unsicherheitsquantifizierung durchzuführen, während es weitaus weniger Rechenressourcen als andere Methoden und keine zusätzlichen Daten benötigt. Ihre Technik, die es nicht erfordert, dass ein Benutzer ein Modell neu trainiert oder modifiziert, ist für viele Anwendungen flexibel genug.
Die Technik beinhaltet die Erstellung eines einfacheren Begleitmodells, das das ursprüngliche maschinelle Lernmodell bei der Schätzung der Unsicherheit unterstützt. Dieses kleinere Modell wurde entwickelt, um verschiedene Arten von Unsicherheit zu identifizieren, was Forschern helfen kann, die Grundursache für ungenaue Vorhersagen aufzuschlüsseln.
„Die Quantifizierung der Unsicherheit ist sowohl für Entwickler als auch für Benutzer von Modellen für maschinelles Lernen unerlässlich. Entwickler können Unsicherheitsmessungen nutzen, um robustere Modelle zu entwickeln, während sie für Benutzer eine weitere Ebene des Vertrauens und der Zuverlässigkeit bei der Bereitstellung von Modellen in der realen Welt hinzufügen können. Unsere Arbeit führt zu einer flexibleren und praktischeren Lösung für die Quantifizierung von Unsicherheiten“, sagt Maohao Shen, ein Doktorand der Elektrotechnik und Informatik und Hauptautor von a Papier auf dieser Technik.
Shen schrieb die Arbeit zusammen mit Yuheng Bu, einem ehemaligen Postdoc am Analysis Laboratory of Electronics (RLE), der jetzt Assistenzprofessor an der College of Florida ist; Prasanna Sattigeri, Soumya Ghosh und Subhro Das, Forschungsmitarbeiter am MIT-IBM Watson AI Lab; und leitender Autor Gregory Wornell, der Sumitomo-Professor für Ingenieurwissenschaften, der das Indicators, Info, and Algorithms Laboratory RLE leitet und Mitglied des MIT-IBM Watson AI Lab ist. Die Forschungsergebnisse werden auf der AAAI Convention on Synthetic Intelligence vorgestellt.
Unsicherheit quantifizieren
Bei der Unsicherheitsquantifizierung generiert ein maschinelles Lernmodell mit jeder Ausgabe eine numerische Punktzahl, um sein Vertrauen in die Genauigkeit dieser Vorhersage widerzuspiegeln. Die Einbeziehung der Unsicherheitsquantifizierung durch den Aufbau eines neuen Modells von Grund auf oder das erneute Trainieren eines vorhandenen Modells erfordert normalerweise eine große Datenmenge und teure Berechnungen, was oft unpraktisch ist. Darüber hinaus haben bestehende Methoden manchmal die unbeabsichtigte Folge, dass sie die Qualität der Vorhersagen des Modells verschlechtern.
Die Forscher des MIT und des MIT-IBM Watson AI Lab haben sich daher auf das folgende Downside konzentriert: Wie können sie es einem vortrainierten Modell ermöglichen, eine effektive Unsicherheitsquantifizierung durchzuführen?
Sie lösen dies, indem sie ein kleineres und einfacheres Modell erstellen, das als Metamodell bekannt ist, das an das größere, vortrainierte Modell angehängt wird und die Funktionen verwendet, die das größere Modell bereits erlernt hat, um es bei der Quantifizierung von Unsicherheiten zu unterstützen.
„Das Metamodell kann auf jedes vortrainierte Modell angewendet werden. Es ist besser, Zugriff auf die Interna des Modells zu haben, da wir viel mehr Informationen über das Basismodell erhalten können, aber es funktioniert auch, wenn Sie nur eine endgültige Ausgabe haben. Es kann immer noch einen Vertrauenswert vorhersagen“, sagt Sattigeri.
Sie entwerfen das Metamodell, um die Ausgabe der Unsicherheitsquantifizierung unter Verwendung einer Technik zu erzeugen, die beide Arten von Unsicherheit umfasst: Datenunsicherheit und Modellunsicherheit. Datenunsicherheit wird durch beschädigte Daten oder ungenaue Bezeichnungen verursacht und kann nur durch Korrigieren des Datensatzes oder Sammeln neuer Daten verringert werden. Bei Modellunsicherheit ist sich das Modell nicht sicher, wie es die neu beobachteten Daten erklären soll, und trifft möglicherweise falsche Vorhersagen, höchstwahrscheinlich, weil es nicht genügend ähnliche Trainingsbeispiele gesehen hat. Dieses Downside ist ein besonders herausforderndes, aber häufiges Downside, wenn Modelle bereitgestellt werden. In realen Umgebungen stoßen sie häufig auf Daten, die sich vom Trainingsdatensatz unterscheiden.
„Hat sich die Zuverlässigkeit Ihrer Entscheidungen verändert, wenn Sie das Modell in einem neuen Umfeld verwenden? Sie möchten sich sicher sein können, ob es in diesem neuen Regime funktioniert oder ob Sie Trainingsdaten für diese spezielle neue Umgebung sammeln müssen“, sagt Wornell.
Validierung der Quantifizierung
Sobald ein Modell einen Unsicherheitsquantifizierungswert erzeugt, braucht der Benutzer immer noch eine gewisse Gewissheit, dass der Wert selbst genau ist. Forscher validieren die Genauigkeit oft, indem sie einen kleineren Datensatz erstellen, der aus den ursprünglichen Trainingsdaten herausgehalten wird, und dann das Modell an den zurückgehaltenen Daten testen. Diese Technik funktioniert jedoch nicht intestine bei der Messung der Unsicherheitsquantifizierung, da das Modell eine gute Vorhersagegenauigkeit erreichen kann, während es immer noch zu zuversichtlich ist, sagt Shen.
Sie entwickelten eine neue Validierungstechnik, indem sie den Daten im Validierungssatz Rauschen hinzufügten – diese verrauschten Daten ähneln eher Daten außerhalb der Verteilung, die zu Modellunsicherheiten führen können. Die Forscher verwenden diesen verrauschten Datensatz, um Unsicherheitsquantifizierungen auszuwerten.
Sie testeten ihren Ansatz, indem sie sahen, wie intestine ein Metamodell verschiedene Arten von Unsicherheiten für verschiedene nachgelagerte Aufgaben erfassen konnte, einschließlich Erkennung von Out-of-Distribution und Fehlklassifizierung. Ihre Methode übertraf nicht nur alle Baselines in jeder nachgelagerten Aufgabe, sondern erforderte auch weniger Trainingszeit, um diese Ergebnisse zu erzielen.
Diese Technik könnte Forschern dabei helfen, mehr Modelle für maschinelles Lernen zu ermöglichen, um die Unsicherheitsquantifizierung effektiv durchzuführen, was letztendlich den Benutzern hilft, bessere Entscheidungen darüber zu treffen, wann sie Vorhersagen vertrauen können.
In Zukunft wollen die Forscher ihre Technik für neuere Klassen von Modellen anpassen, wie etwa große Sprachmodelle, die eine andere Struktur als ein traditionelles neuronales Netzwerk haben, sagt Shen.
Die Arbeit wurde teilweise vom MIT-IBM Watson AI Lab und der US Nationwide Science Basis finanziert.
