Mit der zunehmenden Beliebtheit künstlicher Intelligenz werden quick täglich neue Modelle mit brandneuen Funktionen und Problemlösungsfähigkeiten veröffentlicht. Forscher haben sich in jüngster Zeit darauf konzentriert, Ansätze zu entwickeln, um die Widerstandsfähigkeit von KI-Modellen gegenüber unbekannten Testverteilungen zu stärken und ihre Abhängigkeit von falschen Merkmalen zu verringern. Betrachtet man die Beispiele selbstfahrender Autos und autonomer Küchenroboter, so wurden diese aufgrund der Herausforderungen, die ihr Verhalten in Out-of-Distribution (OOD)-Umgebungen mit sich bringt, noch nicht weit verbreitet eingesetzt, was sich auf Szenarien bezieht, die sich erheblich vom Coaching unterscheiden Daten, denen die Modelle ausgesetzt waren.
Zahlreiche Studien haben sich mit dem Downside der Spurious Correlations (SCs) befasst und Methoden vorgeschlagen, um deren damaging Auswirkungen auf die Modellleistung zu verringern. Es wurde gezeigt, dass Klassifikatoren, die auf bekannten Datensätzen wie ImageNet trainiert werden, auf Hintergrunddaten basieren, die fälschlicherweise mit Klassenbezeichnungen verknüpft sind, diese aber nicht unbedingt vorhersagen. Obwohl Fortschritte bei der Entwicklung von Methoden zur Bewältigung des SC-Issues erzielt wurden, besteht immer noch die Notwendigkeit, die Einschränkungen bestehender Benchmarks anzugehen. Aktuelle Benchmarks wie Waterbirds und CelebA-Haarfarben-Benchmarks weisen Einschränkungen auf. Eine davon ist ihr Fokus auf vereinfachte Eins-zu-Eins-Störkorrelationen (O2O), während in Wirklichkeit viele-zu-viele-Störkorrelationen (M2M) häufiger vorkommen Klassengruppen und Hintergründe.
Kürzlich hat ein Forscherteam des College School London eine Benchmark-Suite für die Bildklassifizierung namens Spawrious-Datensatz eingeführt, die falsche Korrelationen zwischen Klassen und Hintergründen enthält. Es umfasst sowohl Eins-zu-Eins- (O2O) als auch Viele-zu-Viele-Störkorrelationen (M2M), die in drei Schwierigkeitsstufen eingeteilt wurden: Leicht, Mittel und Schwer. Der Datensatz besteht aus etwa 152.000 hochwertigen, fotorealistischen Bildern, die mithilfe eines Textual content-zu-Bild-Modells erstellt wurden. Ein Bildunterschriftsmodell wurde verwendet, um ungeeignete Bilder herauszufiltern und so die Qualität und Relevanz des Datensatzes sicherzustellen.
Bei der Auswertung hat der Spawrious-Datensatz eine unglaubliche Leistung gezeigt, da der Datensatz die aktuellen State-of-the-Artwork-Ansätze (SOTA) zur Gruppenrobustheit vor Herausforderungen stellte, wie z. B. Exhausting-Splits, die bei keiner der getesteten Methoden eine erhebliche Herausforderung darstellten Erreichen einer Genauigkeit von über 70 % mit einem auf ImageNet vorab trainierten ResNet50-Modell. Das Group hat erwähnt, dass die Leistungsmängel der Modelle dadurch verursacht wurden, dass sie sich auf fiktive Hintergründe stützten, indem sie die von ihnen falsch vorgenommenen Klassifizierungen betrachteten. Dies zeigt, wie der Spawrious-Datensatz Klassifikatoren erfolgreich testen und ihre Schwächen gegenüber fehlerhaften Korrelationen aufdecken konnte.
Um den Unterschied zwischen den O2O- und M2M-Benchmarks zu veranschaulichen, hat das Group ein Beispiel für die Erfassung von Trainingsdaten im Sommer verwendet, die aus zwei Gruppen von Tierarten an zwei unterschiedlichen Standorten bestehen, wobei jede Tiergruppe einer bestimmten Hintergrundgruppe zugeordnet ist. Wenn sich jedoch die Jahreszeiten ändern und die Tiere wandern, tauschen die Gruppen ihre Standorte aus, was dazu führt, dass sich die falschen Korrelationen zwischen Tiergruppen und Herkunft auf eine Weise umkehren, die nicht eins zu eins zugeordnet werden kann. Dies unterstreicht die Notwendigkeit, die komplexen Beziehungen und gegenseitigen Abhängigkeiten in M2M-Störkorrelationen zu erfassen.
Spawrious scheint eine vielversprechende Benchmark-Suite für OOD, Domänengeneralisierungsalgorithmen und zur Bewertung und Verbesserung der Robustheit von Modellen bei Vorhandensein von Störmerkmalen zu sein.
Besuche die Papier Und Github. Vergessen Sie nicht, mitzumachen unser 25k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Tanya Malhotra studiert im letzten Jahr an der College of Petroleum & Vitality Research in Dehradun und studiert BTech in Informatik mit Spezialisierung auf künstliche Intelligenz und maschinelles Lernen.
Sie ist eine Knowledge-Science-Enthusiastin mit gutem analytischem und kritischem Denken sowie einem großen Interesse daran, sich neue Fähigkeiten anzueignen, Gruppen zu leiten und die Arbeit organisiert zu verwalten.
