Selbstüberwachtes Lernen ist eine Kind des maschinellen Lernens, bei der Systeme darauf trainiert werden, Aufgaben nur anhand eines Rohdatensatzes vorherzusagen oder zu lösen, ohne dass von Menschen mit Anmerkungen versehene Beschriftungen erforderlich sind. Diese Technik stellt eine deutliche Abkehr vom traditionellen überwachten Lernen dar, das für das Coaching stark auf von Menschen gekennzeichneten Daten basiert. Stattdessen generieren selbstüberwachte Lernmodelle ihre eigenen Bezeichnungen aus den Daten und ermöglichen es ihnen, sinnvolle Merkmale zu identifizieren und zu extrahieren, indem sie eine Vorwandaufgabe lösen – etwa das nächste Wort in einem Satz oder die Farbe eines Pixels in einem Bild vorherzusagen.
Die Bedeutung des selbstüberwachten Lernens kann nicht genug betont werden. Die Möglichkeit, direkt aus Rohdaten zu lernen, reduziert den Bedarf an umfangreichen, kostspieligen und zeitaufwändigen Datenkennzeichnungsprozessen erheblich. Darüber hinaus ermöglicht es Modellen, differenziertere und komplexere Funktionen zu erlernen und dabei häufig Erkenntnisse zu gewinnen, die durch menschliche Kennzeichnung möglicherweise nicht offensichtlich oder zugänglich sind.
Zu den aufregenden Entwicklungen in diesem Bereich gehört DINOv2. DINO, ein Akronym für Destillation von Wissen ohne Etikettenist ein von Meta entwickelter Algorithmus, der die Leistungsfähigkeit des selbstüberwachten Lernens in bemerkenswertem Maße nutzt. Der ursprüngliche DINO-Algorithmus struggle ein Durchbruch auf diesem Gebiet, und sein Nachfolger, DINOv2, bringt mehrere Verbesserungen mit sich, die versprechen, die Grenzen des selbstüberwachten Lernens noch weiter zu verschieben.
Die Kernidee von DINO drehte sich um Wissensdestillation Ohne die Verwendung von Labels wird im Wesentlichen ein „Schüler“-Netzwerk trainiert, um das Verhalten eines leistungsfähigeren „Lehrer“-Netzwerks zu imitieren, und das alles ohne explizite Labels in den Trainingsdaten.
Die Architektur von DINO struggle einzigartig und übernahm die Imaginative and prescient-Transformer (ViT), ein Konstrukt, das von Transformatormodellen inspiriert ist, die typischerweise in der Verarbeitung natürlicher Sprache vorkommen. Dieser Ansatz struggle ein…
