Im heutigen digitalen Zeitalter ist das Verständnis natürlicher Sprache für die Interaktion zwischen Mensch und Maschine von entscheidender Bedeutung. Transformer mit ihrer außergewöhnlichen Fähigkeit, kontextuelle Zusammenhänge und Nuancen zu erfassen, haben sich in diesem Bereich als Sport-Changer erwiesen. Von der maschinellen Übersetzung bis zur Textzusammenfassung, von Frage-Antwort-Systemen bis hin zur Stimmungsanalyse haben Transformers bei verschiedenen Aufgaben erhebliche Auswirkungen gehabt.
Transformer, eine bemerkenswerte Komponente des Deep Studying, fallen unter den weiten Bereich des maschinellen Lernens. Deep Studying, das darauf abzielt, die komplexe Funktionsweise des menschlichen Gehirns nachzuahmen, umfasst eine breite Palette von Algorithmen für bestimmte Aufgaben. Im Gegensatz zu herkömmlichen Ansätzen des maschinellen Lernens kann Deep Studying im überwachten, halbüberwachten oder unüberwachten Modus betrieben werden und bietet so eine beispiellose Flexibilität.
Ein wesentlicher Vorteil des Einsatzes von Deep Studying liegt in seiner Fähigkeit, umfangreiche Funktionen aus Daten zu extrahieren. Durch die gleichzeitige Verarbeitung großer Informationsmengen ermöglicht uns Deep Studying, Objekte mit einem menschenähnlichen Verständnis wahrzunehmen. Diese Fähigkeit macht Deep Studying besonders wertvoll bei der Bildklassifizierung, wo sich die Fähigkeit zur Analyse hochdimensionaler Daten auszeichnet. Darüber hinaus spielt Deep Studying eine zentrale Rolle bei der sequentiellen Datenanalyse und umfasst Bereiche wie Zeitreihendaten und die Verarbeitung natürlicher Sprache (NLP).
Um sequentielle Daten effektiv zu analysieren, stehen rekurrente neuronale Netze (RNNs) im Mittelpunkt. RNNs verfügen über einen internen Speicher, der es ihnen ermöglicht, wichtige Informationen aus früheren Datenpunkten zu speichern und genaue Vorhersagen zu treffen. RNNs weisen jedoch Einschränkungen auf, wie z. B. langsame Trainingsgeschwindigkeiten und das Drawback des verschwindenden Gradienten. Es geht darum, wichtige Daten zu verlieren, wenn wir tiefer in das neuronale Netzwerk vordringen. Um diese Hindernisse zu überwinden, haben Forscher revolutionary Varianten von RNNs entwickelt, wie etwa bidirektionale RNNs und Netzwerke mit langem Kurzzeitgedächtnis (LSTM).
Bidirektionale RNNs duplizieren die gesamte RNN-Kette und ermöglichen die Analyse sowohl vorwärts als auch rückwärts geordneter Eingaben. Dieser Ansatz stellt einen zukünftigen Kontext für das Modell bereit. Andererseits verfügen LSTMs über Rückkopplungsverbindungen, die es ihnen ermöglichen, ganze Sequenzen von Datenpunkten zu verarbeiten, anstatt nur einzelne Datenpunkte. Obwohl LSTMs parallele Eingaben verarbeiten können, sind sie rechenintensiv und langsam zu trainieren. Bidirektionale RNNs sind zwar schneller als LSTMs, weisen jedoch immer noch ähnliche rechnerische Komplexitäten auf.
Eingeben Transformer – eine Artwork wiederkehrendes neuronales Netzwerk, das Sequenz-zu-Sequenz-Transformationen revolutioniert und gleichzeitig komplexe Wortabhängigkeiten erfasst. Im Gegensatz zu herkömmlichen RNNs verzichten Transformer auf Wiederholungen und nutzen Aufmerksamkeitsmechanismen, wie in der wegweisenden Arbeit „Consideration Is All You Want“ hervorgehoben wird. Diese Aufmerksamkeitsmechanismen weisen Wörtern innerhalb der Eingabesequenz relative Positionen zu und erleichtern so ein besseres Verständnis und eine bessere Verarbeitung. Transformatoren haben in verschiedenen Bereichen Anwendung gefunden, darunter Bildklassifizierung, Verarbeitung natürlicher Sprache und maschinelle Übersetzung.
Zu den bekanntesten Sprachmodellen, die Transformers verwenden, gehören BERT von Google und GPT-3 von OpenAI. Diese Modelle nutzen die Leistungsfähigkeit von Transformers, um beispiellose Sprachverständnis- und Generierungsfunktionen zu erreichen.
Die Architektur wird Sie nicht sehr langweilen, sie wird klar und deutlich abgerundet.
Dies ist die grundlegende Übersicht über einen Transformer.
Lassen Sie es mich Schritt für Schritt erklären
Hohes Degree
Die Transformer-Architektur besteht aus 6 Encodern und 6 Decodern.
Jeder Encoder verfügt über 1 Selbstaufmerksamkeitsschicht und 1 vorwärtsgerichtete neuronale Schicht. Andererseits verfügt jeder Decoder über zwei Selbstaufmerksamkeitsschichten und eine vorwärtsgerichtete neuronale Netzwerkschicht.
Parallelisierung wird erreicht, indem alle Daten auf einmal und nicht einzeln in das Netzwerk eingespeist werden. In der Selbstaufmerksamkeitsschicht des Encoders werden alle Wörter innerhalb der Schicht miteinander verglichen, aber bei der Weitergabe an das vorwärtsgerichtete neuronale Netzwerk werden sie separat verarbeitet. Jeder der 6 Encoder verfügt über unterschiedliche Aufmerksamkeitsebenen und Feed-Ahead-Mechanismen.
Eingabeebene
Ein- und Ausgänge im Transformer sind eingebettet, d. h. sie werden in Vektoren umgewandelt.
Positionskodierung
Zusätzlich zu Worteinbettungen werden Positionskodierungen hinzugefügt, um Informationen über die Place jedes Wortes im Satz bereitzustellen. Da Transformer keine Wiederholungen aufweisen, spielen Positionskodierungen eine entscheidende Rolle beim Verständnis der Wortreihenfolge.
Ausgabeebene
Die Ausgabeschicht wandelt die Ausgabe in ein interpretierbares Format um. Es besteht aus einem Vektor mit einer Länge, die der Gesamtzahl der Wörter im Vokabular entspricht. Jede Zelle im Vektor gibt die Wahrscheinlichkeit an, mit der ein Wort als nächstes im Satz erscheint.
Ebene hinzufügen und normalisieren
Zusätzlich zu den Ebenen „Selbstaufmerksamkeit“ und „Feed-Ahead“ umfassen Transformer zwei zusätzliche Ebenen namens „Hinzufügen“ und „Normalisieren“. Diese Schichten führen eine Normalisierung der Ausgabe der Unterschicht durch, insbesondere unter Verwendung der Schichtnormalisierung anstelle der Batch-Normalisierung.
Verbindungen überspringen
Die Transformer-Architektur umfasst auch Skip-Verbindungen, bei denen einige Daten die Selbstaufmerksamkeits- und Feed-Ahead-Schichten umgehen und direkt an die Normalisierungsschicht gesendet werden. Dies hilft dem Modell, wichtige Informationen zu behalten und ein Vergessen zu verhindern.
Ideen, die Transformers auszeichnen
Positionskodierungen und Aufmerksamkeitsebenen
Mehrköpfige Aufmerksamkeit
Bei der mehrköpfigen Aufmerksamkeit werden alle Wörter im Eingabesatz miteinander verglichen, was eine umfassende Analyse der Beziehungen zwischen Wörtern ermöglicht.
Maskierte mehrköpfige Aufmerksamkeit
Bei der maskierten mehrköpfigen Aufmerksamkeit werden nur die vorhergehenden Wörter mit einem bestimmten Wort im Satz verglichen, wodurch der Vergleichsbereich eingeschränkt wird.
Alle Bilder stammen aus dem YouTube-Video https://www.youtube.com/watch?v=_UVfwBqcnbM&t=15s
Was ist Aufmerksamkeit?
Aufmerksamkeit kann als die Fähigkeit definiert werden, sich auf ein bestimmtes Ingredient zu konzentrieren und dabei andere zu ignorieren, die im Second möglicherweise irrelevant erscheinen. Im Kontext des maschinellen Lernens bezieht sich Aufmerksamkeit darauf, einem Modell beizubringen, sich auf bestimmte Aspekte der Eingabe zu konzentrieren und andere zu ignorieren, wodurch seine Fähigkeit verbessert wird, die gegebene Aufgabe effektiv zu lösen.
Betrachten Sie zur Veranschaulichung den Satz: „Ich gehe zur Financial institution, um einen Kredit zu beantragen.“ Das Wort „Financial institution“ kann mehrere Bedeutungen haben, beispielsweise ein Finanzinstitut oder eine Blutbank. In diesem speziellen Satz beziehen wir uns jedoch auf das Finanzinstitut. Die Fähigkeit, den Kontext zu verstehen und die Bedeutung von Wörtern in einem Satz zu interpretieren, nennen wir Aufmerksamkeit. Obwohl Transformatoren möglicherweise nicht über einwandfreie Kontextualisierungsfähigkeiten verfügen, sind sie derzeit unser vielversprechendster Ansatz.
Transformer nutzen einen Selbstaufmerksamkeitsmechanismus, der es ihnen ermöglicht Stellen Sie Verbindungen zwischen verschiedenen Segmenten einer Sequenz her, wenn Sie die Darstellung derselben Sequenz berechnen. Dieser Mechanismus ermöglicht es dem Modell, sich auf relevante Teile zu konzentrieren und die Beziehungen innerhalb der Eingabedaten zu erfassen.
Wie funktioniert Aufmerksamkeit?
Im Kontext der Aufmerksamkeit gibt es zwei Hauptkomponenten: den Encoder und den Decoder. Der Encoder nimmt die Eingabesequenz und wandelt sie in eine Zustandsdarstellung mit fester Type um. Andererseits nimmt der Decoder diesen Zustand mit fester Type und ordnet ihn einer Ausgabesequenz zu.
Skaliertes Punktprodukt
Das skalierte Skalarprodukt ist eine Reihe linearer algebraischer Operationen, die in Aufmerksamkeitsmechanismen verwendet werden. Es besteht aus drei Matrizen: q, ok und v, die als Abfrage, Schlüssel und Wert bezeichnet werden. Dieses Konzept ist direkt von Datenbanken inspiriert, in denen Werte durch Schlüssel indiziert werden und Benutzer Abfragen durchführen können, um bestimmte Werte abzurufen. Im Falle der Selbstaufmerksamkeit gibt es keinen externen Benutzer oder Controller, der Anfragen stellt; Stattdessen passt die Maschine selbst die Werte von q, ok und v durch Backpropagation an, um die Interaktion eines Benutzers mit einer Datenbank nachzuahmen.
Der Abrufprozess kann beispielsweise als α⃗⋅v⃗ dargestellt werden, wobei α⃗ ein One-Sizzling-Vektor mit Einsen und Nullen ist und v⃗ ein Vektor ist, der die abzurufenden Werte enthält. In diesem Fall fungiert der Vektor α⃗ als Abfrage und die Ausgabe besteht aus den Werten von v⃗, wobei α⃗α 1 ist.
Indem wir die Einschränkung für den Abfragevektor aufheben und Float-Werte zwischen 0 und 1 zulassen, können wir einen gewichteten proportionalen Abruf der Werte erreichen.
Die Aufmerksamkeit des skalierten Skalarprodukts folgt einem ähnlichen Prinzip und verwendet die Vektormultiplikation auf die gleiche Weise. Um die normalisierten Gewichte zu erhalten, wird eine Softmax-Funktion angewendet.
Mehrköpfige Aufmerksamkeit
Der Multi-Head-Aufmerksamkeitsmechanismus umfasst im Gegensatz zur Verwendung einer einzelnen Eingabe mehrere Schlüssel-, Wert- und Abfragematrizen. Jedes Aufmerksamkeitsmodul ermittelt Beziehungen zwischen verschiedenen Eingaben und generiert kontextualisierte Einbettungen. Diese Einbettungen werden dann durch ein lineares neuronales Netzwerk geleitet und mit dem Ausgabemodul verbunden. Dieser Ansatz verbessert die Leistung und fördert die Trainingsstabilität, indem er es dem Modell ermöglicht, verschiedene Aspekte und Abhängigkeiten innerhalb der Daten zu erfassen.
Bilder und Inhalte von https://www.baeldung.com/cs/attention-mechanism-transformers
Zusammenfassend lässt sich sagen, dass Transformer mit ihrer Fähigkeit, kontextuelle Beziehungen zu erfassen und die Leistung zu verbessern, den Bereich der KI revolutioniert haben. Die Aufmerksamkeit mehrerer Köpfe verbessert das Verständnis und die Trainingsstabilität des Modells. Trotz Einschränkungen stellen Transformers einen bedeutenden Meilenstein bei der Überbrückung der Lücke zwischen menschlichem und maschinellem Verständnis dar. Auf diesem transformativen Gebiet der künstlichen Intelligenz stehen spannende Fortschritte bevor.
