Modernes maschinelles Lernen stützt sich stark auf Optimierung, um effektive Antworten auf herausfordernde Probleme in so unterschiedlichen Bereichen wie Laptop Imaginative and prescient, Verarbeitung natürlicher Sprache und verstärkendem Lernen zu liefern. Die Schwierigkeit, eine schnelle Konvergenz und qualitativ hochwertige Lösungen zu erreichen, hängt weitgehend von den gewählten Lernraten ab. Anwendungen mit zahlreichen Agenten, von denen jeder über einen eigenen Optimierer verfügt, haben die Optimierung der Lernrate erschwert. Einige von Hand abgestimmte Optimierer funktionieren intestine, aber diese Methoden erfordern in der Regel Expertenwissen und mühsame Arbeit. Daher haben in den letzten Jahren „parameterfreie“ adaptive Lernratenmethoden wie der D-Adaptation-Ansatz für die lernratenfreie Optimierung an Popularität gewonnen.
Das Forschungsteam vom Samsung AI Heart und Meta AI führt zwei einzigartige Änderungen an der D-Adaptation-Methode namens Prodigy und Resetting ein, um die nicht-asymptotische Konvergenzrate der D-Adaptation-Methode im ungünstigsten Fall zu verbessern, was zu schnelleren Konvergenzraten und einer besseren Optimierung führt Ausgänge.
Die Autoren führen zwei neuartige Änderungen an der ursprünglichen Methode ein, um die nicht-asymptotische Konvergenzrate der D-Anpassungsmethode im ungünstigsten Fall zu verbessern. Sie verbessern die Konvergenzgeschwindigkeit und Lösungsqualitätsleistung des Algorithmus, indem sie die Methode der adaptiven Lernrate optimieren. Für jeden Ansatz, der den Abstand zur Lösungskonstante D anpasst, wird eine Untergrenze festgelegt, um die vorgeschlagenen Anpassungen zu überprüfen. Sie zeigen weiterhin, dass die erweiterten Ansätze im Vergleich zu anderen Methoden mit exponentiell begrenztem Iterationswachstum bis zu konstanten Faktoren im ungünstigsten Fall optimum sind. Anschließend werden umfangreiche Exams durchgeführt, um zu zeigen, dass die erweiterten D-Anpassungsmethoden die Lernrate schnell anpassen, was zu besseren Konvergenzraten und Optimierungsergebnissen führt.
Die modern Strategie des Groups besteht darin, den Fehlerterm der D-Anpassung mit Adagrad-ähnlichen Schrittgrößen zu optimieren. Forscher können jetzt mit Zuversicht größere Schritte unternehmen und gleichzeitig den Hauptfehlerterm beibehalten, sodass die verbesserte Methode schneller konvergieren kann. Der Algorithmus wird langsamer, wenn der Nenner in der Schrittweite zu groß wird. Somit erhöhen sie für alle Fälle zusätzlich das Gewicht neben den Steigungen.
Die Forscher nutzten die vorgeschlagenen Techniken, um in ihrer empirischen Untersuchung konvexe logistische Regression und schwerwiegende Lernherausforderungen zu lösen. In mehreren Studien hat Prodigy eine schnellere Akzeptanz gezeigt als alle anderen bekannten Ansätze; D-Adaptation mit Zurücksetzen erreicht die gleiche theoretische Geschwindigkeit wie Prodigy, verwendet jedoch eine viel einfachere Theorie als Prodigy oder D-Adaptation. Darüber hinaus übertreffen die vorgeschlagenen Methoden häufig den D-Anpassungsalgorithmus und können eine Testgenauigkeit erzielen, die mit der von Hand abgestimmten Adam-Methode vergleichbar ist.
Zwei kürzlich vorgeschlagene Methoden haben den hochmodernen D-Adaption-Ansatz der Lernratenanpassung übertroffen. Umfangreiche experimentelle Beweise zeigen, dass Prodigy, eine gewichtete D-Anpassungsvariante, adaptiver ist als bestehende Ansätze. Es wird gezeigt, dass die zweite Methode, D-Adaptation mit Zurücksetzen, das theoretische Tempo von Prodigy mit einer weitaus weniger komplexen Theorie erreichen kann.
Besuche die Papier. Vergessen Sie nicht, mitzumachen unser 25k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Dhanshree Shenwai ist Informatikingenieur und verfügt über gute Erfahrung in FinTech-Unternehmen in den Bereichen Finanzen, Karten & Zahlungen und Bankwesen mit großem Interesse an Anwendungen von KI. Sie ist begeistert davon, neue Technologien und Fortschritte in der sich entwickelnden Welt von heute zu erforschen, um das Leben aller einfacher zu machen.
