- Schnelle stochastische zusammengesetzte Minimierung und ein beschleunigter Frank-Wolfe-Algorithmus unter Parallelisierung (arXiv)
Autor: Benjamin Dubois-Taine, Franz Bach, Quentin Berthet, Adrien Taylor
Zusammenfassung: Wir betrachten das Drawback der Minimierung der Summe zweier konvexer Funktionen. Eine dieser Funktionen hat Lipschitz-kontinuierliche Gradienten und kann über stochastische Orakel aufgerufen werden, während die andere „einfach“ ist. Wir stellen einen Algorithmus vom Bregman-Typ mit beschleunigter Konvergenz der Funktionswerte zu einer Kugel bereit, die das Minimal enthält. Der Radius dieser Kugel hängt von problemabhängigen Konstanten ab, einschließlich der Varianz des stochastischen Orakels. Wir zeigen weiterhin, dass dieser algorithmische Aufbau natürlich dazu führt, dass eine Variante von Frank-Wolfe unter Parallelisierung eine Beschleunigung erreicht. Genauer gesagt zeigen wir, dass man bei der Minimierung einer glatten konvexen Funktion auf einem begrenzten Gebiet eine ε-Primal-Twin-Lücke (erwartungsgemäß) in O~(1/ε√)-Iterationen erreichen kann, indem man nur auf Gradienten der ursprünglichen Funktion und zugreift ein lineares Maximierungsorakel mit O(1/ε√) parallelen Recheneinheiten. Wir veranschaulichen diese schnelle Konvergenz anhand synthetischer numerischer Experimente.
2. Komplementäre zusammengesetzte Minimierung, kleine Gradienten in allgemeinen Normen und Anwendungen (arXiv)
Autor: Jelena Diakonikolas, Cristóbal Guzmán
Zusammenfassung: Die zusammengesetzte Minimierung ist ein leistungsstarkes Framework für die konvexe Optimierung im großen Maßstab, das auf der Entkopplung der Zielfunktion in Terme mit strukturell unterschiedlichen Eigenschaften basiert und ein flexibleres algorithmisches Design ermöglicht. Wir stellen einen neuen algorithmischen Rahmen für die komplementäre zusammengesetzte Minimierung vor, bei dem sich die Zielfunktion in einen (schwach) glatten und einen gleichmäßig konvexen Time period entkoppelt. Diese besondere Kind der Entkopplung ist aufgrund ihrer Verbindung zur Regularisierung in der Statistik und im maschinellen Lernen weit verbreitet. Die wesentlichen Beiträge unserer Arbeit sind wie folgt zusammengefasst. Zunächst führen wir das Drawback der komplementären zusammengesetzten Minimierung in allgemein normierten Räumen ein; Zweitens stellen wir ein einheitliches, beschleunigtes Algorithmus-Framework bereit, um breite Klassen komplementärer zusammengesetzter Minimierungsprobleme anzugehen. und drittens beweisen wir, dass die aus unserem Framework resultierenden Algorithmen in den meisten Standardoptimierungseinstellungen nahezu optimum sind. Darüber hinaus zeigen wir, dass unser algorithmischer Rahmen verwendet werden kann, um das Drawback anzugehen, die Gradienten in allgemein normierten Räumen klein zu machen. Als konkretes Beispiel erhalten wir eine nahezu optimale Methode für den Customary-ℓ1-Aufbau (kleine Gradienten in der ℓ∞-Norm), die im Wesentlichen der Grenze von Nesterov (2012) entspricht, die bisher nur für den euklidischen Aufbau bekannt warfare. Abschließend zeigen wir, dass unsere zusammengesetzten Methoden allgemein auf eine Reihe von Regressions- und anderen Klassen von Optimierungsproblemen anwendbar sind, bei denen die Regularisierung eine Schlüsselrolle spielt. Unsere Methoden führen zu Komplexitätsgrenzen, die entweder neu sind oder mit den besten bestehenden übereinstimmen.
