- Adaptive Testzeitverteidigung mit der Mannigfaltigkeitshypothese (arXiv)
Autor: Zhaoyuan Yang, Zhiwei Xu, Jing Zhang, Richard Hartley, Peter Tu
Zusammenfassung: In dieser Arbeit formulieren wir unter Verwendung der Mannigfaltigkeitshypothese einen neuartigen Rahmen für die Robustheit von Gegnern. Unser Rahmenwerk bietet ausreichende Voraussetzungen für die Abwehr kontradiktorischer Beispiele. Wir entwickeln eine Testzeit-Verteidigungsmethode mit Variationsinferenz und unserer Formulierung. Der entwickelte Ansatz kombiniert vielfältiges Lernen mit Variationsinferenz, um gegnerische Robustheit zu gewährleisten, ohne dass ein gegnerisches Coaching erforderlich ist. Wir zeigen, dass unser Ansatz eine gegnerische Robustheit bieten kann, selbst wenn Angreifer sich der Existenz einer Testzeitverteidigung bewusst sind. Darüber hinaus kann unser Ansatz auch als Testzeit-Abwehrmechanismus für Variations-Autoencoder dienen.
2. Überprüfung der Hypothese der Vereinigung der Mannigfaltigkeiten für Bilddaten (arXiv)
Autor: Bradley CA Brown, Anthony L. Caterini, Brendan Leigh Ross, Jesse C. Cresswell, Gabriel Loaiza-Ganem
Zusammenfassung: Deep Studying hat enorme Erfolge beim Erlernen niedrigdimensionaler Darstellungen hochdimensionaler Daten erzielt. Dieser Erfolg wäre unmöglich, wenn in den interessierenden Daten keine verborgene niedrigdimensionale Struktur vorhanden wäre; Diese Existenz wird durch die Mannigfaltigkeitshypothese postuliert, die besagt, dass die Daten auf einer unbekannten Mannigfaltigkeit mit geringer intrinsischer Dimension liegen. In diesem Artikel argumentieren wir, dass diese Hypothese die niedrigdimensionale Struktur, die typischerweise in Bilddaten vorhanden ist, nicht richtig erfasst. Die Annahme, dass Daten auf einer einzelnen Mannigfaltigkeit liegen, impliziert, dass die intrinsische Dimension im gesamten Datenraum identisch ist und nicht zulässt, dass Teilbereiche dieses Raums eine unterschiedliche Anzahl von Variationsfaktoren aufweisen. Um diesen Mangel zu beheben, betrachten wir die Hypothese der Vereinigung von Mannigfaltigkeiten, die besagt, dass Daten auf einer disjunkten Vereinigung von Mannigfaltigkeiten mit unterschiedlichen intrinsischen Dimensionen liegen. Wir überprüfen diese Hypothese empirisch anhand häufig verwendeter Bilddatensätze und stellen fest, dass die beobachteten Daten tatsächlich auf einem nicht zusammenhängenden Satz liegen und dass die intrinsische Dimension nicht konstant ist. Wir geben auch Einblicke in die Implikationen der Hypothese der Vereinigung von Mannigfaltigkeiten im überwachten und unbeaufsichtigten Deep Studying und zeigen, dass das Entwerfen von Modellen mit einer induktiven Tendenz für diese Struktur die Leistung bei Klassifizierungs- und generativen Modellierungsaufgaben verbessert. Unser Code ist verfügbar unter https://github.com/layer6ai-labs/UoMH
