- Zu den Fallstricken von RemOve-And-Retrain: Perspektive der Datenverarbeitungsungleichheit (arXiv)
Autor: Junhwa-Lied, Keumgang Cha, Junghoon Seo
Zusammenfassung: Ansätze zur Bewertung von Approximationen der Merkmalsbedeutung, auch Attributionsmethoden genannt, wurden in einer Vielzahl von Kontexten etabliert. Die Entwicklung belastbarer Techniken für Leistungsbenchmarking stellt ein zentrales Anliegen im Bereich des erklärbaren Deep Studying dar. Diese Studie untersucht die Zuverlässigkeit des RemOve-And-Retrain (ROAR)-Verfahrens, das überwiegend zur Messung der Leistung von Merkmalswichtigkeitsschätzungen eingesetzt wird. Die aus unseren theoretischen Grundlagen und empirischen Untersuchungen gewonnenen Erkenntnisse zeigen, dass Attributionen, die weniger Informationen über die Entscheidungsfunktion enthalten, bei ROAR-Benchmarks bessere Ergebnisse liefern können, was im Widerspruch zur ursprünglichen Absicht von ROAR steht. Dieses Vorkommen wird in ähnlicher Weise bei der kürzlich eingeführten Variante RemOve-And-Debias (ROAD) beobachtet, und wir gehen von einem anhaltenden Muster der Unschärfeverzerrung in den ROAR-Attributionsmetriken aus. Unsere Ergebnisse dienen als Warnung vor einer wahllosen Verwendung von ROAR-Metriken. Der Code ist als Open Supply verfügbar
2. Die Integralformel für die relative Quantenentropie impliziert eine Datenverarbeitungsungleichheit (arXiv)
Autor: Péter E. Frenkel
Zusammenfassung: Integrale Darstellungen der relativen Quantenentropie und der Richtungsableitungen zweiter und höherer Ordnung der von Neumann-Entropie werden erstellt und verwendet, um einfache Beweise für grundlegende, bekannte Datenverarbeitungsungleichungen zu liefern: die Holevo-Grenze für die übertragene Informationsmenge ein Quantenkommunikationskanal und, viel allgemeiner, die Monotonie der relativen Quantenentropie unter spurenerhaltenden positiven linearen Karten – eine vollständige Positivität der Karte muss nicht angenommen werden. Letzteres Ergebnis wurde erstmals von Müller-Hermes und Reeb auf der Grundlage der Arbeit von Beigi bewiesen. Für eine einfache Anwendung solcher Monotonien betrachten wir jede „Divergenz“, die bei Quantenmessungen nicht zunimmt, wie etwa die Konkavität der von Neumann-Entropie oder verschiedene bekannte Quantendivergenzen. Ein elegantes Argument von Hiai, Ohya und Tsukada wird verwendet, um zu zeigen, dass das Infimum einer solchen „Divergenz“ auf Paaren von Quantenzuständen mit vorgeschriebenem Spurabstand dasselbe ist wie das entsprechende Infimum auf Paaren binärer klassischer Zustände. Anwendungen der neuen Integralformeln auf das allgemeine Wahrscheinlichkeitsmodell der Informationstheorie und eine verwandte Integralformel für die klassische Rényi-Divergenz werden ebenfalls diskutiert
