- Das Beste aus beiden Welten: Hybride SNN-ANN-Architektur für ereignisbasierte Schätzung des optischen Flusses (arXiv)
Autor: Shubham Negi, Deepika Sharma, Adarsh Kumar Kosta, Kaushik Roy
Zusammenfassung: Ereignisbasierte Kameras bieten eine stromsparende Different zu bildbasierten Kameras für die Erfassung von Hochgeschwindigkeitsbewegungen und Szenen mit hohem Dynamikbereich. Sie stellen asynchrone Streams spärlicher Ereignisse bereit. Spiking Neural Networks (SNNs) mit ihrer asynchronen ereignisgesteuerten Berechnung zeigen großes Potenzial für die Extraktion der räumlich-zeitlichen Merkmale aus diesen Ereignisströmen. Im Gegensatz dazu sind die standardmäßigen analogen neuronalen Netze (ANNs1) nicht in der Lage, Ereignisdaten effektiv zu verarbeiten. Das Coaching von SNNs ist jedoch aufgrund zusätzlicher trainierbarer Parameter (Schwellenwerte und Lecks), verschwindender Spitzen in tieferen Schichten, nicht differenzierbarer binärer Aktivierungsfunktionen usw. schwierig. Darüber hinaus muss eine zusätzliche Datenstruktur „Membranpotential“ vorhanden sein, die für die Verfolgung zeitlicher Informationen verantwortlich ist zu jedem Zeitpunkt in SNNs abgerufen und aktualisiert werden. Um diese zu überwinden, schlagen wir eine neuartige SNN-ANN-Hybridarchitektur vor, die die Stärken beider vereint. Insbesondere nutzen wir die asynchronen Rechenfunktionen von SNN-Schichten, um die eingegebenen zeitlichen Informationen effektiv zu extrahieren. Während die ANN-Schichten problemloses Coaching und Implementierung auf Standardhardware für maschinelles Lernen wie GPUs bieten. Wir bieten umfangreiche experimentelle Analysen für die Zuweisung jeder Schicht als Spike- oder Analogschicht an, was zu einer Netzwerkkonfiguration führt, die für Leistung und einfache Schulung optimiert ist. Wir bewerten unsere Hybridarchitekturen für die Schätzung des optischen Flusses anhand von Ereignisdaten aus DSEC-Fluss- und MVSEC-Datensätzen (Mutli-Automobile Stereo Occasion-Digital camera). Die Ergebnisse zeigen, dass unsere konfigurierten Hybridarchitekturen die hochmodernen reinen ANN-, reinen SNN- und früheren Hybridarchitekturen sowohl hinsichtlich der Genauigkeit als auch der Effizienz übertreffen. Insbesondere weist unsere Hybridarchitektur einen um 31 % bzw. 24,8 % geringeren durchschnittlichen Endpunktfehler (AEE) bei 2,1-fach bzw. 3,1-fach geringerer Energie auf, verglichen mit einer reinen SNN-Architektur für DSEC- bzw. MVSEC-Datensätze
2. Parallelisierung der optischen Flussschätzung auf einem RISC-V-Cluster mit extrem geringem Stromverbrauch für die Nano-UAV-Navigation (arXiv)
Autor: Jonas Kühne, Michele Magno, Luca Benini
Zusammenfassung: Die Schätzung des optischen Flusses ist für die autonome Navigation und Lokalisierung unbemannter Luftfahrzeuge (UAV) von entscheidender Bedeutung. Bei Mikro- und Nano-UAVs erfolgt die Echtzeitberechnung des optischen Flusses auf stromsparenden und ressourcenbeschränkten Mikrocontroller-Einheiten (MCUs). Daher wurden leichtgewichtige Algorithmen für den optischen Fluss vorgeschlagen, die auf die Echtzeitausführung auf herkömmlichen Single-Core-MCUs abzielen. In diesem Artikel wird eine effiziente Parallelisierungsstrategie für die Berechnung des optischen Flusses vorgestellt, die auf RISC-V-basierte Multicore-Mikrocontrollereinheiten der neuen Technology mit geringem Stromverbrauch abzielt. Unser Ansatz ermöglicht höhere Bildraten bei niedrigeren Taktraten. Es wurde auf dem Acht-Kern-Cluster einer kommerziellen Octa-Core-MCU (GAP8) implementiert und evaluiert und erreichte einen Parallelisierungs-Beschleunigungsfaktor von 7,21, was eine Bildrate von 500 Bildern professional Sekunde bei Betrieb mit einer Taktfrequenz von 50 MHz ermöglicht. Der vorgeschlagene parallele Algorithmus steigert die Kamerabildrate bei unbemannten Mikroflugzeugen erheblich, was höhere Fluggeschwindigkeiten ermöglicht: Die maximale Fluggeschwindigkeit kann verdoppelt werden, während weniger als ein Drittel der Taktfrequenz früherer Single-Core-Implementierungen verwendet wird
