Das menschliche Auge ist ein wunderbares Organ, das das Sehen ermöglicht und wichtige Umweltdaten speichert. Normalerweise nutzen sie ihre Augen als zwei Linsen, um Licht auf die lichtempfindlichen Zellen zu richten, aus denen ihre Netzhaut besteht. Wenn sie jedoch jemand anderem in die Augen blicken würden, könnten sie auch das von der Hornhaut reflektierte Licht sehen. Wenn sie mit einer Kamera die Augen einer anderen Individual fotografieren, verwandeln sie ihre Augen im Bildgebungssystem in ein Spiegelpaar. Da das Licht, das die Netzhaut des Betrachters erreicht, und das Licht, das von seinen Augen reflektiert wird, aus derselben Quelle stammen, sollte seine Kamera Bilder liefern, die Particulars über die Umgebung, die er betrachtet, enthalten.
Ein Bild zweier Augen hat eine Panoramadarstellung der Welt wiederhergestellt, die der Beobachter in früheren Experimenten sieht. Anwendungen wie Neubeleuchtung, Schätzung fokussierter Objekte, Erkennung der Griffposition und Personenerkennung wurden in Folgeuntersuchungen weiter untersucht. Sie fragen sich, ob sie in der Lage sind, angesichts der aktuellen Entwicklungen in der 3D-Imaginative and prescient und -Grafik mehr als nur eine einzelne Panorama-Umgebungskarte zu rekonstruieren oder Muster zu erkennen. Ist es möglich, die Realität des Betrachters in drei Dimensionen wiederherzustellen? Diese Arbeit geht auf diese Bedenken ein, indem sie aus einer Reihe von Augenbildern eine 3D-Szene erstellt. Sie beginnen mit dem Wissen, dass ihre Augen bei natürlichen Bewegungen ihres Kopfes Informationen aus verschiedenen Blickwinkeln erfassen und reflektieren.
Forscher der College of Maryland bieten eine brandneue Technik zur Erstellung von 3D-Rekonstruktionen der Umgebung eines Beobachters aus Augenscans an und verbinden dabei bahnbrechende Arbeiten der Vergangenheit mit den neuesten Entwicklungen im neuronalen Rendering. Ihre Methode verwendet eine stationäre Kamera und extrahiert die Multi-View-Hinweise aus Augenbildern. Gleichzeitig erfolgt eine Kopfbewegung, im Gegensatz zum üblichen NeRF-Erfassungsaufbau, der eine bewegte Kamera erfordert, um Multi-View-Informationen zu erfassen (häufig gefolgt von einer Schätzung der Kameraposition). Auch wenn das Konzept einfach ist, ist die Wiederherstellung eines 3D-NeRF aus Augenbildern in der Praxis schwierig. Die anfängliche Schwierigkeit besteht in der Quellentrennung. Sie müssen zwischen Reflexionen und den komplexen Iristexturen des menschlichen Auges unterscheiden.
Aufgrund dieser komplizierten Muster wird der 3D-Rekonstruktionsprozess mehrdeutig. Die von ihnen gesammelten visuellen Bilder sind untrennbar mit Iristexturen vermischt, im Gegensatz zu den sauberen Fotos der Szene, die normalerweise bei regulären Aufnahmen erwartet werden. Diese Zusammensetzung erschwert die Rekonstruktionstechnik, wodurch die Pixelkorrelation beeinträchtigt wird. Eine zweite Schwierigkeit stellt die Einschätzung der Hornhauthaltung dar. Die Augen sind klein und anhand von Bildbeobachtungen schwer genau zu lokalisieren. Die Präzision ihrer Positionen und 3D-Ausrichtungen ist jedoch für die Rekonstruktion mehrerer Ansichten von entscheidender Bedeutung.
Um diese Schwierigkeiten zu überwinden, nutzen die Autoren dieser Studie NeRF für das Coaching von Augenbildern neu, indem sie zwei wesentliche Elemente hinzufügen: a) Texturzerlegung, die ein kurzes Radial nutzt, bevor es einfacher wird, die Iristextur vom gesamten Strahlungsfeld zu unterscheiden, und b) Verfeinerung der Augenhaltung, die die Genauigkeit der Haltungsschätzung trotz der Schwierigkeiten verbessert, die sich aus der geringen Größe der Augen ergeben. Sie erstellen einen synthetischen Datensatz einer komplexen Innenumgebung mit Fotos, die die Reflexion einer künstlichen Hornhaut mit realistischer Textur einfangen, um die Leistung und Wirksamkeit ihrer Technik zu beurteilen. Sie verwenden auch einen realen Aufbau mit mehreren Gegenständen, um Augenbilder zu machen. Sie führen umfangreiche Untersuchungen an künstlichen und tatsächlich gesammelten Augenbildern durch, um verschiedene Designentscheidungen in ihrer Methodik zu unterstützen.
Dies sind ihre Hauptbeiträge:
• Sie bieten eine brandneue Technik zur Erstellung von 3D-Rekonstruktionen der Umgebung eines Beobachters aus Augenscans und verbinden dabei bahnbrechende Arbeiten der Vergangenheit mit den neuesten Entwicklungen im neuronalen Rendering.
• Sie verbessern die Qualität des rekonstruierten Strahlungsfeldes erheblich, indem sie einen radialen Prior für die Aufschlüsselung der Iristextur in Augenbildern einführen.
• Sie lösen das spezielle Drawback der Erfassung von Merkmalen menschlicher Augen, indem sie einen Prozess zur Verfeinerung der Hornhautlage entwickeln, der verrauschte Lageschätzungen von Augäpfeln reduziert.
Diese Entwicklungen erweitern den Umfang der 3D-Szenenrekonstruktion durch neuronales Rendering, um teilweise verfälschte Bildbeobachtungen zu verarbeiten, die aus Augenreflexionen gewonnen werden. Dies schafft neue Möglichkeiten für Forschung und Entwicklung im breiteren Bereich der Unfallbildgebung, um 3D-Szenen außerhalb der sichtbaren Sichtlinie sichtbar zu machen und zu erfassen. Auf ihrer Web site gibt es mehrere Movies, die ihre Entwicklungen in Aktion zeigen.
Besuche die Papier Und Projekt. Vergessen Sie nicht, mitzumachen unser 24k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
Empfohlene Instruments Aus AI Tools Club
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Aneesh Tickoo ist Beratungspraktikantin bei MarktechPost. Derzeit absolviert er seinen Bachelor-Abschluss in Datenwissenschaft und künstlicher Intelligenz am Indian Institute of Know-how (IIT) in Bhilai. Die meiste Zeit verbringt er mit der Arbeit an Projekten, die darauf abzielen, die Leistungsfähigkeit des maschinellen Lernens zu nutzen. Sein Forschungsinteresse gilt der Bildverarbeitung und er ist leidenschaftlich daran interessiert, Lösungen dafür zu entwickeln. Er liebt es, mit Menschen in Kontakt zu treten und an interessanten Projekten mitzuarbeiten.
