Die Essenz einer Rose besteht aus ihrer einzigartigen Geometrie, Textur und Materialzusammensetzung. Damit lassen sich Rosen unterschiedlicher Größe und Type in verschiedenen Positionen und mit vielfältigen Lichteffekten gestalten. Selbst wenn jede Rose einen eindeutigen Satz an Pixelwerten hat, können wir sie dennoch als Mitglieder derselben Klasse identifizieren.
Mithilfe der Daten eines einzelnen Fotos hoffen Forscher aus Stanford, Oxford und Cornell Tech, ein Modell zu erstellen, mit dem sich neue Formen und Bilder aus unterschiedlichen Perspektiven und Lichtverhältnissen erzeugen lassen.
Der Lösung dieser Problemstellung stehen drei Hindernisse im Wege:
- Das Drawback der Inferenz ist äußerst unverbindlich, da der Trainingsdatensatz nur ein Bild enthält und dieses nur über einige hundert Instanzen verfügt.
- Unter diesen wenigen Umständen kann es einen weiten Bereich möglicher Pixelwerte geben. Dies liegt daran, dass weder die Haltungen noch die Lichtverhältnisse notiert wurden oder bekannt sind.
- Keine zwei Rosen sind gleich und es besteht die Notwendigkeit, die Verteilung ihrer Type, Textur und ihres Supplies zu erfassen, um die zugrunde liegenden Multi-View-Informationen zu nutzen. Daher sind die Objektintrinsiken, die abgeleitet werden sollen, eher probabilistisch als deterministisch. Im Vergleich zu aktuellen Multi-View-Rekonstruktions- oder neuronalen Rendering-Ansätzen für ein statisches Objekt oder eine statische Szene ist dies eine erhebliche Abweichung.
Der vorgeschlagene Ansatz nimmt Objektintrinsiken als Ausgangspunkt, um Verzerrungen bei der Modellerstellung hervorzurufen. Diese Regeln bestehen aus zwei Teilen:
- Die darzustellenden Instanzen sollten alle die gleiche Objektintrinsik oder Verteilung von Geometrie, Textur und Materials aufweisen.
- Die intrinsischen Eigenschaften sind nicht voneinander getrennt, sondern auf eine bestimmte Weise miteinander verknüpft, wie sie durch eine Rendering-Engine und letztendlich durch die physische Welt definiert wird.
Genauer gesagt nimmt ihr Modell ein einzelnes Eingabebild und lernt mithilfe einer Sammlung von Instanzmasken und einer bestimmten Posenverteilung der Instanzen eine neuronale Darstellung der Verteilung über die 3D-Type, die Oberflächenalbedo und den Glanz des Objekts und eliminiert so die Effekte von Posen- und Beleuchtungsschwankungen. Diese physikalisch begründete, explizite Entflechtung hilft ihnen bei der kurzen Erklärung der Fälle. Dadurch kann das Modell Objekteigenschaften erfassen, ohne die spärlichen Beobachtungen, die ein einzelnes Bild liefert, zu stark anzupassen.
Wie die Forscher erwähnen, ermöglicht das resultierende Modell vielfältige Einsatzmöglichkeiten. Beispielsweise können neue Instanzen mit unterschiedlichen Identitäten durch zufällige Stichproben aus den gelernten Objektintrinsics generiert werden. Durch Anpassen dieser externen Elemente können die synthetischen Instanzen mit neuen Kamerawinkeln und Beleuchtungseinstellungen neu gerendert werden.
Das Group führte gründliche Assessments durch, um die verbesserte Formrekonstruktions- und Generierungsleistung des Modells, die modern Ansichtssynthese und die Neubeleuchtung zu demonstrieren.
Besuche die Papier, GithubUnd Projektseite. Vergessen Sie nicht, mitzumachen unser 25k+ ML SubReddit, Discord-Kanal, Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder uns etwas entgangen ist, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com
🚀 Schauen Sie sich 100 KI-Tools im AI Tools Club an
Dhanshree Shenwai ist Informatikingenieur und verfügt über gute Erfahrung in FinTech-Unternehmen in den Bereichen Finanzen, Karten & Zahlungen und Bankwesen mit großem Interesse an Anwendungen von KI. Sie ist begeistert davon, neue Technologien und Fortschritte in der sich entwickelnden Welt von heute zu erforschen, um das Leben aller einfacher zu machen.
