Werkstudent (all genders) – Robuste Feed-Forward-3D-Rekonstruktion für dynamische Szenen

2 requirements, read out of the advert rather than guessed from the job title:

• Python
• PyTorch

Also mentioned, not required: Computer Vision, Deep Learning, 3D-Geometrie, Multi-View Vision, Depth Estimation, Optical Flow, Point Clouds, Camera Pose Estimation, NeRF, 3D Gaussian Splatting. Worth having, but their absence is not what gets a CV filtered out.

See how often each of these is required across open data roles in Europe.

Kurzbeschreibung Feed-Forward-Modelle zur 3D-Rekonstruktion können Szenengeometrie direkt aus Bildern oder Videos vorhersagen, ohne eine aufwendige szenenspezifische Optimierung zu benötigen. Durch die Kombination von großskaligem Pre-Training, Multi-View-Reasoning und starken geometrischen Priors stellen sie eine effiziente Alternative zu klassischen Rekonstruktionsverfahren wie Structure-from-Motion, NeRF und optimierungsbasiertem 3D Gaussian Splatting dar. Trotz aktueller Fortschritte reagieren bestehende Modelle weiterhin empfindlich auf anspruchsvolle reale Bedingungen. Verdeckungen, bewegte Objekte, wechselnde Beleuchtung, Nachtaufnahmen, Reflexionen, Regen, Nebel und Schnee können zu unvollständiger Geometrie, unzuverlässigen Korrespondenzen und zeitlich inkonsistenten Vorhersagen führen. Eine höhere Robustheit unter solchen Bedingungen ist daher insbesondere für autonomes Fahren und robotische Wahrnehmung von großer Bedeutung. Als Werkstudent*in unterstützt du die Entwicklung robuster Feed-Forward-Rekonstruktionsmodelle für dynamische Szenen.  Du untersuchst Methoden zur Behandlung von Verdeckungen, Beleuchtungsänderungen und widrigen Wetterbedingungen. Darüber hinaus erforschst du, wie große Rekonstruktionsmodelle als universelle geometrische Backbones für nachgelagerte Aufgaben des 3D-Szenenverständnisses eingesetzt werden können, insbesondere für Semantic Occupancy Prediction und 4D Occupancy Forecasting.

Diese Aufgaben interessieren Dich Entwicklung und Evaluation von Feed-Forward-Modellen zur Rekonstruktion dynamischer 3D-Szenen aus monokularen oder Multi-View-Bildsequenzen.

Untersuchung der Rekonstruktionsrobustheit  bei partiellen und langfristigen Verdeckungen, bewegten Objekten und unvollständigen Beobachtungen.

Entwicklung von Methoden zur Verbesserung der geometrischen Konsistenz bei wechselnder Beleuchtung, schlechten Lichtverhältnissen, Schatten und Reflexionen.

Evaluation und Verbesserung der Modellleistung unter widrigen Wetterbedingungen wie Regen, Nebel, Schnee und eingeschränkter Sicht.

Vergleich der entwickelten Methoden mit relevanten Baselines sowie Dokumentation technischer und experimenteller Ergebnisse.