EL470: Computer Vision

Nach erfolgreichem Abschluss des Moduls sind die Studierenden in der Lage,

• die Abbildung einer Szene in ein Bild mit projektiver Geometrie (2D, 3D) und dem Lochkameramodell einschließlich Linsenverzeichnung mathematisch zu beschreiben, Homographien zu schätzen und Kameras zu kalibrieren;
• aussagefähige Bildmerkmale (Kanten, Ecken, Blobs, lokale Deskriptoren) zu extrahieren, robust zuzuordnen und zu registrieren (z. B. mit RANSAC) und für eine gegebene Aufgabe ein geeignetes Verfahren auszuwählen;
• Bilder mit klassischen und lernbasierten Verfahren in homogene oder semantisch zusammengehörige Bereiche zu segmentieren und die Ergebnisse quantitativ zu bewerten;
• aus mehreren Kamerabildern mit Epipolargeometrie, Stereo, Structure from Motion und visueller Odometrie 3D-Strukturen und Kamerabewegungen zu rekonstruieren und deren Genauigkeit zu beurteilen;
• Klassifikations- und Detektionsverfahren – von Klassifikatoren auf Bildmerkmalen bis zu Convolutional Neural Networks und vortrainierten Foundation Models – anzuwenden, mit geeigneten Metriken und leckagefreien Datensplits zu evaluieren und Fehlerfälle zu analysieren;
• die Funktionsweise generativer und multimodaler Modelle (Diffusionsmodelle, Vision-Language- und Vision-Language-Action-Modelle) zu erklären und ihre Möglichkeiten und Grenzen einzuschätzen;
• kamerabasierte Systeme für Anwendungen wie intelligente Fahrzeuge, Robotik, Videoüberwachung, Mensch-Maschine-Schnittstellen und Qualitätskontrolle zu analysieren, zu entwerfen, mit aktuellen Werkzeugen (z. B. Python, OpenCV, PyTorch) umzusetzen und in Betrieb zu nehmen.

Die Studierenden sind in der Lage,

• sich neue Methoden eigenständig aus der wissenschaftlichen Literatur anzueignen und auf neue, unvertraute und fachübergreifende Problemstellungen zu übertragen;
• für eine Problemstellung begründet zwischen geometrischen, klassischen und lernbasierten Verfahren zu wählen;
• die nötigen Arbeitsschritte zu identifizieren und Experimente zielgerichtet zu planen und durchzuführen (Baseline, Ablation, leckagefreie Datensplits, Robustheitstests);
• Ergebnisse einschließlich Rechenaufwand kritisch zu bewerten und ihren Arbeitsprozess – auch beim Einsatz von KI-Assistenten – methodisch zu reflektieren.

Die Studierenden können

• ihren Lernstand anhand der Programmierübungen selbst einschätzen und Lücken gezielt schließen;
• ihre eigenen Fähigkeiten und Fertigkeiten reflektieren, sie zielorientiert in Projekte einbringen und den eigenen Arbeitsaufwand realistisch planen;
• Grenzen und Fehlerfälle ihrer Lösungen offen benennen und verantwortungsvoll mit Daten umgehen (Datenschutz, Lizenzen).

Die Studierenden können

• Fachinhalte adäquat verbalisieren und Fachdiskussionen mit Peers führen;
• im Team mit agilen Methoden (Scrum, Kanban-Board in GitLab) zusammenarbeiten sowie konstruktive Code-Reviews geben und annehmen;
• Ergebnisse zielgruppengerecht präsentieren, z. B. in einem Pitch und am Poster auf der Projektvernissage.

• Bildentstehung und Bilder als Signale; mathematische Grundlagen und Notation
• Projektive Geometrie (2D, 3D): homogene Koordinaten, Transformationen, Homographien
• Kameramodell und Kamerakalibrierung: Lochkamera, Linsenverzeichnung, Kalibrierung nach Zhang
• Merkmalsextraktion und -matching: Ecken, Blobs, lokale Deskriptoren, robuste Schätzung (RANSAC)
• Kanten, Linien und Bildsegmentierung: Kantendetektion, Hough-Transformation, Clustering- und graphbasierte Segmentierung
• Klassifikation und Detektion: k-NN, lineare Klassifikatoren, Evaluation; neuronale Netze und CNNs; Objektdetektion, semantische und Instanzsegmentierung, Foundation Models
• 3D-Rekonstruktion: Epipolargeometrie, Stereo, Structure from Motion
• Bewegungsschätzung und Tracking: visuelle Odometrie, Grundlagen von SLAM
• Algorithmen auf Punktwolken: Triangulation, Fusion, 3D-Repräsentationen
• Bildgenerierung mit Diffusionsmodellen
• Vision-Language- und Vision-Language-Action-Modelle

Empfohlen: Grundlagen der digitalen Bildverarbeitung (z. B. Filterung, Faltung), lineare Algebra, Analysis und Wahrscheinlichkeitsrechnung auf Bachelorniveau sowie Programmierkenntnisse in Python (insbesondere NumPy). Grundkenntnisse im maschinellen Lernen sind hilfreich.

• Forsyth, D. A.; Ponce, J.: Computer Vision: A Modern Approach. 2. Aufl. Pearson, 2012.
• Gonzalez, R. C.; Woods, R. E.: Digital Image Processing. 4. Aufl. Pearson, 2018.
• Hartley, R.; Zisserman, A.: Multiple View Geometry in Computer Vision. 2. Aufl. Cambridge University Press, 2004.
• Prince, S. J. D.: Understanding Deep Learning. MIT Press, 2023.
• Szeliski, R.: Computer Vision: Algorithms and Applications. 2. Aufl. Springer, 2022.
• Torralba, A.; Isola, P.; Freeman, W. T.: Foundations of Computer Vision. MIT Press, 2024.