Finde den Fehler, bevor er passiert: Santosh Thoduka promovierte zu Visual Failure Detection in der Robotik

Fehler aus der Perspektive des Roboters erkennen

Im Mittelpunkt der Forschung steht eine einfache, aber wirkungsvolle Idee: Roboter können lernen, Fehler zu erkennen, indem sie visuelle Informationen aus ihrer eigenen Perspektive analysieren. Diese Fehler reichen vom Verrutschen oder Fallenlassen von Gegenständen über erfolglose Greifversuche bis hin zu subtilen Problemen auf Aufgabenebene, wie beispielsweise der fehlgeschlagenen Übergabe eines Gegenstands an eine Person.

Um dies zu untersuchen, entwickelte Santosh Thoduka neue Datensätze, darunter den „Handover Failure Detection“-Datensatz, und nutzte zudem etablierte Benchmarks wie den ARMBench-Datensatz aus einer Amazon-Lagerumgebung. Die Ergebnisse zeigen, dass Videodaten allein bereits aussagekräftige Hinweise zur Identifizierung von Fehlern liefern – die Leistung verbessert sich jedoch erheblich, wenn sie mit zusätzlichen sensorischen Eingaben wie Kraft-Drehmoment- und taktilen Daten sowie kontextbezogenen Aufgabeninformationen (z. B. erwartete menschliche Handlungen während der Interaktion) kombiniert werden.

Mit Blick auf die Zukunft unterstreicht die Arbeit die wachsende Bedeutung groß angelegter Vision-Language- und Vision-Language-Action-Modelle, von denen erwartet wird, dass sie eine Schlüsselrolle dabei spielen, Robotern ein besseres Verständnis komplexer Situationen in der realen Welt und eine angemessene Reaktion darauf zu ermöglichen.
 

Verteidigung und Prüfungsausschuss

Die Verteidigung der Doktorarbeit fand vor einem hochkarätigen Prüfungsausschuss statt, bestehend aus Prof. Dr. Maren Bennewitz (Universität Bonn, Vorsitzende), Prof. Dr. Jürgen Gall (Universität Bonn, Betreuer), Prof. Dr. Paul G. Plöger (H-BRS, Betreuer) und Prof. Dr. Christoph Hanhart (Universität Bonn / Forschungszentrum Jülich). An der Veranstaltung nahmen Kollegen aus Wissenschaft und Forschung teil, darunter Mitglieder der Computer Vision Group der Universität Bonn, des Fraunhofer IAIS und der H-BRS.
 

Karriereplan:Weiterführende Forschung im Bereich multimodaler KI

Nach dem erfolgreichen Abschluss seiner Promotion wird Santosh Thoduka seine Tätigkeit als Forschungsingenieur am Fraunhofer IAIS fortsetzen und im Team von Prof. Sebastian Houben an der Entwicklung multimodaler Grundmodelle mitwirken.