Roboter lernen mit Gegenständen umzugehen: neue Entwicklungen und Chancen

ORIGINALARBEIT Elektrotechnik & Informationstechnik (2017) 134/6: 304–311. DOI 10.1007/s00502-017-0515-1 Roboter lernen mit Gegenständen umzugehen: neue Entwicklungen und Chancen M. Vincze, M. Zillich, J. Prankl Für den zukünftigen Einsatz von Robotern fordern Experten aus der Industrie Roboter, die sicher sind und dem Benutzer eine klare Rückmeldung geben, was der Roboter macht und warum. Eine der wichtigsten Funktionen, um dies zu erreichen, ist die zuverlässige Erkennung der Umgebung, um den Roboter mit einem besseren Verstehen der Welt auszustatten. In diesem Artikel geben wir eine Übersicht derzeitiger Entwicklungen. Mit der stetig ansteigenden Rechenleistung und neuen bildgebenden Sensoren, wie Stereooder Tiefenbildkameras, steigen die Möglichkeiten, Objekte und deren Umgebung immer besser und besser zu erkennen und zu verstehen. So können aus Bilddatenbanken eine große Anzahl an Objekten gelernt und auch wieder erkannt werden. Des Weiteren ist es möglich, Modelle auch aus den 3D CAD Daten von Objekten zu lernen. Dadurch können Klassen von Objekten erkannt werden, ohne vorher einzelne Objekte modellieren zu müssen. Zusätzlich können aus Beispielen die typischen Einrichtungsgegenstände wie Tische, Montageplätze oder Stühle und Kästen gelernt werden. Damit wird es möglich, Robotern ein erstes Verständnis der Umgebung mitzugeben. Dadurch eröffnen sich neue Anwendungen sowohl für Industrieroboter als auch Service–Roboter in der Industrie, im Bereich von Dienstleistungen und auch für zukünftige Roboter zu Hause. Schlüsselwörter: Objekterkennung; Szenenverstehen; Klassifikation Robots learn to handle objects: new developments and chances. Experts predict that future robot applications will require safe and predictable operation: robots will need to be able to explain what they are doing to be trusted. To reach this goal, they will need to perceive their environment and its object to understand better the world and task they have to perform. This article gives an overview of present advances with the focus on options to model, detect, classify, track, grasp and manipulate objects. With the approach of colour and depth (RGB-D) cameras and the approaches in deep learning, robot vision was pushed considerably over the last years. It is possible to model and recognise objects, though prove in industrial settings is yet outstanding. Given a first detection of larger structures such as tables, chairs or assembly places, relations between object and setting can be obtained leading to a first interpretation of the scenes. We highlight present developments and point out future developments towards service and industrial robotics applications. Keywords: object detection; scene understanding; classification Eingegangen am 9. August 2017, angenommen am 15. September 2017, online publiziert am 18. September 2017 © The Author(s) 2017. Dieser Artikel ist auf Springerlink.com mit Open Access verfügbar 1. Einleitung Zwei Richtungen prägen derzeit die Entwicklung in der Robotik. Dank neuer Sicherheitsmerkmale, wie nachgiebiger Arme, Kraftsensoren in Gelenken und berührungsempfindlicher Haut, kommen Industrieroboter hinter den Zäunen hervor. Dadurch entstehen neue Anwendungen in der Kooperation zwischen Roboter und Mensch in der Fertigung. Und dank besserer Methoden basierend auf künstlicher Intelligenz, wie in der Bildverarbeitung, Navigation oder Pfadplanung, ist zu erwarten, dass Roboter in Service-Anwendugen mehr und mehr neben den Menschen arbeiten und helfen werden. Beispiele hiefür sind Roboter in Pflegeheimen zur Unterstützung des Personals, Roboter in Geschäften beim Empfang, und auch Roboter zu Hause die über die Staubsaugroboter hinaus vielfältige Tätigkeiten ausführen werden wie zum Bespiel Dinge vom Boden aufzuheben [3]. Für diese beiden Arten von zukünftigen Roboteranwendungen fordern Experten, dass die Roboter sicher sind und dem Benutzer eine klare Rückmeldung geben [26]. Letzteres ist vor allem wichtig, um Vertrauen in die neuen Roboter zu bekommen. Nur so wird es gelingen, dass sich Roboter nahtlos in Fertigungsprozesse und eine 304 heft 6.2017 © The Author(s) Zusammenarbeit mit dem Menschen einfügen werden, also zukünftige, vertrauenswürdige Roboter. Eine der wichtigsten Funktionen um Vertrauen zu erreichen ist die zuverlässige Erkennung der Umgebung. Nur so werden Roboter mit einem besseren Verstehen der Welt ausgestattet und können mit dem Menschen arbeiten und den Menschen in seiner Arbeit unterstützen. Im industriellen Umfeld spricht man von einer Kooperation von Mensch und Roboter mit einer klaren Übergabe und Trennung der Aufgaben. Dies heißt aber auch, dass man vertrauenswürdigen Roboter nicht nur vertrauen, sondern auch etwas zutrauen kann. Wozu ein gewisses Verstehen der Umwelt Voraussetzung ist. Zum Verstehen der Umgebung eines Roboters tragen zuletzt Entwicklungen insbesondere in der Bildverarbeitung bei. Mit der ste- Vincze, Markus, Technische Universität Wien, Institut für Automatisierungs- und Regelungstechnik, Gußhausstraße 25-25a, 1040 Wien, Österreich (E-Mail: ); Zillich, Michael, Technische Universität Wien, Institut für Automatisierungs- und Regelungstechnik, Gußhausstraße 25-25a, 1040 Wien, Österreich; Prankl, Johann, Technische Universität Wien, Institut für Automatisierungsund Regelungstechnik, Gußhausstraße 25-25a, 1040 Wien, Österreich e&i elektrotechnik und informationstechnik ORIGINALARBEIT M. Vincze et al. Roboter lernen mit Gegenständen umzugehen. . . Abb. 1. Der situierte Ansatz zum Verstehen von Szenen: jede Information wie Boden, Grenzen und Wände, horizontale Ebenen, etc., werden verwendet, um Methoden zur Erkennung von Objekten mit Wissen aus der Situation zu verbessern und zuverlässiger zu machen. Ziel des Ansatzes ist es, jeden Teil der Szene semantisch erklären zu können tig ansteigenden Rechenleistung und neuen bildgebenden Sensoren, wie Stereo- oder Tiefenbildkameras, steigen die Möglichkeiten Objekte und deren Umgebung immer besser und besser zu erkennen und zu verstehen. So können aus Bilddatenbanken eine große Anzahl an Objekten gelernt werden und auch wieder erkannt werden. Dies ermöglicht den Einsatz in Service Anwendungen, wo der Mensch Bilder aufnimmt und Informationen zu den aufgenommen Gegenständen erhält. Diese Entwickelungen treiben aber auch Anwendungen im Sehen für Roboter voran. So können Objekte komplett aus allen Richtungen modelliert werden und diese Modelle für eine Objekterkennung aber auch die Verfolgung der Bewegung des Objektes verwendet werden. Des Weiteren ist es möglich, Modelle auch aus den 3D CAD Daten von Objekten zu lernen. Dadurch können Klassen von Objekten erkannt werden, ohne vorher einzelne Objekte modellieren zu müssen. Zusätzlich können aus Beispielen die typischen Einrichtungsgegenstände wie Tische, Montageeinrichtungen oder Stühle und Kästen gelernt werden. Damit wird es möglich Robotern ein erstes Verständnis der Umgebung mitzugeben. In diesem Beitrag geben wir einen Einblick (...truncated)