3D-Objekterkennung mit Jetson Nano und Integration mit KUKA KR6-Roboter für autonomes Pick-and-Place

Bildverarbeitungssysteme bieten innovative Lösungen für den Fertigungsprozess. Kameras und zugehörige Bildverarbeitungssysteme können zur Identifizierung, Prüfung und Lokalisierung von Teilen auf einem Förderband oder in einem Behälter mit Teilen eingesetzt werden. Roboter werden dann eingesetzt,um jedes Teil aufzunehmen und im Montagebereich zu platzieren oder sogar um die Grundmontage direkt durchzuführen. Das System für dieses Projekt besteht aus einem Roboter Kuka KR6 900, der die Position (x-, y- und z-Koordinaten des Objektschwerpunkts) und die Ausrichtung eines Bauteils von einem Bildverarbeitungssystem basierend auf einem Jetson Nano erhält. Das Ziel dieses Projekts ist es, eine automatische Erkennung eines Objekts mit Hilfe einer 2D-Kamera und der Auswertung mit dem Deep Learning Algorithmus Darknet YOLO V4 durchzuführen, so dass der Roboter das Objekt greifen und platzieren kann. Dieses Projekt verwendet zwei verschiedene Objekttypen: einen Quader und einen Zylinder. Die Bilderkennung erfolgt mit Hilfe des Jetson Nano, dort erfolgt aus den Pixelkoordinaten die Berechnung der realen Koordinaten, die dann über die TCP/IP-Schnittstelle des Kuka KR6 900 zur Durchführung der Entnahme und Platzierung übermittelt werden. Die Flexibilität des Roboters, dessen Steuerung auf diese Weise von der Bildverarbeitung unterstützt wird, kann den Bedarf an präzise konstruierten Teilezuführungen verringern und so die Flexibilität in der Fertigungszelle erhöhen und kurze Produktionsläufe und Anpassungsfähigkeit ermöglichen.