3D-Vision-Technologie – 3D-Matching

Deep 3D Matching

Mit diesem Feature bietet HALCON eine Deep-Learning-basierte Marktneuheit für den Bereich 3D-Vision, insbesondere für Bin-Picking und Pick-and-Place-Anwendungen. 

Dieses Feature ist besonders robust bei der Bestimmung der genauen Position und Drehlage eines gelernten Objektes und zeichnet sich dabei durch sehr geringen Parametrisierungsaufwand und schnelle Ausführzeit aus. Je nach Anforderung an die Genauigkeit können für die Positionsbestimmung eine oder mehrere kosteneffiziente Standard-2D-Kameras verwendet werden. Das Training erfolgt ausschließlich auf synthetischen Daten, welche aus einem CAD-Modell generiert werden. Weiteres Training ist somit nicht erforderlich.

In HALCON 24.11 können Kunden dieses Feature bereits ausführen – um das Modell zu trainieren und Anwendungen zu evaluieren, können sie sich jederzeit an MVTec wenden. Training und Evaluierung innerhalb von HALCON werden im nächsten Release folgen.

Generischer Box Finder

Für Pick-and-Place-Anwendungen stellt HALCON den generischen Box Finder zur Verfügung. Dieses Feature ermöglicht es, in einem vordefinierten Raum mit bestimmter Höhe, Breite und Tiefe Boxen unterschiedlicher Größe zu lokalisieren, ohne dass ein Modell trainiert werden muss. Dies macht viele Anwendungen deutlich effizienter – vor allem in der Logistik- und Pharmaindustrie, wo oft Boxen in den unterschiedlichsten Größen eingesetzt werden.

Eine weitere Anwendungsmöglichkeit ist das Messen geometrischer Eigenschaften und die Lokalisierung von Defekten auf komplexen 3D-Objekten nach Durchführung des 3D-Alignment.

Form- und oberflächenbasiertes 3D Matching

Um die 3D-Lage anhand von gewöhnlichen Bildern zu bestimmen, kommt formbasiertes 3D-Matching zum Einsatz:

Dieses erweitert die Anwendungsmöglichkeiten des formbasierten Matchings von 2D zu 3D, indem mehrere 2D-Ansichten des dreidimensionalen Objekts (repräsentiert durch das CAD-Modell) verwendet werden. Zur Bestimmung der 3D-Lage mithilfe von 3D-Abstandsbildern wird oberflächenbasiertes 3D-Matching verwendet. Diese Technologie kombiniert Daten aus 3D-Punktwolken mit Kanteninformationen aus 3D-Abstandsbildern. Dadurch ermöglicht es eine robuste Lagebestimmung auch bei glatten Oberflächen ohne markante Kanten, die in gewöhnlichen Bildern keine signifikanten Grauwert-Kanten zeigen würden. Um eine möglichst hohe zu erzielen, bieten beide Methoden eine Feinjustierung der Position im dreidimensionalen Raum an.