3D-Digitalisierung Vollautomatische robotergestützte 3D-Erfassung ohne Teaching

Robotergestützte Systeme zur 3D-Erfassung von Objekten und Bauteilen sind seit gerau­mer Zeit verfügbar. Charakteristisch für sie ist, dass sie ein Teaching benötigen. Bei Bauteilen der Losgrösse 1 rentiert es sich u. U. nicht, den Roboter mit dem Pfad zur Erfassung des Objektes anzulernen – in dieser Zeit kann das Objekt ggf. auch per Handscanner erfasst werden.

Das Fraunhofer-Institut für Graphische Datenverarbeitung IGD präsentiert das erste robotergestützte System, das Objekte komplett mit gewünschter Qualität vollautomatisch erfasst. Ohne manuelle Nachbearbeitung generiert das System hochgenaue farb­echte 3D-Modelle. Der Schlüssel zur Voll­automation sind eigens von Fraunhofer entwickelte Algorithmen zur dynamischen Pfadplanung der Ansichten des Roboters, aus denen das Objekt erfasst wird. Die intelligente automatische Ansichtenplanung stellt eine vollständige Abdeckung der sichtbaren Objektoberfläche in gewünschter Zielauflösung bis 10 Mikrometer sicher. Das System ist zur vollautomatischen Erfassung von Kulturgegenständen wegen seiner einfachen Bedienbarkeit und hohen Güte bereits in mehreren Museen im Einsatz und auch für die Qualitätssicherung einsetzbar.

Einleitung

Durch die Verfügbarkeit preiswerter Hardware kann heute praktisch jeder, der ein Smartphone besitzt, seine Umwelt dreidimensional digital erfassen – das ist fast so einfach geworden, wie ein Foto zu machen. Auf dem Weg zur Demokratisierung der 3D-​Erfassung war die Kinect von Microsoft sicherlich mitentscheidend. Heute sind deren Prinzipien in vielen Smartphones zu finden. Je nach Anwendung ist neben der Geome­trie des Objektes auch sein Aussehen relevant, so dass zusätzlich zu Tiefenbildern herkömmliche zweidimensionale Farbbilder erfasst werden.

Bildergalerie

Bildergalerie mit 7 Bildern

In der industriellen 3D-Erfassung und Qualitätskontrolle kommen je nach Anforderungen unterschiedlichste Ansätze und Systeme zum Einsatz – diese fallen in die beiden grossen Klassen der berührungslosen bzw. nicht berührungslosen Systeme. Taktile Koordinatenmessmaschinen werden hauptsächlich zur hochgenauen punktuellen Abtastung gefertigter Features eingesetzt. Berührungsfreie Systeme hingegen werden eher zur grossflächigen 3D-Rekonstruktion von Oberflächen eingesetzt – eine vollständige Erfassung ergibt sich aus dem Zusammensetzen der aus verschiedenen Ansichten erfassten Teiloberflächen.

Es müssen also viele Aufnahmen mit unterschiedlicher Position und Orientierung des Sensors (einer oder mehrerer Kameras) gemacht werden, um die Oberfläche vollständig zu erfassen und 3D-rekonstruieren zu können, um ein 3D-Modell von dem physischen Objekt zu erhalten. Recht einfach ist der Erfassungsprozess mit handgeführten 3D-Scannern, die manuell um das Objekt bewegt werden.

Je nach Form und Grösse muss der Benutzer den Scanner über viele unterschiedliche Positionen und Orientierungen bewegen, um alle sichtbaren Oberflächen oder auch nur die aufgabenrelevanten Bereiche zu erfassen – die Datenverarbeitung erfolgt dabei häufig im Stream, so dass der Benutzer zusehen kann, wie das digitale Abbild immer kompletter wird. Vollständigkeit und Qualität des Ergebnisses hängen u. a. von der Erfahrung des Benutzers ab – die Wiederholgenauigkeit auch.

Der Benutzer ist während des Prozesses «gebunden» und kann nichts anderes tun – im Unterschied zum Vorgehen mit robotergestützten Ansätzen.

Da man sich in industriellen Prozessen zur Qualitätssicherung nicht auf die Erfahrung oder auch Tagesform von Menschen verlassen möchte, sind Schritte zur Automatisierung solcher Prozesse unternommen worden.

Die erste Stufe bilden Kombinationen von 3D-Scannern und Drehtellern, die das Objekt vor dem Scanner rotieren lassen, so dass automa­tisch ein grösserer Teil der Ober­fläche als aus einer Perspektive erfasst werden kann. Eine zweite Stufe kombiniert den Drehteller mit einem Scanner, der auto­matisiert linear nach oben bzw. unten verfahren werden kann – dadurch kann noch mehr erfasst, aber keine vollständige Erfassung der sichtbaren Oberfläche ohne Umpositionierung des Objekts garantiert werden. In der dritten Stufe fährt der Roboter individuelle Positionen und Orientierungen an. Aus diesen werden jeweils Aufnahmen gemacht, um das Objekt möglichst vollständig zu erfassen.

Dem Roboter in einem Teachingprozess diese Positionen und Orientierungen beizubringen, ist aufwendig. Sind nur wenige Objekte eines Typs zu vermessen, dann rentiert sich das Teaching möglicherweise nicht.

Die eigentliche Herausforderung besteht aber darin, die notwendigen Positionen und Orientierungen zu bestimmen, die trainiert werden müssen, um eine vollständige Rekonstruktion in gewünschter Güte zu erreichen und dabei die Anzahl von Positionen und Orientierungen minimal zu halten, um einen möglichst schnellen Ablauf des Scanvorgangs zu gewährleisten.

Genau hier setzt die Lösung an und ermöglicht eine vollautomatische 3D-Erfassung ohne vorheriges Teaching. Nach dem Aufbau des Systems erfolgt ein Kalibrierungsschritt. Danach muss der Benutzer nur noch die Höhe des Bereichs eingeben, der erfasst werden soll – der Durchmesser ist per default durch den Drehteller gegeben und kann vom Benutzer überschrieben werden. Der Prozess startet, nachdem der Benutzer das Objekt platziert hat, «mit einem Mausklick» und läuft dann vollautomatisch ab. Währenddessen kann der Bediener anderen Aufgaben nachgehen – eine Visualisierung informiert über den Fortschritt bzw. das Ende des Prozesses. Standardmässig setzen wir Photogrammetrie ein. Während die Generierung des hochauflösenden finalen 3D-Modells läuft, kann ggf. schon ein nächstes Objekt erfasst werden.

Die Lösung

Hardwareseitig besteht die Lösung im Wesentlichen aus einem Roboterarm, einem Drehteller und einem Scansystem – das ist zunächst nicht ungewöhnlich. Die Hardware zeichnet sich durch Flexibilität und einen Aufbau aus, der so einfach wie möglich gestaltet ist, so dass auch Nicht-Fachkräfte ihn problemlos durchführen können.

Der Clou liegt in der intelligenten Algorithmik, die den Prozess individuell dynamisch – also in Abhängigkeit von der bereits erfassten Information – steuert und weitere Schritte so anpasst, dass mit einer möglichst minimalen Anzahl von Kamerapositionen und -orientierungen eine maximale Ab­deckung der sichtbaren Oberfläche in der vordefinierten Zielauflösung erreicht wird. Es ist also kein Teaching des Roboters er­forderlich! Eine Datenbereinigung, wie oft bei handgeführten Scannern nötig, wird automatisch durchgeführt, so dass ein 3D-Modell resultiert, an dem qualitätssichernde Untersuchun­gen durchgeführt werden können, welches als farbiges 3D-Modell, aber auch für andere Zwecke genutzt werden kann.

Hardwarekomponenten

Wir unterscheiden die Hardwarekomponenten in Erfassungs- und Positionierungsgeräte. Beide werden von Algorithmen synchronisiert und gesteuert. Die Algorithmen laufen auf einem Standard-PC.

Für die Erfassung kombinieren wir eine hochauflösende Fotokamera mit einem massgeschneiderten Ringlicht und einem optionalen Hintergrundlicht. Die Kamera ist eine PhaseOne iXH (150 MP). Das Ringlicht verfügt über ein D50-Spektrum, das ideal für eine farbechte Erfassung ist. Es erlaubt, Polarisations­filter anzubringen, um spekulare Oberflächen besser erfassen zu können.

Für die Positionierung wird ein leichter Roboterarm (Universal Robots UR10 oder UR20), der die Kamera hält, mit einem Drehteller kombiniert, auf dem das Objekt platziert ist. So kann das Objekt von allen Seiten erfasst werden, während die Bewegungen der Kamera auf eine Seite des Drehtellers beschränkt bleiben.

Der Roboterarm muss nicht «über das Objekt greifen», um es von der gegenüberliegenden Seite zu erfassen – somit lässt sich mit kleineren Reichweiten und günstigeren Robotern arbeiten. Hohlräume werden – so weit wie von aussen einsehbar – erfasst, da die Kamera mit dem Roboterarm in quasi beliebige Orientierungen und Positionen «gefahren» werden kann.

Da das zu erfassende Objekte keinesfalls beschädigt werden darf, treffen wir bereits auf Hardware-Ebene dafür Vorkehrungen: Bremsen, die unter Strom geöffnet bleiben, blockieren die Gelenke des Roboterarms im Falle eines Stromausfalls. Die Software stellt sicher, dass keine Kollisionen während des Scan-Vorgangs auftreten. Das trägt nicht nur zu der Sicherheit des Objektes, sondern auch der des Arbeitsplatzes bei.

Das 3D-Erfassungssystem ist in zwei Varianten erhältlich:

• eine leichte, kompakte Desktop-Version, die eine Nutzlast von bis zu 100 kg trägt und ein Digitalisierungsvolumen von etwa 80 cm in der Höhe und einem Durchmesser von 60 cm bietet, sowie

• eine schwerere, ausklappbare Version, die mit einem frei positionierbaren Bodendrehteller ausgestattet ist und eine Nutzlast von bis zu 1000 kg, ein Liftkit für den Roboterarm und einen «Pilz» für den Drehteller bietet. Diese Konfiguration ermöglicht es, Objekte von z. B. der Grösse einer Schraube bis hin zu einer Fahrzeugachse in einem Digitalisierungsvolumen von etwa 230 cm Höhe und 130 cm Durchmesser zu erfassen.

An dem Drehteller können Spannvorrichtungen befestigt werden, um Objekte zu fixieren, die nicht von selbst stehen bleiben.

Beide Varianten sind mobil und können schnell an neuen Standorten eingerichtet werden. Auch andere Kamera-Objektiv-Kombinationen sind möglich.

Alle relevanten Hardwarekomponenten wurden im Entwicklungsprozess des Systems modelliert, simuliert und in eine einheitliche virtuelle 3D-Umgebung integriert, die Software-Bestandteil des Komplettsystems ist.

Softwarekomponenten

Der Schlüssel zum automatisierten Prozess ist ein dynamischer Ansatz zur Ansichtenplanung für die Kamera. Dieser stellt eine optimale Anzahl von Positionen und Orientierungen (Posen) sicher, um die gesamte sicht­bare Oberfläche mit einer vordefinierten Zielauflösung zu erfassen. Dabei werden alle durch den photogrammetrischen Ansatz gegebenen Anforderungen beachtet, wie z. B. 70% Überlappung benachbarter Bilder für ausreichend Merkmalsübereinstimmungen. Auch wird ein konsistenter Abstand zwischen der Oberfläche des Objekts und der Fokusebene der Kamera eingehalten.

Während des Prozesses wird kontinuierlich die Bildschärfe analysiert. Es werden nur die Bildregionen für die 3D-Rekonstruktion verwendet, die sich im Schärfebereich der Kamera befinden. Diese Informationen gehen fortwährend in den Prozess zur Ansichtenberechnung ein.

Die Software visualisiert für den Benutzer die aktuelle Roboterpose und den entsprechenden Kamerawinkel. Dazu verarbeitet sie Sensordaten des Roboters in Echtzeit, um ein für den Menschen verständliches virtuelles 3D-Abbild der realen Situation zu erstellen. Darüber hinaus zeigt die Software die nächsten berechneten (geplanten) Ansichten in der virtuellen 3D-Szene als grünes, semitransparentes Overlay.

Zwischenergebnisse der Rekonstruktion werden innerhalb des zuvor definierten und ebenfalls visualisierten Sicherheitszylinders rund um das Objekt dargestellt. Sie bilden eine Vorschau auf das resultierende 3D-Modell – diese Darstellung wird kontinuierlich aktualisiert.

Nicht nur die Positionen und Orientierungen für die Bildaufnahme müssen errechnet werden, sondern auch die Roboterwege zwischen diesen. Zu diesem Zweck wurden Techniken der Vorwärts- und Rückwärtskinematik implementiert. Diese berechnen die Robotertrajektorien so, dass auf dem Weg von einer zur darauffolgenden Pose eine möglichst schnelle, aber sichere – also kollisionsfreie – Bewegung erfolgt. Kameraperspek­tiven, die eine Kollision zur Folge hätten, werden verworfen bzw. angepasst. Alle Roboterkompo­nenten sind mit Kollisions­erkennungssystemen ausgestattet, um Kollisionen zu vermeiden.

Initiale Kalibrierung

Nach dem Aufbau des Systems wird eine automatische Selbstkalibrierung durchgeführt, die die folgenden drei Schritte umfasst:

• 1. Kalibrierung der Kameraintrinsiken

• 2. Roboterarm-Sensor-Kalibrierung

• 3. Kalibrierung des Drehtellers

Diese geometrische Kalibrierung ist nötig, um die Präzision der 3D-Ergebnisse zu gewährleisten.

Zunächst werden die Kameraintrinsiken ermittelt, um das tatsächliche Sichtfeld zu bestimmen und Verzerrungen der Linse zu korrigieren. Anschliessend wird die Roboterarm-Sensor-Transformation zwischen dem optischen Zentrum der Kamera (dem Sensor) und dem Werkzeugrahmen des Roboters (dem Arm) festgelegt. Somit ist das optische Zentrum der Kamera relativ zur Basis des Roboterarms bestimmt. Schliesslich ergibt die Kalibrierung des Drehtellers dessen Position im Raum und die Rotationsachse des Scan-​Volumens. Nachdem das Kalibrier-Target auf den Drehteller gelegt und der Prozess per Mausklick gestartet worden ist, werden alle Kalibrierungsdaten automatisch bestimmt.

Anschliessend werden die Farbeigenschaften der Kamera ermittelt, indem ein Farb-Target, wie z. B. der X-Rite ColourChecker SG für Standard-Setups oder das Rez Checker Target für Makro-Setups, platziert wird. Der Benutzer wird über das User Interface jederzeit über die erforderlichen Handlungen und den Fortgang der Kalibrierung informiert.

Bildaufnahme und 3D-Rekonstruktion

Die 3D-Scanning-Station rekonstruiert 3D-​Modelle mithilfe von Photogrammetrie. Die erfassten Rohdaten bestehen aus hochauflösenden Bildern des Objekts. Structure-​from-Motion und Multi-View-Stereo werden verwendet, um Merkmale zu identifizieren und 3D-Informationen zu triangulieren. Die hohe Qualität des finalen 3D-Modells wird dadurch erreicht, dass die Posen für den Roboter so berechnet werden, dass alle von aussen sichtbaren Anteile der Oberfläche vollständig – aus mindestens vier Richtungen – erfasst werden. Typische erreichbare Auflösungen des 3D-Modells liegen im Bereich von 10–15 μm. Für eine optimale Auflösung können fokussierte Kamera-Makro-Objektive verwendet werden – auch für Objekte, die grösser sind als das Messvolumen der Kamera (definiert durch Sichtfeld und Schärfentiefe).

Typischerweise wird pro Bild nur ein Teil der aufgenommenen Objektoberfläche scharf abgebildet. Daher werden viele Bilder benötigt, um sie insgesamt hochauflösend und scharf abzudecken. Für den Nutzer bedeutet dies, sich im Vorfeld für einen Kompromiss aus Scanzeit und Zielqualität zu entscheiden, der seine 3D-Digitalisierziele bestmöglich erfüllt.

Mit einer 150-Megapixel-Phase-One-iXH-​Kamera erfassen wir bei 14 Bit Farbtiefe und vier Kanälen 1,2 Bilder pro Sekunde, also rund 4300 Bilder pro Stunde. Für die weitere Verarbeitung werden die Bilder über die 10-Gbit-Ethernet-Verbindung der Kamera übertragen und abgelegt. Die Erfassungs­rate wird hauptsächlich durch die Übertragungsgeschwindigkeit der Kamera fest­gelegt.

Um eine möglichst hohe Erfassungsrate zu erreichen, werden die von der dynamischen Ansichtenplanung für den aktuellen Scanschritt fortwährend berechneten, aufzunehmenden Posen stets nach ihrer Nähe zueinander sortiert. Transitionen von einer Pose zur nächsten werden unter Berücksichtigung der Übertragungsdauer der Bilder von der Kamera zum PC auf dem kürzesten Weg angefahren.

Die Dauer der 3D-Rekonstruktion eines farbigen 3D-Modells in voller Auflösung dauert mittels Photogrammetrie im Vergleich zu anderen 3D-Rekonstruktionsmethoden, wie strukturiertem Licht oder Lasertriangulierung, relativ lang. Für komplexe Objekte kann die 3D-Rekonstruktion mehrere Stunden in Anspruch nehmen – währenddessen kann aber bereits das nächste Objekt erfasst werden. Während des Scan-Prozesses berechnen wir zwischenzeitlich niedriger aufgelöste Modelle, um

• auf diesen approximativen 3D-Modellen Entscheidungen für die Ansichtenplanung zu treffen und

• den Benutzer über den Fortschritt und das aktuelle Aussehen des 3D-Modells zu informieren.

Intelligente dynamische Ansichten­planung statt Teaching

Um den Benutzer davon zu befreien, alle Kameraposen zu bestimmen, die nötig sind, um ein Objekt komplett zu erfassen und dann einen Roboter zu teachen, haben wir eine intelligente dynamische Ansichtenplanung entwickelt und implementiert. D. h., der Roboter arbeitet autonom. Somit liefert die Ansichten­planung auch einen Beitrag zur autonomen Robotik.

Die Ansichtsplanung berechnet einen möglichst minimalen Satz von Kameraposen, um alle von aussen sichtbaren Objektoberflächenteile komplett zu erfassen, die nötig sind, um eine 3D-Modell mit gewünschter Qualität zu rekonstruieren.

Die Ansichtenplanung kann als Optimierungsproblem betrachtet werden, das darauf abzielt, die Gesamtqualität des Modells zu maximieren, die Anzahl der Aufnahmen zu minimieren und während des Prozesses auch noch die Sicherheitsanforderungen einzuhalten.

Das Verfahren ist inkrementell und implementiert einen Rückkopplungsprozess von Planung, Erfassung und Rekonstruktion, wobei zwischenzeitliche Rekonstruktionen die nachfolgenden Planungsschritte beeinflussen. Eine Herausforderung war, eine Qualitätsmetrik zu finden, die während des Scan-Prozesses auf Zwischenergebnissen bestimmt werden kann und eine zuverlässige Abschätzung der Qualität des endgültigen 3D-Modells liefert.

Nach den anfänglichen Benutzereingaben von Durchmesser und Höhe des Objektes/Scanvolumens wird ein initialer Satz von Ansichten berechnet. Bild 3 zeigt eine erste 3D-Rekonstruktion aus dem anfänglichen Schnellscan mit 40 Bildern niedriger Auflösung.

Das System bewertet automatisch die Dichte der Punktwolke, identifiziert Bereiche mit niedriger Dichte und Löchern (rot hervorgehoben) und solche mit ausreichend dichten Punkten (blau dargestellt). Weniger dichte Bereiche kommen zustande durch Verdeckungen oder an parallel zur Kamerablickrichtung ausgerichteten Stellen. Basierend auf den approximativen 3D-Rekonstruktionen wird während des Prozesses die Menge der weiteren anzusteuernden Ansichten geplant.

Zu diesem Zweck werden die Kameraparameter aus der Kalibrierung und Rende­ring-Techniken verwendet, um die Effekte der Ansichtskandidaten zu simulieren. Bild 3 zeigt, wie die Schärfentiefe der Kamera auf das Objekt abgebildet wird.

Es werden die Kandidaten ausgewählt, die die Fläche im Fokus für Bereiche mit niedriger Dichte maximieren. Der Roboter wird angesteuert, um die nächste Scan-Phase durchzuführen. Währenddessen wird die 3D-Rekonstruktion aktualisiert. Dieser iterative Prozess wird fortgesetzt, bis die gewünschte Oberflächendichte erreicht ist.

Empirisch haben wir eine starke Korrelation zwischen den Dichtebestimmungen auf den approximativen 3D-Rekonstruktionen und der Oberflächenqualität des resultierenden finalen 3D-Modells beobachtet. Darüber hinaus ist entscheidend, dass die aufgenommenen Bilder scharf sind, d. h., der Abstand von Kamera zum Objekt vom Roboter exakt eingehalten wird, da wir bewusst auf die Verwendung von Autofokus-Objektiven zugunsten der Qualität und Schärfe der Bilder verzichten.

Ergebnisse

Am Ende des Digitalisierprozesses steht die finale 3D-Rekonstruktion des Objekts. Das zu digitalisierende Objekt kann mit Auflösungen von bis zu 10 μm erfasst werden, die sich im hochauflösenden 3D-Modell widerspiegeln. Die finalen Ergebnisse können im Anschluss visualisiert und analysiert werden (siehe Bild 4).

Die 3D-Modelle sind ohne manuelle Nachbearbeitung entstanden. Da das System in einer geschlossenen Umgebung arbei­tet und alle Bestandteile des Systems inkl. ihrer Geometrien bekannt sind, können 3D-Punkte, die zu der Umgebung gehören, automatisch herausgefiltert werden. Auf den 3D-Modellen können dann Analysen erfolgen, wie z. B. ein Soll-Ist-Vergleich mit dem nominalen CAD-Modell oder Tiefenmes­sungen an Oberflächenstrukturen etc. Aus den 3D-Modellen können automatisch gröber aufgelöste Modelle abgeleitet werden, die z. B. für Visualisierungs- und Präsentationszweck dienen können.

Zusammenfassung und Ausblick

Die Nachfrage nach wirtschaftlicher und genauer 3D-Erfassung von Objekten und Bauteilen steigt schnell, nicht nur für und in der Qualitätssicherung, sondern auch für interaktive Online-Visualisierungen, virtuelle Realität etc. Gleichzeitig wird mit dem steigenden Bedarf der Mangel an Fachkräften immer augenfälliger, so dass nur autonome vollautomatische Systeme mittelfristig die Nachfrage nach 3D-Erfassung decken können.

Wir haben die erste vollautomatisierte und farbechte Lösung zur robotergestützten 3D-Erfassung und effizienten Weiterverarbeitung von 3D-Daten und Bildern entwickelt, welche wiederholbar hohe Qualität bei vordefinierter Zielauflösung ohne manuelle Nachbearbeitung für die finalen 3D-Modelle erreicht.

Dabei entstehen «Nebenprodukte» wie 3D-Webmodelle, gerenderte Videos und 3D-Druckmodelle – wenn gewünscht – ebenfalls automatisch.

Das System ist äusserst flexibel und kann auf verschiedene Weise konfiguriert werden, wodurch es als Plattform für zukünftige Verbesserungen und die Integration weiterer Messtechnologien, wie z. B. für volumetrische Messsensoren und Ultraschall, dienen kann. Die Kombination aus intelligenter Algorithmik und autonomer Robotik stellt einen bedeutenden Beitrag zum Fortschritt innovativer Digitalisierungstechnologien dar.

Die hier vorgestellte Lösung wird von unserer Ausgründung, der Ve­rus Digital GmbH, insbesondere in der Branche Kreativ- und Kulturwirtschaft, vermarktet, während das Fraunhofer IGD weiterhin erster Ansprechpartner für Weiterentwicklungen des Systems ist.

Über den Weg des Technologietransfers hat das Fraunhofer IGD die dieser Lösung zugrunde liegenden Konzepte bereits erfolgreich auf andere Anwendungsfelder übertragen – auch unter Nutzung von Echtzeit-Lasertriangulation. Beispielsweise wurde die erste vollautomatische, robotergestützte Dekontaminationsanlage für individuelle, mittels Höchstdruckwasserstrahl zu entschich­tende Baugruppen im Rückbau von Kernkraftwerken in Biblis von der RWE Nuclear GmbH in Betrieb genommen. Weiteren anforderungsgerechten Anpassungen stehen wir als unabhängige Institution offen gegenüber.

(ID:50347773)