Eine Methode zur Erkennung und Konfiguration der Schweißvollständigkeit in der Automobilkarosserie

Wissenschaftliche Berichte Band 12, Artikelnummer: 7929 (2022) Diesen Artikel zitieren

1542 Zugriffe

8 Zitate

3 Altmetrisch

Details zu den Metriken

Um die Probleme der mangelhaften Schweißvollständigkeit und der ineffizienten Konfiguration defekter Rohbauteile von Kraftfahrzeugen anzugehen, schlagen wir eine Methode zur Erkennung und Konfiguration der Schweißvollständigkeit von Rohbauteilen von Kraftfahrzeugen auf der Grundlage von Digital Twin (DT) und Mixed Reality vor (HERR). Die Methode nutzt DT, um ein MR-orientiertes DT-Framework für die Erkennung und Konfiguration der Vollständigkeit des Schweißens von Karosserierohteilen zu erstellen. Wir schlagen eine Methode zum Aufbau einer DT-Wissensdatenbank für Paneele, eine Yolov4-basierte Methode zur Erkennung der Schweißvollständigkeit und eine MR-basierte Konfigurationsmethode für die Schweißvollständigkeit in Paneelen vor. Unser Team entwickelt ein System zur Erkennung und Konfiguration der Vollständigkeit des Blechschweißens, um die Wirksamkeit der Methode vollständig zu validieren.

Mit der rasanten Entwicklung und Anwendung einer neuen Generation der Informationstechnologie beschleunigt sich die globale Fertigungsindustrie in Richtung Digitalisierung, Vernetzung und Intelligenz. Der intelligenten Fertigung wird in verschiedenen Ländern immer mehr Aufmerksamkeit geschenkt1. Die Schweißvollständigkeit der Rohbauteile als Hauptbestandteil des Fahrzeugs ist der Schlüssel zur Effizienz der Rohbaufertigung. Um die Prozessanforderungen zu erfüllen, müssen Schrauben, Muttern, Passstifte und andere Arten von Teilen an den spezifischen Lochpositionen einiger Bleche angeschweißt werden, bevor sie zu Rohbauteilen verschmolzen werden. Aufgrund der großen Vielfalt an Paneelen und des geringen Volumens an geschweißten Teilen ist es jedoch leicht, geschweißte Teile nur nach dem Urteil des Arbeiters und beim manuellen Schweißen wegzulassen, was dazu führt, dass es schwierig wird, die Schweißintegrität der Paneele sicherzustellen. Derzeit gibt es Einschränkungen bei den Mitteln zur Erkennung und Konfiguration der Vollständigkeit des Schweißens von Rohkarosserien, hauptsächlich in zwei Bereichen:

Es fehlt eine effiziente Methode zur Erkennung der Vollständigkeit der Blechschweißung. Erstens ist die manuelle Erkennung immer noch weit verbreitet, es besteht jedoch eine große Unsicherheit und es ist ein hoher Arbeitsaufwand erforderlich. Darüber hinaus kann der Sensor bei Verwendung eines herkömmlichen Näherungssensors zur Erkennung leicht beschädigt werden, was zu einer geringen Erkennungseffizienz und geringen Genauigkeit führt.

Die Konfigurationsmethode für die Vollständigkeit des Plattenschweißens muss verbessert werden. Derzeit basiert der Anleitungsprozess hauptsächlich auf zweidimensionalen Zeichnungen, während die Ergebnisse in 2D-Grafiken nicht intuitiv sind.

Als neue Methode der intelligenten Fertigungsanwendung besteht Digital Twin (DT) darin, das virtuelle Modell einer physischen Einheit digital durch bidirektionale Zuordnung und Echtzeitinteraktion zwischen physischen Einheiten und virtuellen Modellen zu erstellen und ein optimales Industriedesign zu erreichen Produkte, Simulation der Produktionslinienplanung, Optimierung des Fertigungsprozesses und Steuerung des Servicebetriebs2. Das DT-Konzept wurde erstmals 2003 von Professor Grieves an der University of Michigan in einem PLM-Kurs (Product Lifecycle Management)3 vorgeschlagen. DT wurde in mehr als 40 Bereichen in der Luft- und Raumfahrt, Medizin, Smart City, Smart Building und Automobilherstellung eingesetzt4,5,6,7. Mixed Reality (MR) kann eine virtuell-reale Integrationsdateninteraktion erreichen und bei der Entscheidungsoptimierung durch Echtzeit-Datenerfassung, Szenenkonstruktion und virtuell-reale Registrierung helfen8. Auf DT und MR basierende Fusionserkennungsmethoden können digitale und intelligente Unterstützung für die Vollständigkeitserkennung und -konfiguration von Rohbaublechen bieten und so die Schweißeffizienz von Rohbaublechen effektiv verbessern.

In diesem Artikel wird eine DT-basierte Methode zum Erkennen und Konfigurieren der Schweißvollständigkeit von Rohbaublechen vorgeschlagen. Auf dieser Grundlage entwickelt unser Team ein System, das eine Zusammenführung physikalischer Informationen und eine visuelle Interaktion bei der Vollständigkeitserkennung und -konfiguration des Blechschweißens ermöglicht, was die Effizienz des Rohkarosserienschweißens verbessert. Der Gesamtaufbau des Aufsatzes ist wie folgt: Abschn. 1 fasst die Forschung von Wissenschaftlern zu intelligenten Produktionslinien für digitale Zwillinge und MR-basierter Werkstückqualitätserkennung zusammen. Abschnitt 2 bietet einen Rahmen für die Erkennung und Konfiguration der Schweißvollständigkeit von Rohbauteilen auf Basis von DT. In Abschnitt 3 werden eine Wissensbasis-Konstruktionsmethode für die DT von Rohbaublechen und eine Methode zur Erkennung der Vollständigkeit der Blechschweißung vorgeschlagen. Abschnitt 4 validiert den vorgeschlagenen Ansatz anhand typischer Fälle und bietet eine vergleichende Analyse. Abschnitt 5 fasst die Studie zusammen und gibt Hinweise für zukünftige Forschung.

Der digitale Zwilling für intelligente Produktionslinien im Shopfloor ist einer der aktuellen Forschungsschwerpunkte der Digital-Twin-Technologie. Tao et al.9 schlugen 2017 das Konzept eines Workshops zum digitalen Zwilling vor. Auf dieser Grundlage diskutierten Leng et al.10 die grundlegende Theorie und Schlüsseltechnologie von Workshop-Informationsphysiksystemen, die vom digitalen Zwilling angetrieben werden. Viele Wissenschaftler begannen dann, digitale Zwillingsanwendungen in der Werkstatt zu erforschen, wobei sie sich hauptsächlich auf die Modellierung und Simulation von Produktionslinien in der Werkstatt11,12, die Planungsoptimierung13,14, die visuelle Echtzeitüberwachung15,16 und die Produktionsqualitätskontrolle17,18 konzentrierten. Die theoretische Entwicklung hat die schnelle Anwendung der digitalen Zwillingstechnologie in der intelligenten Produktionslinie der Werkstatt vorangetrieben. In der Automobilfertigungswerkstatt wandten Liu et al.19 die digitale Zwillingstechnologie in der Automobilüberholungswerkstatt an, um ein Ressourcenrecycling zu erreichen. Leng et al.20 verifizierten die ferngesteuerte, nahezu physische Debugging-Methode auf Basis eines digitalen Zwillings über die Smartphone-Fertigungslinie, um das Kompatibilitätsproblem der Produktionslinienausrüstung zu lösen. Li et al.21 schlugen eine Methode zur Modellierung digitaler Zwillinge für Rohkarosserie-Schweißlinien vor, um die Einrichtungs- und Inbetriebnahmezeit der Produktionslinie zu verkürzen. Dou et al.22 nutzten die Digital-Twin-Technologie in einer Produktionslinie für Plattenmöbel mit personalisiertem, individuellem Design, um den Designzyklus zu verkürzen. Son et al.23 entwickelten ein auf digitalen Zwillingen basierendes CPS-System, um die Kapazität der Körperlinie vorherzusagen und die Durchführbarkeit des Zeitplans zu bestimmen. Zusammenfassend lässt sich sagen, dass die Technologie des digitalen Zwillings bei der Gestaltung oder dem Betrieb von Werkstätten und Produktionslinien eingesetzt wird, was sich erheblich auf die Produktionseffizienz und das intellektuelle Niveau von Werkstätten oder Produktionslinien auswirkt.

Die technologiebasierten DT und MR haben Fortschritte in den Bereichen Hilfswartung, Bildung und Sicherheitsschulung, Mensch-Computer-Interaktion und -Kooperation sowie intelligentes Gebäude gemacht. Die meisten relevanten Forschungsergebnisse bleiben jedoch theoretisch und die korrekte Umsetzung steht immer noch vor einigen Herausforderungen24. Zhang et al.25 konstruierten beispielsweise das Hilfswartungsleitsystem für DT-Bergbaumaschinenausrüstung auf der Grundlage von MR-Geräten. Dennoch führte die geringe Genauigkeit der virtuellen und realistischen Registrierung zu einer geringen Wartungseffizienz. Es gibt nur wenige Literatur zur Werkstückqualitätsprüfung auf Basis von DT. Herkömmliche manuelle Erkennungsmittel reichen nicht aus, um die Anforderungen einer effizienten und genauen Qualitätserkennung von Werkstücken zu erfüllen. Gleichzeitig weisen MR-basierte Werkstückerkennungsmethoden die Merkmale einer soliden Informationsvisualisierung und einer hohen Erkennungsfreiheit auf, um die Nachfrage nach einer Werkstückerkennung in Echtzeit zu erfüllen. Vor diesem Hintergrund haben MD Mura et al.26 ein System zur MR-Erkennung von Automobilkarosserieteilen entwickelt, das Arbeiter effizient dabei unterstützen kann, Lücken in den Teilen zu erkennen und Bündigkeitsfehler zu reduzieren. Liu et al.27 kombinierten ein DT-Bearbeitungssystem mit MR, das die Qualität bearbeiteter Teile auf Werkzeugmaschinen in Echtzeit erkennen kann. Die Genauigkeit der Erkennung der Werkstückqualität hängt hauptsächlich von der Erkennungsgenauigkeit der Bildverarbeitungsalgorithmen ab. In den letzten Jahren haben sich bildbasierte Fehlererkennungsalgorithmen bei der Werkstückerkennung in der Automobilindustrie rasant weiterentwickelt. Beispielsweise wendeten Wang et al.28 Deep-Learning-Algorithmen in MR-Systemen zur Qualitätserkennung von Automobilbaugruppen an. Zhou et al.29 entwickelten ein automatisches visuelles Erkennungssystem zur Erkennung von Defekten an der Türoberfläche von Kraftfahrzeugen. Derzeit wurde die damit verbundene Forschung auf die Qualität von Sicherheitsgurten, die Qualität der Karosseriebeschichtung und die Erkennung der Qualität der Karosseriemontage ausgeweitet30,31. Insgesamt wurden MR-basierte Techniken zur Werkstückqualitätserkennung ursprünglich zur Erkennung von Automobilteilen eingesetzt, es mangelt jedoch immer noch an effizienten Methoden, um die Vollständigkeit des Blechschweißens sicherzustellen.

Für das Problem der Schweißnahtintegritätserkennung und -konfiguration wird ein Framework für ein auf digitalen Zwillingen basierendes System zur Erkennung und Konfiguration der Schweißnahtintegrität von Rohbaublechen vorgeschlagen. Wie in Abb. 1 dargestellt, besteht das Framework aus einer physischen Szene, einer digitalen Zwillingsszene und einem MR-System. Zunächst ruft das MR-System mithilfe der Digital-Twin-Technologie die Informationen zur Vollständigkeit der Blechschweißung aus der physischen Szene ab und übergibt die Daten der Blechzwillinge an die Szene des digitalen Zwillings. Zweitens wird das entsprechende Konfigurationsschema für die Vollständigkeit des Blechschweißens aus der Wissensdatenbank zum digitalen Zwilling des Karosserierohbaus abgeglichen. Schließlich werden die Zuordnung und Dateninteraktion zwischen der physischen Szene und der Zwillingsszene realisiert.

Erkennungs- und Konfigurationsrahmen für das Schweißen der Vollständigkeit von Rohbauteilen auf Basis eines digitalen Zwillings.

Die DT-basierte Schweißvollständigkeitserkennung und der Konfigurationsablauf für Karosserierohteile sind unten dargestellt.

Panel-Bilderfassung. Das HoloLens2-Gerät wird verwendet, um die Bild- oder Videodaten der Rohkarosserie in der physischen Szene zu erfassen und die Daten über das HTTP-Protokoll an den Server zu übertragen.

Yolov4-Schweißvollständigkeitserkennung. Zunächst wird der trainierte Yolov4-Erkennungsalgorithmus auf dem Server bereitgestellt. Zweitens wird die Schweißvollständigkeitserkennung anhand der gesammelten Echtzeitinformationen des Panels durchgeführt. Zu den Erkennungsinformationen gehören Fehlertyp, Ort und entsprechende Zuverlässigkeit. Schließlich werden die Erkennungsergebnisse in Bild- und Textinformationen umgewandelt und an den Konfigurationsplan in der digitalen Zwillingsszene übertragen, um die Reparatur der Panelkonfiguration zu steuern.

Konfiguration der Schweißvollständigkeit. Zunächst werden in der Zwillingsszene die Form- und Materialelemente des physikalischen Panels im MR-Sichtfeld analysiert. Zweitens werden die Vuforia-basierten virtuellen und realen Registrierungsfusionsmethoden verwendet, um das Schweißvollständigkeitskonfigurationsschema aus der Wissensdatenbank für digitale Zwillinge des Karosserierohbaus abzugleichen. Das Konfigurationsschema umfasst das Panel-Twin-Modell, das Erkennungsergebnis von Yolov4 und die entsprechenden Reparaturvorschlagsinformationen. Schließlich wird mit Hilfe des MR-Systems das Konfigurationsschema auf den physischen Objekten der angeschlossenen Rohbauteile angezeigt, um den Bediener bei der Durchführung schneller Konfigurationsaufgaben anzuleiten.

In diesem Artikel wird der yolov4-Zielerkennungsalgorithmus verwendet, um die automatische Erkennung der Vollständigkeit des Plattenschweißens zu realisieren, wodurch die Erkennungsgeschwindigkeit der Arbeiter beschleunigt wird. Gleichzeitig nutzt dieser Artikel die virtuelle und reale Registrierungsmethode, um den Konfigurationsplan aus der DT-Wissensdatenbank abzugleichen, wodurch die digitalen und intelligenten Führungsfunktionen der Methode gestärkt werden und es dem Bediener erleichtert wird, das defekte Panel schnell zu reparieren.

Durch den Aufbau einer DT-Wissensdatenbank für Rohbaubleche kann das Erkennungssystem Probleme mit der Vollständigkeit des Blechschweißens aus einer professionelleren Perspektive analysieren. Darüber hinaus bietet es den Betreibern professionelle Konfigurationslösungen, mit denen die Konfiguration von Panels und Teilen effizient abgeschlossen werden kann. Im Vergleich zu textuellen Wissensbasen, die aus textuellen semantischen Daten bestehen, sind grafische Wissensbasen hinsichtlich des Ausdrucks der Wissensstruktur und des logischen Denkens vorteilhafter32. Auf dieser Grundlage nimmt dieser Artikel die Form einer grafischen Wissensdatenbank an, um eine Wissensbasis für die Vollständigkeitserkennung und Konfigurationsprobleme beim Schweißen von Rohkarosserien zu erstellen. Wie in Abb. 2 dargestellt, umfasst die visuelle Wissensbasis hauptsächlich Entitäten, Entitätsbeziehungen und Attribute. Das ER-Wissensdatenbank-Beziehungsmodell wird auf der Grundlage von Attributkomponenten wie Paneltyp, Fehlertyp und Ursache erstellt. Insbesondere werden Panel und Defekt als Entität, Erkennung als Entitätsbeziehung und die Verbindung zweier Entitäten als Viele-zu-Viele-Beziehung M: N betrachtet. Unter diesen enthält die Panel-Entität die Panel-ID und das virtuelle Modell , Panelbild und Panelinformationen usw. Die Fehlerentität weist den Fehlertyp, die Entstehungsursache, das Fehlerbild, die Lösung usw. auf. Darüber hinaus wird die Crow's-Foot-Datenbeziehungstabelle basierend auf dem ER-Beziehungsmodell erstellt. In diesem Artikel nehmen wir das Beispiel einer Rohkarosserie-Armaturentafelkomponente und analysieren, was unter den Attributen der Tafel und der defekten Einheit enthalten ist. Zunächst wird eine relationale Datenbank basierend auf der Beziehungstabelle der Krähenfußdaten erstellt, um eine digitale Zwillings-Wissensbasis für Rohbauteile zu bilden. Anschließend wurde das MRTK-Ressourcenpaket in die Unity 3D-Software importiert und Skripte geschrieben, um die API der Wissensdatenbank aufzurufen. Abschließend wird die App auf HoloLens2 bereitgestellt, wobei diese Wissensdatenbank verwendet wird, um den Bediener bei der Konfiguration und Reparatur anzuleiten.

Aufbau des Körpers in der Wissensdatenbank des weißen digitalen Zwillings.

Das Wissensdatenbank-Leitprogramm lässt sich wie folgt zusammenfassen: Erstens stellen die beiden Entitäten Panel und Defekt Informationen in Bildern, Modellen, Szenendateien usw. bereit. Die Kombination von Informationen wird basierend auf dem ER-Beziehungsmodell formuliert und auf dem HoloLens2 MR-Gerät präsentiert . Anschließend kann der Bediener die ID-Nummer des Panels, das virtuelle Modell, das Standardbild des Panels, die Art des Defekts, die Ursache und die Lösung im Zusammenhang mit der Defektentität des Panels im System abrufen. Schließlich kann der Bediener einen standardisierten und intelligenten Service vom System erhalten, der die Effizienz bei der Konfiguration der Vollständigkeit des Blechschweißens verbessert.

In diesem Artikel wird der Yolov4-Zielerkennungsalgorithmus verwendet, um die Vollständigkeit der Schweißung von Karosserieblechen zu erkennen. Im Vergleich zum herkömmlichen Impanel-Matching-Algorithmus verfügt ersterer über eine stärkere Fähigkeit zur Merkmalsextraktion und zum Lernen sowie unglaublichere Vorteile bei der Erkennungsgeschwindigkeit und -genauigkeit.Yolov4 ist ein von Alexey Bochkovskiy et al.33 vorgeschlagener Zielerkennungsalgorithmus, und im Vergleich zu YOLOv3 führt ersterer Optimierungen durch in Bezug auf das Haupt-Feature-Extraktionsnetzwerk, Feature-Pyramiden und Trainingstipps34. Der Ablauf des Algorithmus ist in Abb. 3 dargestellt.

Yolov4-Netzwerkstruktur.

Der Algorithmus legt die Größe des Bildes am Eingang fest. Da der Downsampling-Parameter 32 beträgt, ist die Größe des Eingabebildes ein Vielfaches von 32.

Das Backbone-Netzwerk verwendet die CSPDarknet53-Methode. Die Methode verwendet die Mish-Aktivierungsfunktion, um Bildfunktionen zu aggregieren. Darüber hinaus optimiert die Methode die Gradienteninformationen, um die Anzahl der Modellparameter zu reduzieren und die Modellinferenzgeschwindigkeit zu verbessern. Unterdessen extrahiert die Drop-Block-Regularisierungsmethode Bildmerkmale, um die Fähigkeit zur Modellverallgemeinerung zu verbessern und eine Überanpassung zu verhindern. Darüber hinaus ist die Mish-Aktivierungsfunktion reibungslos. Es gibt keine positive Grenze, wodurch die Bildinformationen vollständiger an das Netzwerk weitergeleitet werden und die Modellgenauigkeit und Generalisierungsfähigkeit verbessert wird. Die Formel der Mish-Aktivierungsfunktion lautet wie folgt:

Die Halsmerkmalspyramide wird verwendet, um das Backbone-Netzwerk zu verbinden, das das SPP-Modul verwendet, und die FPN + PAN-Methode, um die Bildmerkmale zu extrahieren, zu fusionieren und an die Head-Vorhersageschicht zu übergeben. Insbesondere verwendet das SPP-Modul vier Pooling-Größen: 1 × 1, 5 × 5, 9 × 9 und 13 × 13. Der Pooling-Vorgang vergrößert das Wahrnehmungsfeld und trennt die wichtigsten Kontextmerkmale. Die FPN-Methode extrahiert die Semantik- und Pfadmerkmale iterativ von oben nach unten bzw. von unten nach oben aus dem Bild. Der PAN-Instanzsegmentierungsalgorithmus fügt Bottom-up-Pfade hinzu, fusioniert Feature-Informationen unterschiedlicher Größe und gibt Feature-Maps in drei Maßstäben aus.

Der Kopf wird anhand der Bildmerkmale des Halses vorhergesagt. Zunächst wird ein K-Means-Clustering-Algorithmus verwendet, um den Testrahmen zu erhalten und ihn der Feature-Map zuzuweisen. Anschließend werden die Testrahmen, Konfidenzniveaus und Kategorien nacheinander dekodiert. Schließlich filtert der DIOU_NMS-Algorithmus (Nicht-Maximalwert-Unterdrückung) die Vorhersagerahmen, die den Konfidenzschwellenwert erfüllen, und gibt die Vorhersageergebnisse aus. Dabei ist das Vorhersageergebnis = Position des Erkennungsrahmens + Erkennungsvertrauen + Etikettenkategorie. Die DIOU_NMS-Methode berücksichtigt sowohl die IoU (Schnitt- und Zusammenführungsverhältnis von Erkennungsrahmen zu realen Rahmen) als auch den Mittenabstand zweier Erkennungsrahmen, um die Konvergenzgeschwindigkeit der Verlustfunktion zu beschleunigen35. Die DIOU_NMS-Formel r lautet wie folgt.

wobei \(S_{i}\) den Konfidenzwert der Kategorie bezeichnet, \(B_{i}\) die Menge aller Vorhersageboxen in der Klasse ist, \(\mu\) diejenige mit der höchsten Konfidenz ist und \(B_{i}\) ist das größte Konfidenzniveau und \(\mu\) ist der Screening-Schwellenwert (künstlich festgelegt)

wobei \(R_{{I{\text{o}}U}}\) den kanonischen Term der DIoU-Verlustfunktion bezeichnet. \(\rho\) ist der euklidische Abstand, \(b\) und \(b^{gt}\) sind die Mittelpunktskoordinaten der beiden Prädiktorrahmen. \(c\) bezieht sich auf die Diagonallänge der minimalen externen Matrix der beiden Prädiktorrahmen.

Bildaufnahme. Der Yolov4-Algorithmus in diesem Artikel erkennt Panel-Szenen, die erfasst werden, während der Bediener HoloLens2 auf dem Kopf trägt. Die Qualitätselemente des Bildes oder Videos, z. B. Schärfe, Fokus und Rauschen, abhängig vom HoloLens2-Gerät. Das von HoloLens 2 erfasste Bild- oder Videobeispiel muss wichtige Merkmalsinformationen widerspiegeln, wie z. B. die Form des Panels, die Position der Oberflächenlöcher, Muttern, Bolzen, Positionierungsstifte usw. Darunter beträgt der Single-Shot-Pixel des HoloLens2-Geräts 8 Millionen Die Videoqualität beträgt 1080p 30fps.

Datenvorverarbeitung. Zunächst werden die Videobeispiele gesammelt und die Frames in 5-fps-Intervallen in ein einzelnes Bild segmentiert. Zweitens werden die verschwommenen Bilder und die verstümmelten Bilder der Panelform überprüft und entfernt. Abschließend wird die Schweißvollständigkeit jedes einzelnen Blechs noch einmal klassifiziert. Entsprechend der Größe und Form der verschiedenen Plattenlöcher werden die Proben in sechs Fälle eingeteilt: Muttern, Bolzen, Passstifte mit fehlenden Muttern, fehlende Bolzen und fehlende Passstifte. Das Trainingsmodell übernimmt das Datensatzformat von VOC, einschließlich Originalbildern und Etikettendateien. Die Anzahl der Originalbilder beträgt 1100. Der Datensatz wird erstellt und im Verhältnis 9:1 in den Trainingssatz und den Testsatz aufgeteilt. Daher werden letztendlich 990 Trainingssatzbilder und 110 Testsatzbilder erhalten.

Datenkennzeichnung. Die Beschriftungssoftware wurde verwendet, um die Bilder in den Trainingssatzdaten manuell zu kennzeichnen. Die Muttern, Schrauben, Fixierstifte und die entsprechenden fehlenden Gehäuse wurden markiert, um die Etikettendatei zu erhalten. Die entworfenen Etikettenkategorien sind in Tabelle 1 aufgeführt.

Modelltraining. Hier sind die Informationen zur experimentellen Umgebung: Windows10, Intel(R) Core(TM) i7-8700 CPU mit 3,20 GHz Prozessor, RAM 16G, Grafikkarte NVIDIA GTX1060, Python3.7. Modellparameter werden wie folgt eingestellt. Die Eingabebildgröße beträgt 416 × 416. Der Stapel ist auf 4 und die Etikettenglättung auf 0,05 eingestellt. Die Haltepunkt-Fortsetzungstrainingsmethode wird übernommen. Alle 350 Mal wird ein Haltepunkt festgelegt, es werden vier Haltepunkte festgelegt, nach 350 Trainingseinheiten werden 350 Gewichtsdateien generiert und die beste Gewichtsdatei wird manuell als Anfangsgewichtung des nächsten Haltepunkts ausgewählt. Die Gesamtzahl der Trainingszeiten beträgt 1400 Mal. Während des Tests wird die Konfidenz auf 0,4 und die IOU auf 0,4 eingestellt.

Bewertungsmetriken. In diesem Artikel bewerten wir hauptsächlich die Wirksamkeit des Modelltrainings im Hinblick auf Erkennungsgenauigkeit und Effizienz. Die verwendete Bewertungsmetrik ist die mittlere durchschnittliche Präzision (mAP), die durchschnittliche Erkennungsgenauigkeit AP aller Kategorien und die Anzahl der vom Algorithmus erkannten Bilder pro Sekunde FPS.

Der Bediener taucht mit einem HoloLens2-Gerät auf dem Kopf in die MR-Umgebung ein. Das System in diesem Dokument verwendet einen Vuforia-basierten Virtual-Real-Fusion-Ansatz, gepaart mit einer entsprechenden digitalen Zwillingsführungslösung, kombiniert mit Mensch-Maschine-Interaktion, um eine effiziente Führung für den Bediener zu erreichen.

Die Virtual-Real-Registrierungsfusionstechnologie ist der Schlüssel zur Erzielung einer virtuellen und physischen Fusionsinteraktion. Es ist hauptsächlich in Virtual-Reality-Registrierungsfusion basierend auf maschinellem Sehen, Sensorik und Hybrid-Virtual-Reality-Registrierungsfusion36 unterteilt. In diesem Artikel wird die Szene durch Aufrufen der Hololens2-Kamera erhalten. Daher wird die auf maschinellem Sehen basierende Virtual-Reality-Registrierungsfusionstechnologie übernommen. Die auf maschineller Bildverarbeitung basierende Virtual-Real-Registrierungsfusionstechnik wird in zwei Typen mit und ohne künstliche Marker unterteilt. Die Verankerungsmethoden und -eigenschaften sind in Tabelle 2 aufgeführt. Die auf künstlichen Markern basierende Technik der virtuell-realen Registrierungsfusion erfordert einen physischen Marker oder einen virtuellen Marker, der am Erkennungsziel angebracht ist, um das virtuelle Modell zu verankern. Durch das Scannen von QR-Codes, Kreiscodes oder Hologrammen kann das virtuelle Modell verankert werden. Mit dieser Methode kann eine hohe Registrierungsgenauigkeit und Stabilität erreicht werden. Da der Gegenstand dieses Artikels in einem Szenario zur Erkennung mehrerer Arten und Chargen angewendet wird, ist diese Methode zum Anbringen eines Logo-Codes an jedem Panel weniger effizient und muss Situationen wie die leichte Zerstörung des Logos berücksichtigen. Die Hologramm-Verankerungsmethode ist eine virtuell-reale Registrierungsfusion, bei der eine virtuelle Kennung mit einem physischen Objekt abgeglichen wird. Die Methode ist im Wesentlichen dieselbe wie die manuelle Markierungsmethode, mit der Ausnahme, dass eine virtuelle Markierung die physische Markierung ersetzt. Darüber hinaus kann die Methode an mobile Szenarien und Kleinteileregistrierungsszenarien angepasst werden. Im Vergleich dazu ist die Feature-Matching-Methode ohne Logo robuster. Es gibt jedoch auch Probleme wie den leichten Verlust von Registrierungszielen und Fehler.

In diesem Artikel wird die Vuforia-basierte virtuelle und reale Registrierungsfusionsmethode unter Berücksichtigung der komplexen und veränderlichen Erkennungsumgebung und der Vielfalt der Erkennungsfelder verwendet. Bei der Methode handelt es sich um eine merkmalsabgleichende Verankerungsmethode ohne Markierungsmethode. Vuforia SDK ist ein von Qualcomm entwickeltes AR-Toolkit. Der Kern seines Algorithmus besteht darin, das Ziel mithilfe eines Feature-Point-Matching-Algorithmus abzugleichen und zu verfolgen. Der Ablauf der Vuforia-basierten Virtual-Real-Registrierungsfusionsmethode ist in Abb. 4 dargestellt. Zunächst wird das zu erkennende Standard-Panel-Bild in die Vuforia-Cloud-Datenbank hochgeladen und die Datendatei in die Unity3d-Software exportiert. Zweitens wird das Standardpanel mit dem entsprechenden Führungsmodell in der Wissensdatenbank des digitalen Zwillings für MR-Raumkoordinaten eingestellt, um die Anzeigeposition zu bestimmen. Drittens wird die Projekt-App auf HoloLens2 bereitgestellt und die Live-Panel-Bilder werden durch Aufrufen der HoloLens2-Kamera erfasst. Schließlich wird das Bild mit dem auf Merkmalspunktextraktion, Merkmalsabgleich und MR-Koordinatenabgleich untersuchten Panel abgeglichen. Die Wissensdatenbankszene des digitalen Zwillings des virtuellen Panels wird mit dem Livebild überlagert, um virtuelle und reale Registrierung zu kombinieren und den Bediener bei der Konfiguration zu unterstützen.

Virtueller realer Registrierungsfusionsprozess basierend auf Vuforia.

Die gute Mensch-Computer-Schnittstelle und die Funktionseinstellungen können den Bediener bei der Konfiguration der Reparatur von Defekten an geschweißten Karosserierohteilen unterstützen. Wenn der Bediener ein HoloLens2-Gerät auf dem Kopf trägt, durchsucht er das Panel nach wichtigen Informationen durch Gesten, Sprachsteuerung und andere interaktive Vorgänge. Die Hauptfunktionen sind wie folgt.

Grundlegende Interaktionsfunktionen. Durch den Import des Mixed Reality Toolkit (MRTK)-Ressourcenpakets in Unity3d haben wir das GUI-Bedienfeld mit Grundfunktionen wie Gestenbedienung, Sichtlinienverfolgung und Sprachsteuerung entworfen, um die grundlegenden Interaktionsbedienungsanforderungen der Bediener zu erfüllen.

Szenenerfassung in Echtzeit. Wir haben die Benutzeroberfläche zum Aufnehmen von Fotos entworfen, die es dem Bediener ermöglicht, durch Aufrufen der HoloLens2-Kamera ein Bild oder Video einer erkannten Live-Szene aufzunehmen.

Es werden ungewöhnliche Informationen gemeldet. Wenn unerfahrene Bediener HoloLens2-Geräte tragen, um die Vollständigkeit von Plattenteilen zu testen, weisen die Chargenplattenteile einige abnormale Zustände auf, wie z. B. mehr Defekte und sind schwer zu reparieren, und können mit Hilfe der Kamera auf Hololens2 Szenenvideos in Echtzeit erfassen. Die Video- oder Bilddaten werden serverseitig an die Werkstatt-Qualitätskontrolle übermittelt. Der Computer meldet die ungewöhnliche Situation. Auf diese Weise erhält das Qualitätskontrollpersonal die Chargenanomalien per Sprach-Video-Konversation am PC oder Mobiltelefon und ruft dann das zuständige Personal an, um die Chargenanomalienplatten online zu entsorgen. Es ist zu beachten, dass die Mensch-Computer-Interaktionsschnittstelle für die Meldung abnormaler Informationen Module wie HTTP-Kommunikationsverbindung, Sprachanruf und Videoverbindung umfasst.

In diesem Artikel wurde ein System zur Erkennung und Konfiguration der Vollständigkeit des Blechschweißens für die Verbindungskomponenten des Armaturenbretts im Rohbau entwickelt. Die Technologie wird in drei Aspekten verifiziert: Erfassung und Erfassung der Umgebungserkennung, Yolov4-Schweißvollständigkeitserkennung und Schweißvollständigkeitskonfiguration.

Umgebungswahrnehmung und Bildaufnahme. Wie in Abb. 5 dargestellt. Zunächst trägt der Bediener eine HoloLens2-Brille und ruft die System-APP auf. Anschließend erfasst das System die Erkennungsumgebung, indem es die gescannte Inspektionsszene initialisiert und ein 3D-Modell erstellt. Die zu erkennenden Platten werden detailliert gescannt. Schließlich klickt der Bediener auf die Bilderfassungs-Benutzeroberfläche, um Bilder der Panel-Szene in Echtzeit aufzunehmen.

Erkennung der Vollständigkeit des Blechschweißens. Zunächst werden die vom HoloLens2-Gerät erfassten Bild- und Videodaten mithilfe des drahtlosen HTTP-Kommunikationsprotokolls in schneller Echtzeit an den PC-Server übertragen. Anschließend startet das Yolov4-Bildverarbeitungsmodul die Erkennung und gibt die Erkennungsergebnisse an das Gerät zurück, um eine schnelle Erkennung zu erreichen. Wie in Abb. 6 dargestellt, ist die Seriennummer (b) die Verlustmerkmalskurve während des Trainings des Yolov4-Modells. Es ist erwähnenswert, dass das Modell vollständig konvergiert, wenn die Anzahl der Iterationen auf 1400 eingestellt ist, und der Wert von val_loss stabil bei etwa 2,5 liegt, was darauf hinweist, dass das Modell gut passt. Abschließend werden die Bilder und Videos aus dem Testset ausgewählt, um das Modell zu testen. Die Erkennungsgenauigkeit des MAP-Trainingsmodells erreicht 90,1 %, der FPS-Wert kann 13,22 Bilder/s erreichen. Das Trainingsmodell weist eine gute Erkennungsgenauigkeit und eine hohe Erkennungseffizienz auf. Darüber hinaus kann es die Erkennung der Vollständigkeit der Blechschweißung durchführen. Die Seriennummer (c) ist das Erkennungsergebnis des Verbindungsfelds der Front-Surround-Panel-Komponente. Es zeigt, dass zwei Muttern intakt sind und zwei Schrauben in den vier Löchern fehlen, und die Bildrate der Systembetriebserkennung in HoloLens2 beträgt 30 Bilder/s.

Konfiguration der Vollständigkeit des Blechschweißens. Bei der Konfiguration des defekten Panels (wie in Abb. 7 dargestellt) steht der Bediener vor der GUI-Bedienoberfläche des Systems, greift über Gesten, Blickverfolgung und Stimme auf das entsprechende Modul zu und löst die entsprechende Funktionstaste aus, um den wesentlichen Vorgang der Mensch-Computer-Interaktion zu realisieren . Wenn schwierig zu konfigurierende und zu handhabende Probleme auftreten, kann die ungewöhnliche Situation gemeldet oder Expertenunterstützung für eine Online-Anleitung angefordert werden. Das HoloLens2-Gerät scannt das Panel, gleicht das Modell in der Wissensdatenbank des digitalen Zwillings ab und zeigt das virtuelle Modell an den voreingestellten MR-Raumkoordinaten an, um eine virtuell-reale Registrierungsfusion zu erreichen. Um die fehlenden Teile anhand der Farbmarkierungen wichtiger Teile am virtuellen Modell zu verdeutlichen, wird ein schneller Vergleich zwischen virtuell und real durchgeführt. Gleichzeitig kann das virtuelle Modell entsprechend skaliert und gedreht werden, um das Verständnis der Panelstruktur zu verbessern und die Konfigurationseffizienz zu verbessern.

Vergleichsexperiment. Tabelle 3 vergleicht die herkömmliche manuelle Erkennungs- und Konfigurationsmethode mit der Methode in diesem Dokument. Im Vergleich zur herkömmlichen Methode kann diese Methode eine MR-Visualisierung realisieren, die Ursachen von Paneldefekten analysieren und relevante Konfigurationsschemata empfehlen.

Um die Anpassungsfähigkeit dieser Methode in der praktischen Anwendung zu bewerten, werden fünf Arten fehlerhafter Bleche für die Schweißintegritätserkennung und das Konfigurationsexperiment ausgewählt, bei denen das am Experiment beteiligte Personal die Blechfehler nicht kennt. Die Versuchsbedingungen sind in erfahrene, unerfahrene und Arbeiter + dieses System unterteilt. Die Arbeiter erledigen die Aufgaben zur Panelerkennung und -reparatur unter Anleitung der technischen Anweisungen. In diesem Artikel arbeitet das System gemäß der Anleitung von MR-Geräten und zählt die durchschnittlich benötigte Zeit und die durchschnittliche Anzahl von Fehlern.

Es wird hiermit erklärt. Dieses Experiment wurde vom Key Laboratory of Intelligent Manufacturing of Machinery and Equipment in der Provinz Henan genehmigt. Die Versuchsprogramme wurden in Übereinstimmung mit den Richtlinien und Vorschriften des Schlüssellabors für intelligente Fertigung von Maschinen und Geräten in der Provinz Henan durchgeführt. Alle Teilnehmer des Experiments sind sich dieses Experiments bewusst und erklären sich damit einverstanden, daran teilzunehmen. Die experimentellen Ergebnisse sind in Tabelle 4 aufgeführt. Es ist ersichtlich, dass das auf digitalem Zwilling und MR basierende Erkennungs- und Konfigurationssystem eine automatische Erkennung und zusätzliche visuelle Konfiguration im Sehvermögen von Arbeitern realisieren und die Erkennungseffizienz und -genauigkeit unerfahrener Arbeiter verbessern kann. In dem in diesem Experiment beschriebenen Szenario stellt sich jedoch die Frage, ob erfahrene Arbeiter dieses System übernehmen, weil sie mit der Erkennungsaufgabe jedes Panels bestens vertraut sind. Es ist nicht wesentlich, die Erkennungseffizienz zu verbessern und sogar die Arbeit von Fachkräften zu beeinträchtigen. Die Entwicklungsmethode in diesem Artikel bietet jedoch immer noch Vorteile bei der Verbesserung der Konfigurationsgenauigkeit. Das Experiment zeigt auch, dass der praktische Anwendungseffekt von MR-Geräten mit der Komplexität der zu testenden Panels und der Kompetenz der Arbeiter zusammenhängt, insbesondere bei Arbeitern mit unzureichender Erfahrung im Betrieb vor Ort; Die automatische Erkennung und der visuelle Zusatzeffekt sind offensichtlich.

Umgebungswahrnehmung und -erwerb.

Schweißvollständigkeitserkennung basierend auf yolov4.

Konfiguration der Vollständigkeit des Blechschweißens.

Die Vollständigkeit der Schweißung des Rohkarosserieblechs ist einer der entscheidenden Faktoren, die sich auf die Schweißeffizienz des Blechs auswirken. Allerdings gibt es in der bisherigen Literatur nur wenig Forschung zu diesem Bereich. In der praktischen Anwendung kommt es lediglich auf die manuelle Erkennung und Konfiguration der Schweißvollständigkeit des Blechs an. Die Erkennungsgenauigkeit und Konfigurationseffizienz sind gering. Aufgrund des Weglassens von Muttern, Schrauben und anderen Komponenten wird es häufig nachbearbeitet, was zu Verlusten führt. In diesem Artikel wird eine auf einem digitalen Zwilling basierende Methode zur Erkennung und Konfiguration der Schweißvollständigkeit von Rohbauteilen für Kraftfahrzeuge vorgestellt, um dieses Problem zu lösen. Basierend auf dieser Methode wurde ein entsprechendes System entwickelt. Durch die Validierung haben wir gezeigt, dass das System die Schweißvollständigkeit der Armaturenbrettverbindungen effektiv erkennt und den Bediener bei der Reparatur defekter Bleche anleitet. Darüber hinaus haben Vergleichsversuche gezeigt, dass dieses System die Effizienz und Genauigkeit der Erkennung durch unerfahrene Arbeiter effektiv verbessert. Zusammenfassend stellt dieses Papier eine tiefgreifende Verschmelzung des physischen Prüfraums von geschweißten Karosserierohteilen mit Zwillingsmodellen und einer bidirektionalen Zuordnung von Prüfdaten zu Konfigurationsinformationen vor. Diese Methode kann eine positive Referenz für die Anwendung der Digital-Twin-Technologie im MR-Bereich sein.

Die Erkennung und Konfiguration der Vollständigkeit des Blechschweißens ist eine langwierige, sich wiederholende Arbeit in der Werkstatt. Der Einsatz von MR-Geräten wird die Genauigkeit der Erkennung und Konfiguration der Arbeiter verbessern. Derzeit weist diese Methode noch Mängel auf. Beispielsweise kann die Verwendung des HTTP-Protokolls zu einer langsamen Übertragung des Videodatenstroms und Störungen führen. Im nächsten Schritt wird die Kommunikationstechnologie zwischen HoloLens2 und PC untersucht, um die flüssige Systemanwendung zu verbessern.

Zhou, J. Intelligente Fertigung – die Hauptrichtung von „Made in China 2025“. CMES 17, 2273–2284. https://doi.org/10.3969/j.issn.1004-132X.2015.17.001 (2015).

Artikel Google Scholar

Li, H. et al. Integrationsrahmen und Schlüsseltechnologien für komplexes Produktdesign und -fertigung auf Basis digitaler Zwillinge. CIMS 25, 1320–1336. https://doi.org/10.13196/j.cims.2019.06.002 (2019).

Artikel Google Scholar

Grieves, MW Produktlebenszyklusmanagement: Das neue Paradigma für Unternehmen. Int. J. Prod. Entwickler 2, 71–84 (2005).

Artikel Google Scholar

Garcia, SG, Reschke, J. & García, MG Entwurf und Simulation eines Kapazitätsmanagementmodells unter Verwendung eines digitalen Zwillingsansatzes basierend auf dem Viable-System-Modell: Eine Fallstudie eines Automobilwerks. Appl. Sci.-Basel 9, 5567. https://doi.org/10.3390/app9245567 (2019).

Artikel Google Scholar

Koen, B., Filippo, S. & Jeroen, V. Digitale Zwillinge im Gesundheitswesen: Ethische Implikationen eines aufkommenden technischen Paradigmas. Vorderseite. Genet. 9, 31. https://doi.org/10.3389/fgene.2018.00031 (2018).

Artikel Google Scholar

Opoku, D., Perera, S., Osei-Kyei, R. & Rashidi, M. Digitale Zwillingsanwendung in der Bauindustrie: Eine Literaturübersicht. J. Bauen. Ing. 40, 102726. https://doi.org/10.1016/j.jobe.2021.102726 (2021).

Artikel Google Scholar

Yang, W., Zheng, Y. & Li, S. Anwendungsstatus und Aussicht auf einen digitalen Zwilling für Raumfahrzeuge im Orbit. IEEE Access 9, 106489–106500. https://doi.org/10.1109/ACCESS.2021.3100683 (2021).

Artikel Google Scholar

Tao, F. et al. Zehn Fragen zum digitalen Zwilling: Analyse und Denken. CIMS 26, 1–17. https://doi.org/10.13196/j.cims.2020.01.001 (2020).

Artikel Google Scholar

Tao, F. & Zhang, M. Digital Twin Shopfloor: Ein neues Shopfloor-Paradigma für eine intelligente Fertigung. IEEE Access 5, 20418–20427. https://doi.org/10.1109/ACCESS.2017.2756069 (2017).

Artikel Google Scholar

Leng, J. et al. Digitales, zwillingsgesteuertes Cyber-Physical-Fertigungssystem zur parallelen Steuerung einer intelligenten Werkstatt. J. Amb. Intel. Summen. Berechnen. 10, 1155–1166. https://doi.org/10.1007/s12652-018-0881-5 (2019).

Artikel Google Scholar

Wang, H., Li, H., Wen, X. & Luo, G. Einheitliche Modellierung für den digitalen Zwilling eines wissensbasierten Systemdesigns. Roboter Cim-Int. Hersteller 68, 102074. https://doi.org/10.1016/j.rcim.2020.102074 (2021).

Artikel Google Scholar

Zhang, Z., Guan, Z., Gong, Y., Luo, D. & Yue, L. Verbesserte, auf Multi-Fidelity-Simulation basierende Optimierung: Anwendung in einer digitalen Zwillingsfertigung. Int. J. Prod. Res. 60, 1016–1035. https://doi.org/10.1080/00207543.2020.1849846 (2020).

Artikel Google Scholar

Yu, H., Han, S., Yang, D., Wang, Z. & Feng, W. Werkstattplanung auf Basis digitaler Zwillingstechnologie: Eine Umfrage und eine intelligente Plattform. Komplexität 1–12, 2021. https://doi.org/10.1155/2021/8823273 (2021).

Artikel Google Scholar

Zhang, J., Ding, G., Zou, Y., Qin, S. & Fu, J. Rückblick auf die Forschung zur Job-Shop-Planung und ihre neuen Perspektiven im Rahmen von Industrie 4.0. J. Intell. Hersteller 30, 1809–1830. https://doi.org/10.1007/s10845-017-1350-2 (2019).

Artikel Google Scholar

Liu, M., Fang, S., Dong, H. & Xu, C. Rezension des digitalen Zwillings über Konzepte, Technologien und industrielle Anwendungen. J. Manufaktur Syst. 58, 346–361. https://doi.org/10.1016/j.jmsy.2020.06.017 (2020).

Artikel Google Scholar

Zhuang, C., Miao, T., Liu, J. & Xiong, H. Die Konnotation des digitalen Zwillings sowie die Konstruktions- und Anwendungsmethode des digitalen Zwillings in der Werkstatt. Roboter Cim-Int. Hersteller 68, 102075. https://doi.org/10.1016/j.rcim.2020.102075 (2021).

Artikel Google Scholar

Pei, F., Tong, Y., Yuan, M., Ding, K. & Chen, X. Der digitale Zwilling der Qualitätsüberwachung und -steuerung in der Serienproduktionslinie für Solarzellen – ScienceDirect. J. Manufaktur Syst. 59, 127–137. https://doi.org/10.1016/j.jmsy.2021.02.001 (2021).

Artikel Google Scholar

Zhuang, C., Liu, J. & Xiong, H. Ein auf digitalen Zwillingen basierendes, intelligentes Produktionsmanagement- und Kontrollrahmenwerk für die komplexe Produktmontagewerkstatt. Int. J. Adv. Hersteller Technik. 96, 1149–1163. https://doi.org/10.1007/s00170-018-1617-6 (2018).

Artikel Google Scholar

Liu, D., Huang, H., Wang, B., Zhou, T. & Luo, S. Betriebsparadigma für die Wiederaufarbeitung der Werkstatt auf der Grundlage eines digitalen Zwillings. CIMS 25, 1515–1527. https://doi.org/10.13196/j.cims.2019.06.019 (2019).

Artikel Google Scholar

Leng, J. et al. Auf digitalen Zwillingen basierende semi-physische Ferninbetriebnahme von intelligenten Fertigungssystemen vom Fließtyp. J. Clean Prod. 306, 127278. https://doi.org/10.1016/j.jclepro.2021.127278 (2021).

Artikel CAS PubMed PubMed Central Google Scholar

Li, H. et al. Die Modellierungsmethode der testbaren digitalen Zwillinge für die automatische Weißkörperschweiß-Produktionslinie. J. Zhongyuan Univ. Technik. 1, 1–7. https://doi.org/10.3969/j.issn.1671-6906.2021.01.001 (2021).

Artikel CAS Google Scholar

Yan, D. et al. Digitales, zwillingsgesteuertes, schnelles, individuelles Design einer Produktionslinie für Plattenmöbel. J. Comput. Inf. Wissenschaft. Ing. 21, 1–34. https://doi.org/10.1115/1.4050617 (2021).

Artikel ADS Google Scholar

Son, YH, Park, KT, Lee, D., Jeon, SW & Sang, DN Digitales, auf Zwillingen basierendes cyber-physisches System für Automobilkarosserien-Produktionslinien. Int. J. Adv. Hersteller Technik. 115, 1–20. https://doi.org/10.1007/s00170-021-07183-3 (2021).

Artikel Google Scholar

Zidek, K. et al. CNN-Schulung unter Verwendung virtueller 3D-Modelle für die unterstützte Montage mit Mixed Reality und kollaborativen Robotern. Appl. Sci.-Basel 11, 16. https://doi.org/10.3390/app11094269 (2021).

Artikel CAS Google Scholar

Zhang, X. et al. Zusätzliche Wartungsmethode für elektromechanische Geräte, die digitale Zwillinge und Mixed-Reality-Technologie integriert. CIMS 27, 2187–2195. https://doi.org/10.13196/j.cims.2021.08.002 (2021).

Artikel Google Scholar

Mura, M. & Dini, G. Ein Augmented-Reality-Ansatz zur Unterstützung der Blechausrichtung bei der Karosseriemontage. J. Manufaktur Syst. 59, 251–260. https://doi.org/10.1016/j.jmsy.2021.03.004 (2021).

Artikel Google Scholar

Liu, S. et al. Bearbeitungsprozessorientierte Überwachungsmethode basierend auf digitalem Zwilling mittels Augmented Reality. Int. J. Adv. Hersteller Technik. 113, 3491–3508. https://doi.org/10.1007/s00170-021-06838-5 (2021).

Artikel Google Scholar

Wang, S., Guo, R., Dong, Z., Wang, H. & Zhang, X. Datenverbesserungsmethode für Deep Learning in der Mixed-Reality-Montageinspektion. CIMS 27, 716–727. https://doi.org/10.13196/j.cims.2021.03.006 (2021).

Artikel Google Scholar

Zhou, Q. et al. Ein automatisches System zur Inspektion von Oberflächendefekten für Automobile mit maschinellen Bildverarbeitungsmethoden. Sens.-Basel 19, 644. https://doi.org/10.3390/s19030644 (2019).

Artikel ADS Google Scholar

Ponsa, D., Benavente, R., Lumbreras, F., Martinez, J. & Roca, X. Qualitätskontrolle von Sicherheitsgurten durch Bildverarbeitungsinspektion für die Echtzeitproduktion. Opt. Ing. 42, 1114–1120. https://doi.org/10.1117/1.1556391 (2003).

Artikel ADS Google Scholar

Yin, S. et al. Überblick über die Anwendung von Bildverarbeitung im modernen Automobilbau. Acta Optica Sinica 38, 0815001. https://doi.org/10.3788/AOS201838.0815001 (2018).

Artikel Google Scholar

Ou, Y. et al. Aufbau einer Wissensdatenbank für die Wartung verteilter Photovoltaikmärkte. CIMS 26, 3205–3215. https://doi.org/10.13196/j.cims.2020.12.003 (2020).

Artikel Google Scholar

Bochkovskiy, A., Wang, C. & Liao, HM Yolov4: Optimale Geschwindigkeit und Genauigkeit der Objekterkennung. https://arxiv.org/abs/2004.10934 (2020).

Mahto, P., Garg, P., Seth, P. & Panda, J. Verfeinerung von Yolov4 für die Fahrzeugerkennung. IJARET 11, 409–419. https://doi.org/10.34218/IJARET.11.5.2020.043 (2020).

Artikel Google Scholar

Cai, S., Sun, Z., Liu, H., Wu, H. & Zhuang, Z. Echtzeit-Erkennungsmethode für Hindernisse in Obstplantagen mit verbessertem Yolov4. Trans. Kinn. Soc. Landwirtschaft. Ing. 37, 36–43. https://doi.org/10.11975/j.issn.1002-6819.2021.2.005 (2021).

Artikel Google Scholar

Jiang, J., Huang, Z., Qian, W., Zhang, Y. & Liu, Y. Registrierungstechnologie von Augmented Reality in der Oralmedizin: Ein Überblick. IEEE Access 7, 53566–53584. https://doi.org/10.1109/ACCESS.2019.2912949 (2019).

Artikel Google Scholar

Referenzen herunterladen

Diese Forschungsarbeit wird von der National Natural Science Foundation of China (Grand No. 52175256 und 51905494) unterstützt.

Schlüssellabor für intelligente Fertigung mechanischer Geräte, Zhengzhou University of Light Industry, Zhengzhou, 450002, China

Hao Li, Bing Li, Gen Liu, Xiaoyu Wen, Haoqi Wang, Xiaocong Wang und Wenchao Yang

University of Greenwich, Park Row, London, SE10 9LS, Großbritannien

Shuai Zhang

Tianjin Miracle Intelligent Equipment Co. LTD, Tian Jin, 300131, China

Zhongshang Zhai

Sie können diesen Autor auch in PubMed Google Scholar suchen

HL, BL und GL konzipierten und führten die experimentellen Arbeiten durch. XW, HW, XW, ZZ und WY analysierten die Daten, verfassten und überarbeiteten das Manuskript kritisch, SZ spielte eine wichtige Rolle bei der Überarbeitung und Verbesserung des experimentellen Teils. Alle Autoren diskutierten die Ergebnisse und kommentierten das Manuskript.

Korrespondenz mit Xiaoyu Wen.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Li, H., Li, B., Liu, G. et al. Eine Erkennungs- und Konfigurationsmethode für die Schweißvollständigkeit im Karosserierohbau eines Automobils auf Basis eines digitalen Zwillings. Sci Rep 12, 7929 (2022). https://doi.org/10.1038/s41598-022-11440-0

Zitat herunterladen

Eingegangen: 26. Januar 2022

Angenommen: 21. April 2022

Veröffentlicht: 13. Mai 2022

DOI: https://doi.org/10.1038/s41598-022-11440-0

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Wissenschaftliche Berichte (2022)

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.