Digitale Unterstützung der Sichtprüfung mittels Deep Learning
DOI: 10.60048/exm20_36Gemäß IEC 60079-0 haben Hersteller explosionsgeschützter Betriebsmittel die Pflicht, jede Stückprüfung durchzuführen, die in der Normenreihe 60079 gefordert wird. Darüber hinaus müssen alle notwendigen Verifizierungsmaßnahmen und Prüfungen durchgeführt werden, um sicherzustellen, dass ein Betriebsmittel mit den Dokumentationen übereinstimmt. [1]
Insgesamt sind umfangreiche Qualitätssicherungsmaßnahmen notwendig, um die Sicherheit von explosionsgeschützten Produkten zu gewährleisten. Diese sind jedoch meist zeit-, kosten- und personalintensiv. Insbesondere Sichtprüfungen werden aktuell zu einem großen Anteil von Mitarbeiter*innen durchgeführt. Deren Fähigkeiten Fehler zu erkennen können jedoch sowohl zwischen einzelnen Individuen als auch in Abhängigkeit vom Ermüdungszustand variieren.
Großes Potenzial, die Fehlerquote bei Sichtprüfungen zu reduzieren, liegen in dem Einsatz von Deep Learning Modellen. Durch eine intelligente Objekterkennung könnten Produktfehler mit gleichbleibender Erkennungsgenauigkeit identifiziert werden. Auch in Bezug auf die Rückverfolgbarkeit liegen große Potenziale in dem Einsatz dieser Technologie. So könnten zu jeder Sichtprüfung Daten (Bild inkl. Einschätzung des Objekterkennungsalgorithmus) aufgezeichnet und dem entsprechenden Produkt zugeordnet werden.
Deep Learning
Deep Learning ist ein Teilbereich des Machine Learning, wobei beide Disziplinen der künstlichen Intelligenz zuzuordnen sind, siehe Abbildung 1. Unter Maschine Learning werden alle Systeme zusammengefasst, welche eigenständig und ohne ausdrückliche Anweisungen lernen und sich anpassen, indem sie Algorithmen und statistische Modelle verwenden, um Daten zu analysieren und aus Mustern Schlüsse zu ziehen. Deep Learning liegt vor, wenn dazu tiefe neuronale Netze eingesetzt werden. Dabei ist nicht definiert, welche Art Daten verarbeitet werden. So können z.B. Texte, Sprache oder Bilder analysiert werden.
Sollen visuelle Daten verarbeitet werden, ergibt sich eine weitere Schnittmenge mit der Disziplin Computer Vision, siehe Abbildung 1. Hierunter werden alle Systeme zusammengefasst, welche visuelle Daten wahrnehmen, verarbeiten und Entscheidungen daraus ableiten. Sowohl Computer Vision als auch Machine Learning basiert auf der Identifikation von sogenannten Features. Bezogen auf visuelle Daten können dies beispielsweise Ecken, Kanten oder komplexere Strukturen sein, welche typisch für das zu erkennende Objekt sind. Durch das Identifizieren und Kombinieren relevanter Features können Objekte festgelegten Klassen zugewiesen werden.
Bei traditionellen Machine-Learning- und Computer-Vision-Systemen müssen diese Features manuell aus den Eingabedaten extrahiert und ausgewählt werden, siehe Abbildung 2a. Die manuelle Festlegung der Features ist jedoch sehr zeitaufwändig und erfordert sehr viel Expertenwissen. Darüber hinaus besteht immer die Gefahr, dass Wissenschaftler und Ingenieure Fehler bei der Auswahl der relevanten Features machen. Der Erfolg der Algorithmen Objekte, Sprache oder andere Phänomene zu erkennen hängt stark von den Fähigkeiten der Entwickler*innen ab.[2][3]
Deep Learning integriert hingegen das Lernen von Features und die Klassifikation von Objekten in ein Modell, indem tiefe künstliche neuronale Netze eingesetzt werden, um relevante Merkmale aus den Eingangsdaten zu extrahieren, siehe Abbildung 2b. Ein künstliches neuronales Netz ist ein Computermodell, welches den neuronalen Strukturen des menschlichen Gehirns nachempfunden ist. Es besteht aus einer Anzahl von Recheneinheiten („Neuronen“) die miteinander verknüpft sind. Dabei erhält jedes Neuron eine gewichtete Summe aller mit ihm verknüpften, vorangestellten Neuronen als Eingabewert. Dieser Wert wird wiederum gewichtet an alle nachgestellten Neuronen weitergegeben, siehe Abbildung 3. Die Anzahl und Tiefe der Hidden Layer ist dabei variabel, beim Einsatz von sehr vielen Hidden Layern wird von einem Deep Neural Network und damit von Deep Learning gesprochen.
Um Objekte mittels Deep Learning zu identifizieren werden Merkmale wie Kanten, Ecken, Konturen und Objektteile Schicht für Schicht aus den Trainingsdaten abstrahiert und in die Klassifizierungsschicht eingegeben. Die Trainingsdaten enthalten dabei Informationen zu den Objektklassen, sodass die Modellvorhersage mit der vorgegebenen Objektklasse abgeglichen und das Vorhersagemodell durch eine Änderung der Gewichte so lange angepasst wird, bis die Vorhersagegenauigkeit optimal ist. Die menschlichen Eingriffe sind hierbei minimal, sodass sich ein deutlich geringerer Zeitaufwand ergibt. Darüber hinaus erfordern die Modelle weniger Expertenwissen. Schlussendlich bietet Deep Learning eine höhere Flexibilität, da die Modelle mit einem benutzerdefinierten Datensatz für jeden Anwendungsfall neu trainiert werden können.
Deep Learning zur Unterstützung von Stückprüfungen
Prinzipiell ist es bei der Herstellung von explosionsgeschützten Betriebsmitteln unabdingbar, dass alle produzierten Teile dem zertifizierten Prüfmuster entsprechen. In der harmonisierten Norm IEC 60079-0 ist daher festgelegt, dass alle notwendigen Verifizierungsmaßnahmen und Prüfungen durchgeführt werden, um sicherzustellen, dass ein Betriebsmittel mit den Dokumentationen übereinstimmt [1]. Diese Übereinstimmung lässt sich in automatisierten Prozessen gut umsetzen. Kommen jedoch manuelle Tätigkeiten zum Einsatz, hängt die korrekte Fertigung stark von der Achtsamkeit der beteiligten Mitarbeiter*innen ab. Um das Übersehen von möglichen Produktfehlern zu vermeiden, ist der Einsatz von automatisierten Überwachungsmethoden sowohl während der Fertigung als auch bei der finalen Qualitätsprüfung nach der Fertigstellung (z.B. bei der Stückprüfung) sinnvoll. Indem der Fertigungsprozess über eine Kamera aufgezeichnet und in Echtzeit durch einen auf Deep Learning basierenden Objekterkennungsalgorithmus analysiert wird, können instantan Hinweise auf Fertigungsfehler gegeben werden. Dazu lassen sich typische Fertigungsfehler in das Objekterkennungsmodell integrieren.
Das Gleiche lässt sich für die finale Stückprüfung realisieren. Auch hier könnten typische Produktfehler in ein Objekterkennungsmodell integriert werden. Die Prüfung des Musters kann sowohl durch ein mobiles Endgerät (z.B. Smartphone mit Kamera und integriertem Objekterkennungsmodell) als auch auf einem fest installierten und mit Kameras ausgestatteten Arbeitsplatz erfolgen. Der Einsatz von Deep Learning zur visuellen Überprüfung von Werkstücken birgt insbesondere für variantenreiche Produkte großes Potenzial. Andere visuelle Überwachungsmethoden erfordern im Regelfall ein aufwendiges manuelles Feature-Engineering, sodass sie bei einer hohen Variantenvielfalt nur selten wirtschaftlich sind.
Anwendungsbeispiel
Ein reales Anwendungsbeispiel besteht durch das von der Carl-Zeiss-Stiftung geförderte Forschungsprojekt „Smart Assembly“, welches an der Ernst-Abbe-Hochschule in Jena durchgeführt wird und verschiedene digitale Assistenzsysteme zur Optimierung der manuellen Montage untersucht. Im Rahmen des Projektes wurde unter anderem ein Montagearbeitsplatz aufgebaut, welcher eine auf Deep Learning basierende Objekterkennung nutzt, um einen korrekten Montageablauf zu gewährleisten. Der Arbeitsplatz ist mit einem digitalen Assistenzsystem ausgestattet, welches aus folgenden Bestandteilen besteht: Objekterkennungs-Modul, Pick-by-Light-Modul, Schrauber-Modul und digitales Visualisierungs-Modul, siehe Abbildung 4.
Die einzelnen Module sind jeweils mit einem industriellen Raspberry Pi verknüpft und kommunizieren über das MQTT-Netzwerkprotokoll miteinander. Als Schlüsselinformation dient der vom Objekterkennungs-Modul identifizierte, aktuelle Werkstückstatus.
Dieser kann folgende Zustände annehmen: Werkstück vorhanden, Werkstück nicht vorhanden oder fehlerhafte Baugruppe. Von diesen Informationen wird dann auf den aktuellen Arbeitsschritt geschlossen und eine zugehörige Anweisung über das Visualisierungsmodul dargestellt. Bspw. wird der montierenden Person beim Erkennen einer fehlerhaften Baugruppe eine Warnmeldung angezeigt. Auch das Pick-by-Light- und Schrauber-Modul werden basierend auf dem aktuellen Arbeitsschritt aktiviert. Um die Arbeitsschritte aus den detektierten Baugruppenteilen abzuleiten, wird für jeden Schritt definiert, welche Schlüsselobjekte vorhanden sein oder fehlen müssen. Dieser Ansatz garantiert Flexibilität bei sich ändernden Arbeitsabläufen.
Im Objekterkennungs-Modul wurde das Modell YOLOv4 eingesetzt, da es sich besonders gut dafür eignet, Ergebnisse in Echtzeit und mit hoher Genauigkeit zu erzielen [4]. Um die Interferenzgeschwindigkeit zu maximieren wurde das trainierte Modell mit Hilfe des TensorRT Frameworks optimiert [5]. Für das Training des Modells, wurden insgesamt 1512 Trainingsbilder mit 5485 Objektinstanzen und 790 Validierungsbilder mit 1468 Objektinstanzen verwendet. Die Trainingsdaten bestanden aus 41 einzelnen Objektklassen, so dass jede Klasse im Durchschnitt durch 134 Trainingsinstanzen repräsentiert wurde. Das Training wurde auf einer Nvidia GeForce 1650 Super GPU unter Verwendung des Darknet Frameworks [6] durchgeführt. Die Mean Average Precision (mAP) beschreibt die Vorhersagegenauigkeit des Modells und erreichte nach 6 Trainingsepochen einen Wert von 99,81% (mAP@,50). Dies zeigt, dass das Modell in der Lage ist, alle Klassen auf einem zufriedenstellenden Niveau vorherzusagen. Das Sammeln der Trainings- und Validierungsdaten und die Annotation aller Objektinstanzen erforderte einen Arbeitsaufwand von ca. 10 Personenstunden.
Auf dem beschriebenen Arbeitsplatz wird eine druckfest gekapselte Rohrleuchte der Firma R. STAHL montiert. Diese besteht aus 36 Einzelteilen. Um den Explosionsschutz zu gewährleisten wird die Leuchteinheit in ein druckfest ausgelegtes Rohr eingeschoben, welches durch eine Hülse mit 7 Gewindegängen verschlossen wird, siehe Abbildung 5. Der Gewindespalt ist dabei nach den Anforderungen der IEC 60079-1 ausgelegt [7].
Die Hülse beinhaltet außerdem eine Kabeleinführung. Indem diese mit einem definierten Drehmoment angezogen wird, dichtet sie gegen das Kabel ab. Da gemäß IEC 60079-0 Teile, die zur Aufrechterhaltung der jeweiligen Zündschutzart notwendig sind, nur mit Hilfe eines Werkzeugs zu lösen sein dürfen, ist die Hülse außerdem mit einem Gewindestift gesichert. Die korrekte Montage des Gewindespalts sowie das ordnungsgemäße Anziehen der Kabeleinführung sind besonders qualitätskritisch, da sie maßgeblich für die Sicherstellung des Explosionsschutzes sind.
Die eingesetzte Objekterkennung erkennt beide Montageschritte zuverlässig (siehe Abbildung 6) und schaltet erst in den nächsten Montageschritt, wenn die Montageoperationen korrekt ausgeführt wurden. Dies stellt sicher, dass die entsprechenden Montageschritte nicht übersprungen werden. Um die Rückverfolgbarkeit zu gewährleisten könnte außerdem Bild- und/oder Videomaterial von den kritischen Montageschritte aufgezeichnet und in einer Datenbank gespeichert werden.
Dies wird im bestehenden Forschungsprojekt zwar nicht umgesetzt, würde sich jedoch mit wenig Aufwand in das System integrieren lassen.
Auf die gesamte Montage der Rohrleuchte bezogen, konnte durch den Einsatz des digitalen Assistenzsystems mit Objekterkennung im Vergleich zu einem konventionellen Arbeitsplatz eine Fehlerreduktion von 42 % erreicht werden, siehe Abbildung 7. Hierzu wurden 15 Probandenversuche je Arbeitsplatz durchgeführt, bei welchen die Versuchsteilnehmer über eine Dauer von 8 Stunden Rohrleuchten montieren sollten.
Betrachtet man die durchschnittliche Montagezeit, ergeben sich durch den Einsatz der Objekterkennung keine Verzögerungserscheinungen. Da sich die Anzahl der montierten Rohrleuchten aufgrund verschiedener Montagegeschwindigkeiten zwischen den Probanden unterscheidet, wurden die ersten 30 Montagen als Berechnungsgrundlage herangezogen.
Fazit
Insgesamt besteht großes Potenzial, die Qualitätssicherung von explosionsgeschützten Produkten durch den Einsatz von Deep Learning zu optimieren. Insbesondere bei Erzeugnissen mit hoher Variantenvielfalt besteht durch die Flexibilität dieser Systeme eine kosten- und zeitgünstige Alternative zu anderen Methoden der Computer Vision, welche ein umfangreiches manuelles Feature-Engineering voraussetzen. Da die Beschaffung von Trainingsdaten und das Training der Modelle dennoch Zeit in Anspruch nimmt, ist der Einsatz von Deep Learning nur für Produkte wirtschaftlich, die in ausreichend großer Stückzahl produziert werden.
Da die betrachteten Systeme nur optische Merkmale überprüfen können, eignen sie sich nicht als Ersatz für umfangreiche Qualitätssicherungsmaßnahmen. Darüber hinaus stellt sich die Frage nach der rechtlichen Bewertung im Fall eines Systemfehlers. Aus diesen Gründen sollte Deep Learning eher als eine Ergänzung bzw. Unterstützung der Mitarbeiter*innen gesehen werden.
Literatur
[1] | DIN EN IEC 60079-0 September 2019. Explosionsgefährdete Bereiche - Teil 0: Betriebsmittel - Allgemeine Anforderungen |
[2] | Wang, J.; Ma, Y.; Zhang, L.; Gao, R.X.: Deep learning for smart manufacturing: Methods and applications. In: Journal of Manufacturing Systems, Volume 48 (2018), S. 144-156 [Zugriff am 15.02.2022] Verfügbar unter: https://doi.org/10.1016/J.JMSY.2018.01.003 |
[3] | Mahony, NO.; Campbell, S.; Carvalho, A.; Harapanahalli, S.; Hernandez, G.; Krpalkova, L.; Riordan, D.; Walsh, J.: Deep Learning vs. Traditional Computer Vision. In: Computer Vision Conference 2019. Las Vegas, Nevada, United States. [Zugriff am 15.02.2022] Verfügbar unter: https://arxiv.org/ftp/arxiv/papers/1910/1910.13796.pdf |
[4] | Bochkovskiy, A.; Wang, C.-Y.; Liao, H.-Y. M.: YOLOv4: Optimal Speed and Accuracy of Object Detection, 2020 [Zugriff am 02.02.2022]. Verfügbar unter: arxiv.org/abs/2004.10934 |
[5] | NVIDIA TensorRT Documentation. NVIDIA. 2021 [Zugriff am 03.02.2022] Verfügbar unter: https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html |
[6] | J. Redmon: Darknet: Open Source Neural Networks in C. [Zugriff am 02.02.2022]. Verfügbar unter: pjreddie.com/darknet/ |
[7] | DIN EN 60079-1 April 2015. Explosionsgefährdete Bereiche - Teil 1: Geräteschutz durch druckfeste Kapselung "d" |
Eine Frage bitte
Weitere Artikel
Ex im Blick
Mit erschreckender Regelmäßigkeit führen eine unsachgemäße Lagerung von gefährlichen Chemikalien und mangelhafte Überwachung von…
Warum integriertes Projektmanagement gefragt ist
Durch die Reduzierung von Projektmanagement und Entwicklungszeit bei Kapitalprojekten ist es möglich 15 bis 30 Prozent an Kosten zu sparen
Statische und dynamische Materialbeanspruchung von Ex…
Druckfest gekapselte Gehäuse müssen bei der Zertifizierung einer Prüfung auf Druckfestigkeit unterzogen werden
PLP NZ feiert 45 Jahre mit R. STAHL
Vor 45 Jahren kamen ebenfalls drei Dinge zusammen: R. STAHL, PLP (Electropar Ltd) und die Bereitschaft, eine innovative neue…
Kontaktöffnungs-Entladungen in einem zündfähigen H2-Luft-Gemisch
Für den sicheren Betrieb der Wasserstofftechnologie, als ein Basisbaustein für die Energiewendepolitik der Bundesrepublik, sind…
Notlicht-Sicherheitsbeleuchtung
Zentralbatterieanlagen als Sicherheitsbeleuchtungsanlagen bieten einen sicheren Schutz bei Ausfall der Spannungsversorgung
Wenn der Sensor Mist misst und der Schein trügt
Die Steuerung verfahrenstechnischer Anlagen basiert in der Regel auf der Messung von Prozessgrößen, beispielsweise Temperatur, Druck, Menge…
Blitz- und Überspannungsschutz eigensicherer Messkreise
Der Betreiber hat die Pflicht, die Explosionsgefahr seiner Anlage zu beurteilen und er muss sicherstellen, dass alle Mindestvorschriften…
Ex Baugruppen Teil 1
Die Diskussion um sogenannte Ex-Baugruppen ist so alt wie die EU-ATEX-Richtlinie, also mittlerweile fast 20 Jahre
Wie R. STAHL TRANBERG die Digitalisierungsanforderungen der…
Digitalisierung und die Einbindung von Daten und Lösungen spielen heutzutage eine wichtige Rolle in der Schifffahrt und der maritimen…
Das „PTB Ex Proficiency Testing Scheme”
Das PTB Ex PTS hat sich inzwischen als wichtiges Werkzeug für den Kompetenz- und Leistungsnachweis der Ex-Prüflaboratorien weltweit…
Nicht-Elektrischer Explosionsschutz
Für Hersteller explosionsgeschützter Produkte und Betreiber von explosionsgefährdeten Anlagen sind Kenntnisse im Bereich des…
Zertifizierung in Südafrika
Die Zertifizierung in Südafrika hat bestimmte Schlüsselunterschiede zur internationalen Zertifizierung, z.B. IECEx oder ATEX
Globale Konformitätsbewertung mit dem IECEx-System
Das Technische Komitee (TC) 31 ist bei IEC eine Arbeitsgruppe mit der Aufgabe, ein weltweites Konformitätsbewertungssystem für…
Konformitätsbewertung in den Vereinigten Staaten
Im Gegensatz zur internationalen IEC/IECEx–Gemeinde und zur Europäischen Union stellt sich die Konformitätsbewertungslandschaft in den USA…
25 Jahre Zoneneinteilung in den USA
Im Bereich des Explosionsschutzes wurde mit der Veröffentlichung des Artikels 505 im National Electrical Code (NEC®) von 1996 ein großer…
Eine Fundgrube an Industrieerfahrung
Er löst damit Thorsten Arnhold ab, der dem IECEx in den letzten sechs Jahren vorstand
„Ex-citing“ Future durch Wasserstoff
Bis auf wenige Ausnahmen, die auf der Wirkung der Gravitation und der Radioaktivität beruhen, ist Wasserstoff die Quelle der meisten…
Zertifizierung für Ex-Produkte
Zum 01. Oktober 2020 müssen die meisten in China verkauften Ex-Produkte durch eine neue CCC-Ex-Produktzertifizierung und -Kennzeichnung…
Auszug ExInfo-NL 03/2020
Neue TRGS 720: Änderungen gegenüber der TRBS 2152/TRGS 720 in einem Dokument dargestellt