Sensordatenfehler und die Auswirkungen auf KI-Anwendungen

Arten von Sensordatenfehlern und Ansätze zu ihrer Behebung in praktischen Anwendungen

22
.
Dezember 2021
von
Michael Welsch
&

Bei KI-Anwendungen geht es darum, Entscheidungen auf der Grundlage von Daten zu treffen, die bei technischen Anwendungen in der Regel mit Hilfe von Sensoren gewonnen werden. Es ist wichtig, dass man sich auf die gemessenen Größen verlassen kann. Daher ist es unvermeidlich, sich mit Messfehlern zu befassen, die in der Praxis unweigerlich auftreten und durch den Einsatz von KI zu falschen Entscheidungen führen können. Nach der Internationalen Organisation für Normung (ISO) ist ein Messfehler definiert als das Ergebnis einer Messung minus dem wahren Wert der Größe. In diesem Zusammenhang kann der Messfehler nicht immer klar von der Verarbeitung der Daten getrennt werden. Bei PANDA gruppieren wir Messfehler nach Strategien, um sie zu erkennen und zu behandeln.

Klassifizierung und Ursache von Sensordatenfehlern

Verzerrungen, falsche Kalibrierung, Clipping und Drifts

Eine Verzerrung ist ein Fehler, der auf einen Wert zurückzuführen ist, der im Vergleich zum normalen Verhalten eines Sensors verschoben oder allgemein systematisch verzerrt ist. Um diesen Fehler zu vermeiden, ist normalerweise ein Abgleich mit einer Referenz erforderlich. Wird dies nicht oder nur teilweise korrekt durchgeführt, führt dies zu einer falschen Umrechnung und in der Folge zu einer systematisch falschen Messgröße. Häufige Fehler sind falsche Verstärkungsfaktoren, falscher Offset, Einheitenumrechnungsfehler und nicht berücksichtigte Nichtlinearitäten. Diese Fehler entstehen auch durch eine fehlerhaft durchgeführte Kalibrierung eines Sensors oder der Messkette. Auch die Referenz, die z.B. eine Referenzspannung am AD-Wandler sein kann, kann Veränderungen unterliegen.

Bei falscher Auslegung des Sensors kann der auftretende Messpegel den Messbereich des Sensors oder der Elektronik überschreiten, so dass Werte aufgezeichnet werden, die jenseits eines Grenzwertes keine Veränderung mehr aufweisen. Dieses Verhalten wird als Clipping bezeichnet.

Drifts sind Messwerte, die aufgrund von Veränderungen im Sensor, z.B. durch Alterung oder eine irreversible chemische Reaktion, oder aufgrund von Temperaturabhängigkeiten durch wechselnde Umgebungsbedingungen, im Laufe der Zeit von ihrem wahren Wert abweichen und somit nicht mehr einer Kalibrierung entsprechen und die Kalibrierung angepasst werden muss.

Fehlende Daten, hängende Werte und Fehler

Ein häufiger Fehler bei Sensordaten sind fehlende Daten in der Aufzeichnung. Das Ergebnis ist ein unvollständiger Datensatz. Fehlende Daten werden durch eine Vielzahl von Faktoren verursacht, darunter instabile Verbindungen aufgrund von Netzwerkproblemen, insbesondere drahtlose Verbindungen, Ausfälle von Sensorgeräten aufgrund ihrer begrenzten Elektronik oder Batterielebensdauer, Umgebungsstörungen wie Menschen, Wände und Wetterbedingungen sowie Softwarefehler.

Hängende Werte sind Werte, die im Laufe der Zeit einen konstanten Wert anzeigen, obwohl sie sich ändern sollten. Sie werden in der Regel durch einen fehlerhaften Sensor oder Übertragungsprobleme verursacht und können sich daher tatsächlich als fehlende Daten herausstellen. Oft handelt es sich um Werte, die über einen längeren Zeitraum konstant bei Null ("stuck-at-zero") oder einer typischen Abweichung von Null liegen, woraus auf einen Defekt in der Elektronik geschlossen werden kann. 

Ein Defekt an der Elektronik oder der Verkabelung zeigt sich bei Hochfrequenzsensoren dadurch, dass die Schaltung starkes Rauschen oder eine Schwingung wie die Netzfrequenz von 50Hz aufnimmt. Hier handelt es sich oft um unterbrochene Verbindungen, so dass durch Kabelbruch oder Wackelkontakt im Stecker ein Potential freigelegt wird und anfällig für elektromagnetische Strahlung jeglicher Art wird. Ebenso treten diese Effekte auf, wenn ungeschirmte Kabel verwendet werden.

Ausreißer und Anomalien

Die in wissenschaftlichen Veröffentlichungen am häufigsten diskutierte Fehlerart sind Ausreißer. Sie werden auch als Anomalien bezeichnet. Es handelt sich um Werte, die erheblich von dem Verhalten abweichen, das durch eine Modellbetrachtung vorgegeben ist - beispielsweise im Vergleich zu einer Modellierung der Daten, bei der festgestellt wird, dass die Daten nicht einer Gauß-Verteilung oder einem Markov-Prozess folgen. Auch ohne wissenschaftliche Modellierung wird eine Sensordatenmessung in der Regel als Ausreißer betrachtet, wenn sie sich auffallend von ihren vorherigen und nächsten Beobachtungen oder von Beobachtungen benachbarter Sensorknoten unterscheidet, z. B. wenn einzelne Spitzen oder Einbrüche in Zeitreihen auftreten.

Lärm und Unsicherheit 

Rauschen ist eine Art von Fehler, der nicht per se ein technischer Fehler ist. Es gibt (immer) kleine Schwankungen im Datensatz, die durch Effekte der statistischen Physik wie thermisches Rauschen und Effekte der Signalverarbeitung wie Hochfrequenzschwingungen und Aliasing bei der AD-Wandlung verursacht werden. Änderungen der Messwerte treten auf, obwohl keine Änderungen der Sensorwerte zu erwarten sind, weil das System in einer makroskopischen Skala bewusst in Ruhe ist.

Unter Unsicherheit versteht man die Quantifizierung dieses Effekts in statistischer Hinsicht als Fehlerabweichung vom Erwartungswert. Dabei wird davon ausgegangen, dass ein Messwert nie ohne Unsicherheit erfasst werden kann, eine Abweichung aber umso unwahrscheinlicher ist, je größer sie ist, so dass den Messwerten Vertrauensbereiche zugeordnet werden können. Die Fehlerfortpflanzung kann zur Beschreibung der Zunahme des Fehlers entlang einer Messkette verwendet werden. Das Rauschen nimmt entlang einer analogen Übertragungskette ohne aktive Maßnahmen stetig zu. Nur bei digitalisierten Werten wird dieser Effekt umgangen.

Manipulations-, Bedienungs- und Programmierfehler

Während die bisherigen Fehlergruppen zu den klassischen Einflüssen gehören, gibt es auch Fehler, die durch bewusste und unbewusste Datenmanipulation verursacht werden. Die bewussten Manipulationen reichen von einer Verschönerung von Messwerten durch manuelle Datenkorrekturen bis hin zu einem Cyberangriff, bei dem eigentlich korrekt erfasste Werte durch externe Kräfte nachträglich oder in Echtzeit verändert werden.

Dies steht im Gegensatz zu Bedienungs- und Programmierfehlern, die unter Umständen auch zu Sensordatenfehlern führen können, oft aufgrund nicht intuitiver Software oder mangelnder Qualifikation von Expertensystemen.

Umgang mit Sensordatenfehlern in KI-Anwendungen.

Die Vielfalt der aufgelisteten Fehler zeigt, dass es viele Gründe gibt, warum Daten aus einer Aufzeichnung und einer darauf aufbauenden KI-Anwendung nicht vertraut werden sollte. 

Neben der Frage, wie KI-Anwendungen mit regulären, aber unbekannten Daten umgehen, können sich Sensordatenfehler von subtil bis extrem in reguläre Daten einschleichen. Am Modellausgang stören die fehlerhaften Daten dann den Algorithmus, weshalb die Erkennung von Sensordatenfehlern nach der KI-Anwendung stark erschwert bis unmöglich ist.

Sensordatenfehler weisen jedoch sensorspezifische Merkmale auf, die für Selbstkontrollen direkt am Dateneingang oder in der vorgeschalteten Messkette und Elektronik genutzt werden können. Sensordatenfehler können daher parallel oder im Preprocessing des Dateninputs analysiert werden. Dabei können sowohl deterministische als auch KI-Methoden zum Einsatz kommen. Die Basis einer solchen Vertrauenskette ist die Beherrschung der gesamten Signalkette der Datenverarbeitung mit Kontrollen entlang der gesamten Kette.

Strategien zur Erkennung von Sensordatenfehlern

Beim Design einer KI-Anwendung geht es neben der Schaffung der eigentlichen KI-Fähigkeit mit all ihren besonderen Herausforderungen immer auch darum, möglichst viele Fehlerquellen abzufangen, die durch Sensordatenfehler entstehen. Die Methoden hierfür sollten prinzipiell unabhängig von der eigentlichen KI-Anwendung bzw. dem Training sein.

Im Microservice-Ansatz von PANDA DRIFT kommuniziert jeder Dienst einen Status und einen Gesundheitszustand über den Zustand des Dienstes. Dieser einheitliche Kommunikationskanal kann genutzt werden, um Fehler aus verschiedenen Teilen einer Anwendung zu aggregieren und auf Dashboards anzuzeigen, eine Verbindung zu Ticketing-Systemen herzustellen und automatisierte Routinen aufzurufen. Während die infrastrukturelle Lösung für die Fehlerbehandlung recht einfach und universell mit Microservices gelöst werden kann, werden in PANDA an verschiedenen Stellen unterschiedliche Techniken eingesetzt, um den Sensor in den fünf Gruppen zu überwachen.

Zur ersten Gruppe gehören falsch eingestellte Sensoren. Das Sensor Device von PANDA kann EEPROM-Chips auslesen, die in Sensoren und Steckern eingebaut sind. Hier können die Kalibrierdaten gespeichert und dokumentiert werden. Sensordaten werden von DRIFT intern in mV-Einheiten und rauschreduziert gespeichert, so dass eine falsche Kalibrierung oder eine falsche Umrechnung von Einheiten nachträglich korrigiert werden kann, ohne die bereits gespeicherten Daten zu verändern. Darüber hinaus können Maschinen oft gezielt in einen Wartungsmodus versetzt werden, in dem das Verhalten der Sensoren bekannt ist und diese automatisch justiert werden können.

Bei der zweiten Gruppe von Verbindungsabbrüchen sind in das PANDA Sensor Device Testroutinen eingebaut, die auf Hardwareroutinen des AD-Wandlers zugreifen. Die erfassten Daten werden lokal in Ringpuffern auf der SD-Karte zwischengespeichert und anschließend bei Bedarf synchronisiert und nachbearbeitet, wenn die Verbindung wiederhergestellt ist.

Bei der dritten Gruppe von Ausreißern ist es sinnvoll, robuste maschinelle Lerndienste zu schaffen. Hierfür gibt es zwei Strategien. Entweder werden die Algorithmen direkt mit Ausreißern trainiert oder die Daten werden vor der eigentlichen Verarbeitung auf statistische Merkmale überprüft. Deterministische Methoden sind hier oft effektiver als neuronale Netze, wenn es zum Beispiel darum geht, zu erkennen, dass eine Kamera verstaubt ist oder ein Wert hängt. Die Ursachen einzelner Ausreißer können untersucht werden, indem die erfassten Größen mit den genauen Filtereigenschaften oder den Nyquist-Shannon-Kriterien der Hardware ausgewertet werden, wobei Spitzen und Einbrüche nur in einer bestimmten Intensität auftreten dürfen. Diese Größen sind bei den PANDA Sensorgeräten genau bekannt.

Bei der vierten Gruppe, dem Rauschen und der Unsicherheit, hilft der Einsatz hochwertiger Elektronik und rauscharmer Sensorgeräte. Durch analoge und digitale Filterung sowie Oversampling-Strategien kann der Effekt weitgehend auf ein unkritisches Maß reduziert werden. Algorithmisch können sowohl frequenzbasierte Entrauschungs- als auch Regularisierungsverfahren eingesetzt werden, um das Rauschen nachträglich zu entfernen. Dies ist jedoch immer nur zweite Wahl, wenn man auf der anderen Seite die Signalkette optimieren kann.

Der Umgang mit der fünften Gruppe fällt nicht in den Bereich der Signaltheorie, kann aber durch modernste IT-Sicherheitsprinzipien und einen Fokus auf gutes API- und UX-Design ausgeglichen werden. Insbesondere kann ein Linux-System mit reduzierten und verwalteten Abhängigkeiten gut gewartet werden. PANDA verlässt sich auf Linux für die Instanzen von DRIFT auf den PANDA-Rechengeräten.

Folgen Sie mir auf
Wir optimieren nicht nur die Produktionsprozesse, sondern auch unsere Website! Hierfür verwenden wir Tools wie Cookies für Analyse- und Marketingzwecke. Sie können Ihre Cookie-Einstellungen jederzeit ändern. Informationen und Einstellungen