Eine Prüfkamera erfasst das Bild eines Bauteils. Sensoren liefern Prozessdaten. Prüfgeräte stellen Ergebnisse bereit. Historische Aufzeichnungen zeigen Muster früherer Fehler.
Ein KI-System analysiert diese Eingaben und empfiehlt eine von zwei Entscheidungen:
ANNEHMEN oder ZURÜCKWEISEN.
Die Empfehlung durchläuft einen Freigabeprüfpunkt, das Bauteil wird freigegeben und die Produktion läuft weiter. Alles erscheint beherrscht, bis ein Kunde feststellt, dass ein fehlerhaftes Bauteil als annehmbar eingestuft wurde.
Die unmittelbare Erklärung kann lauten:
„Das KI-System hat es freigegeben.“
Ein KI-System kann jedoch keine Verantwortung übernehmen. Es kann die Entscheidung weder dem Kunden erklären noch eine Korrekturmaßnahme leiten, eine Abweichung genehmigen oder einem Auditor Rede und Antwort stehen.
Das Modell hat möglicherweise die Empfehlung erzeugt, aber die Organisation hat das Produkt freigegeben. Diese Unterscheidung gewinnt zunehmend an Bedeutung, da künstliche Intelligenz in Prüfung, Prozessregelung, Lieferantenmanagement, Reklamationsanalyse und andere qualitätsbezogene Tätigkeiten Einzug hält.
Die Frage ist nicht mehr, ob Qualitätsfunktionen KI einsetzen werden. Die wichtigere Frage lautet:
Wenn KI eine Qualitätsentscheidung beeinflusst, wer bleibt für ihre Folgen verantwortlich?
1. KI beeinflusst bereits Qualitätsentscheidungen
KI im Qualitätsbereich beschränkt sich nicht auf futuristische autonome Fabriken. Sie beeinflusst bereits Entscheidungen in mehreren praktischen Bereichen.
Bildverarbeitungssysteme klassifizieren Oberflächenfehler, Maßabweichungen und Montagefehler.
Prädiktive Modelle analysieren Prozessparameter und ermitteln die Wahrscheinlichkeit eines Anlagenausfalls oder einer Prozessabweichung.
KI-Werkzeuge untersuchen Kundenreklamationen, gruppieren ähnliche Fehler und empfehlen Prioritäten für die Untersuchung.
Lieferantenrisikosysteme verbinden Informationen zu Lieferung, Qualität, Kapazität und Finanzen, um Lieferanten mit Handlungsbedarf zu identifizieren.
Generative KI kann Qualitätsingenieure dabei unterstützen, Auditnachweise zusammenzufassen, Trends zu interpretieren, erste Hypothesen zu Fehlerursachen zu entwickeln und Entwürfe für Korrekturmaßnahmenberichte zu erstellen.
In jedem Fall wandelt KI Daten in eine Empfehlung um, die eine Qualitätsentscheidung beeinflussen kann.
Das Ausmaß des Einflusses ist jedoch nicht immer klar definiert.
Ist das KI-Ergebnis lediglich eine zusätzliche Information für eine qualifizierte Person?
Akzeptiert der Anwender die Empfehlung normalerweise, solange nichts ungewöhnlich erscheint?
Oder genehmigt, verwirft, priorisiert oder gibt das System automatisch ohne Einzelfallprüfung frei?
Dies sind grundlegend unterschiedliche Betriebsmodelle, doch Organisationen behandeln sie möglicherweise so, als wären sie gleich.
Vor dem Einsatz von KI muss die Organisation daher festlegen, ob das System:
- Stellt Informationen bereit
- Erzeugt eine Empfehlung
- Unterstützt eine menschliche Entscheidung
- Trifft eine Entscheidung, die später überprüft wird
- Führt eine Entscheidung automatisch aus
Je größer der Einfluss von KI auf das Endergebnis ist, desto stärker sollten die erforderliche Validierung, Überwachung, Eskalation und Governance sein.
2. Eine Empfehlung bedeutet keine Verantwortungsübernahme
Ein KI-Modell kann empfehlen, ein Bauteil als annehmbar einzustufen.
Sie kann die Wahrscheinlichkeit eines Fehlers berechnen.
Sie kann Lieferanten nach dem wahrgenommenen Risiko einstufen.
Sie kann anhand historischer Daten eine vermeintliche Grundursache identifizieren.
Die Befugnis, Empfehlungen abzugeben, und die Verantwortung sind jedoch nicht dasselbe.
Die Rechenschaftspflicht liegt bei der Rolle oder Funktion, die von der Organisation befugt wurde, die Entscheidung und ihre Folgen zu verantworten.
Wenn ein KI-gestütztes Prüfsystem ein fehlerhaftes Produkt freigibt, verschwindet die Verantwortung nicht im Algorithmus. Die Organisation muss weiterhin feststellen können:
- Wer hat den vorgesehenen Einsatz des KI-Systems freigegeben
- Wer die Annahmekriterien festgelegt hat
- Wer die Leistung validiert hat
- Wer ihren Einsatz in der Produktion genehmigt hat
- Wer fehlerhafte Klassifizierungen überwacht
- Wer kann das System übersteuern oder stoppen
- Wer die daraus resultierende Produktentscheidung verantwortet
Das bedeutet nicht, dass ein Mensch jedes Ergebnis jedes KI-Systems manuell freigeben muss.
Menschliche Rechenschaftspflicht ist nicht zwangsläufig gleichbedeutend mit fortlaufendem manuellem Eingreifen.
Ein automatisiertes Prüfsystem kann Tausende von Bauteilen ohne Einzelfreigabe verarbeiten. Dennoch muss ein benannter Prozessverantwortlicher für die Eignung des Systems, seine Lenkungsmaßnahmen, die überwachte Leistung und die Eskalationskriterien verantwortlich bleiben.
Automatisierung kann verändern, wie eine Entscheidung ausgeführt wird.
Die Verantwortung der Organisation für diese Entscheidung entfällt dadurch nicht.
3. Warum „Das System hat entschieden“ keine Grundursache ist
Angenommen, ein KI-Bildverarbeitungssystem erkennt einen Riss nicht und stuft das Bauteil als akzeptabel ein.
„Das KI-System hat die Komponente freigegeben“ beschreibt, was geschehen ist.
Es erklärt nicht, warum es geschah.
Eine aussagekräftige Untersuchung muss möglicherweise prüfen, ob:
- Die Trainingsdaten enthielten genügend Beispiele dieses Fehlers
- Die Bilder bildeten die tatsächlichen Produktionsbedingungen ab
- Beleuchtung, Position oder Oberflächenabweichungen beeinflussten die Erkennung
- Der Annahmeschwellenwert war angemessen
- Das Modell war für diese Produktvariante validiert worden
- Eine Software- oder Modellaktualisierung veränderte die Leistung
- Die Bediener verstanden, wann eine manuelle Verifizierung erforderlich war
- Fälschliche Annahmeentscheidungen wurden überwacht
- Das System arbeitete weiterhin außerhalb seiner validierten Bedingungen
Der Fehlermechanismus kann in den Daten, im Modell, in der Ausrüstung, der Betriebsumgebung, dem Entscheidungsschwellenwert, der Validierungsmethode oder dem Governance-Prozess liegen.
„KI-Fehler“ als Grundursache zu behandeln, ähnelt der Einstufung von „Bedienerfehler“ als abschließender Grundursache. Beides kann dazu führen, dass die Untersuchung endet, bevor die Systembedingungen hinter dem Fehler verstanden wurden.
KI bringt eine weitere wichtige Schwierigkeit mit sich: Die Modellleistung kann sich verändern, selbst wenn bei der Software selbst kein sichtbarer Ausfall vorliegt.
Änderungen bei Materialien, Lieferanten, Produktvarianten, Kamerabedingungen, Fehlerbildern oder dem Prozessverhalten können dazu führen, dass aktuelle Betriebsdaten von den zur Modellentwicklung verwendeten Daten abweichen.
Ein Modell, das bei der anfänglichen Validierung ausreichend leistungsfähig war, kann daher im Laufe der Zeit an Wirksamkeit verlieren.
Die Grundursachenanalyse muss über das KI-Ergebnis hinausgehen und das gesamte Entscheidungssystem untersuchen.
4. Was ein KI-gestütztes QMS festlegen muss
Ein Qualitätsmanagementsystem kann KI nicht allein dadurch beherrschen, dass es sie als weiteres Prüfmittel aufführt.
Ihr Einsatz muss in die bestehenden Regelungen zu Kompetenz, Validierung, Änderungsmanagement, Überwachung, Nichtkonformität, dokumentierter Information und Managementverantwortung eingebunden werden.
Ein KI-gestütztes QMS sollte mindestens fünf Elemente definieren.
Grenze der bestimmungsgemäßen Verwendung
Die Organisation muss festlegen, wozu das KI-System befugt ist – und wozu nicht.
Ein für ein Bauteil, eine Fehlerart, eine Produktionslinie oder eine Betriebsbedingung validiertes Modell sollte nicht stillschweigend ohne Überprüfung auf eine andere Anwendung übertragen werden.
Validierte Daten
Die Organisation sollte Herkunft, Qualität, Relevanz und Grenzen der Daten verstehen, die zur Entwicklung und Validierung des Modells verwendet werden.
Eine große Datenmenge ist nicht automatisch eine repräsentative Datenmenge.
Seltene, aber kritische Fehler können selbst in einem sehr großen Datensatz unzureichend vertreten sein.
Entscheidungsschwelle
Die Empfindlichkeit und die Annahmeschwelle des Systems müssen die Folgen falscher Entscheidungen berücksichtigen.
Eine falsche Rückweisung verursacht unnötigen Ausschuss oder erneute Prüfungen.
Eine fälschliche Freigabe kann dazu führen, dass ein fehlerhaftes oder potenziell unsicheres Produkt den Kunden erreicht.
Diese Risiken sind nicht gleichwertig. Der Entscheidungsschwellenwert sollte daher nicht ausschließlich so gewählt werden, dass die Gesamtgenauigkeit des Modells maximiert wird.
Menschliche Übersteuerung und Eskalation
Anwender müssen wissen, wann sie das System übersteuern dürfen, wann eine zusätzliche Verifikation erforderlich ist und wann Produktion oder Freigabe gestoppt werden müssen.
Manuelle Übersteuerungen sollten ebenfalls dokumentiert und analysiert werden. Häufige menschliche Eingriffe können darauf hinweisen, dass das Modell oder seine Einsatzgrenzen nicht mehr geeignet sind.
Leistungsüberwachung
Eine anfängliche Validierung reicht nicht aus.
Die Organisation sollte falsche Gutbewertungen, falsche Schlechtbewertungen, Übersteuerungen, durchgeschlüpfte Fehler, Änderungen der Betriebsbedingungen und die Leistung über verschiedene Produkte oder Fehlerkategorien hinweg weiterhin überwachen.
KI-Leistung sollte als beherrschtes Prozessmerkmal behandelt werden und nicht als einmalige Softwarequalifizierung.
5. Ein praxisnahes Modell der Verantwortung
Die Rechenschaftspflicht für eine KI-gestützte Qualitätsentscheidung sollte nicht vage „dem KI-Team“ oder „der Qualitätsabteilung“ zugewiesen werden.
Verschiedene Rollen sind für unterschiedliche Teile des Entscheidungssystems verantwortlich.
Rolle | Hauptverantwortung | Prozesseigner: Definiert Anwendung, Betriebsbedingungen und Grenzen der bestimmungsgemäßen Verwendung | Qualitätsfunktion: Legt Annahmekriterien, Maßnahmen zur Beherrschung von Produktrisiken und Verifikationsanforderungen fest | Modellverantwortlicher: Steuert Modellvalidierung, Konfiguration, Aktualisierungen und technische Leistung | Datenverantwortlicher: Gewährleistet Eignung, Integrität, Rückverfolgbarkeit und Repräsentativität der Daten | Anwender: Wendet die festgelegten Prüf-, Übersteuerungs- und Eskalationsregeln an | Management: Genehmigt Governance, Ressourcen, Verantwortlichkeiten und akzeptables Restrisiko
Diese Verantwortlichkeiten sollten in einem rückverfolgbaren Entscheidungsnachweis zusammengeführt werden.
Bei wesentlichen Anwendungen sollte die Organisation Folgendes feststellen können:
- Welches Modell und welche Version die Ausgabe erzeugt haben
- Welche Eingabedaten verwendet wurden
- Welche Betriebsbedingungen vorlagen
- Welche Empfehlung erzeugt wurde
- Ob ein Mensch das Ergebnis überprüft oder übersteuert hat
- Welche Annahmekriterien angewendet wurden
- Wer befugt war, die endgültige Entscheidung zu verantworten
Ohne diese Rückverfolgbarkeit können Untersuchungen im Nachhinein von Annahmen abhängig werden.
Das stärkste Verantwortungsmodell ist nicht dasjenige, an dem jeder beteiligt ist.
Es ist eines, in dem für jede kritische Verantwortung eine eindeutig benannte verantwortliche Person feststeht.
6. Fragen, die Führungskräfte und Auditoren künftig stellen müssen
KI-Governance sollte nicht ausschließlich bei der Informationstechnologie oder den Data-Science-Teams liegen.
Qualitätsverantwortliche, Prozessverantwortliche und Auditoren müssen verstehen, wie KI gelenkte Entscheidungen innerhalb des Managementsystems beeinflusst.
Sie sollten künftig fragen:
- Welche Qualitätsentscheidungen werden derzeit durch KI beeinflusst?
- Liefert die KI Informationen, empfiehlt sie eine Entscheidung oder führt sie diese aus?
- Wer trägt die Verantwortung für das Endergebnis?
- Für welche Erkennungs- oder Vorhersageaufgabe wurde das System validiert?
- Unter welchen Bedingungen gilt diese Validierung als gültig?
- Wie werden falsche Gutbewertungen und falsche Schlechtbewertungen überwacht?
- Was geschieht, wenn das Modell auf eine unbekannte Bedingung trifft?
- Wer darf das System übersteuern oder stoppen?
- Wie werden Änderungen an Modell, Software und Schwellenwerten gesteuert?
- Kann die Organisation eine bedeutsame frühere Entscheidung rekonstruieren?
- Wie werden die Nutzer darin geschult, die Grenzen des Systems zu erkennen?
- Wann ist eine erneute Validierung erforderlich?
- Wie bewertet die Leitung die KI-bezogene Leistung?
Diese Fragen sollen die Einführung von KI nicht behindern.
Sie sind notwendig, damit ein höherer Automatisierungsgrad nicht zu einer schwächeren Verantwortlichkeit führt.
KI kann Muster erkennen, die Menschen möglicherweise übersehen. Sie kann Prüfungen beschleunigen, mehr Daten analysieren und ein früheres Eingreifen unterstützen. Verantwortungsbewusst eingesetzt, kann sie die Qualität von Entscheidungen deutlich stärken.
Vertrauen in KI darf jedoch nicht die Kontrolle über KI ersetzen.
Der Algorithmus kann eine Entscheidung empfehlen.
Das System kann sie ausführen.
Die Organisation muss aber weiterhin wissen, wer für das Ergebnis verantwortlich ist.
Das größte Risiko liegt möglicherweise nicht darin, dass KI eine falsche Empfehlung abgibt.
Möglicherweise verlassen sich alle auf die Empfehlung, während niemand eindeutig die Verantwortung für die Entscheidung übernimmt.