Вексидо

Когда искусственный интеллект влияет на принятие решений, касающихся качества, кто несет ответственность?

Имран Хан, доктор философии. • Сдвиг в качестве • 8 мин чтения

Когда искусственный интеллект влияет на принятие решений, касающихся качества, кто несет ответственность?

Инспекционная камера делает снимок компонента. Датчики предоставляют данные о процессе. Испытательное оборудование выдает результаты. Исторические записи позволяют выявить закономерности предыдущих отказов.

Система искусственного интеллекта анализирует эти входные данные и рекомендует одно из двух решений:

ПРИНЯТЬ или ОТКЛОНИТЬ.

Рекомендация проходит контрольную точку утверждения, компонент выпускается, и производство продолжается. Все кажется контролируемым до тех пор, пока клиент не обнаружит, что дефектный компонент был признан приемлемым.

Возможное непосредственное объяснение таково:

«Система искусственного интеллекта это одобрила».

Однако система искусственного интеллекта не может брать на себя ответственность. Она не может объяснить решение клиенту, инициировать корректирующие действия, одобрить отклонение или ответить аудитору.

Модель, возможно, и сгенерировала рекомендацию, но продукт выпустила организация. Это различие становится все более важным по мере того, как искусственный интеллект проникает в инспекцию, управление процессами, управление поставщиками, анализ жалоб и другие виды деятельности, связанные с качеством.

Вопрос уже не в том, будут ли функции контроля качества использовать ИИ. Более важный вопрос:

Когда искусственный интеллект влияет на принятие решений, касающихся качества, кто несет ответственность за их последствия?

Когда ИИ влияет на принятие качественного решения, кто несёт ответственность? — визуализация 1

1. Искусственный интеллект уже проникает в сферу принятия решений, касающихся качества.

Применение ИИ в сфере качества не ограничивается футуристическими автономными заводами. Он уже влияет на принятие решений в ряде практических областей.

Системы компьютерного зрения классифицируют дефекты поверхности, отклонения в размерах и ошибки сборки.

Прогностические модели анализируют параметры процесса и определяют вероятность отказа оборудования или отклонения от технологического процесса.

Инструменты искусственного интеллекта анализируют жалобы клиентов, группируют схожие сбои и рекомендуют приоритеты расследования.

Системы оценки рисков поставщиков объединяют информацию о поставках, качестве, производственных мощностях и финансовых показателях для выявления поставщиков, требующих особого внимания.

Генеративный ИИ может помочь инженерам по качеству обобщать результаты аудита, интерпретировать тенденции, готовить предварительные гипотезы о первопричинах и составлять отчеты о корректирующих действиях.

В каждом случае ИИ преобразует данные в рекомендации, которые могут повлиять на принятие качественного решения.

Однако уровень влияния не всегда четко определен.

Является ли результат работы ИИ лишь дополнительным входным параметром для квалифицированного специалиста?

Обычно пользователь принимает рекомендацию, если только что-то не кажется необычным?

Или же система автоматически одобряет, отклоняет, определяет приоритет или выпускает решение без индивидуальной проверки?

Это принципиально разные операционные модели, но организации могут воспринимать их как одинаковые.

Поэтому, прежде чем внедрять ИИ, организация должна определить, соответствует ли система следующим требованиям:

  • Предоставляет информацию
  • Формирует рекомендацию
  • Поддерживает принятие решений человеком.
  • Принимает решение к последующему пересмотру.
  • Выполняет решение автоматически.

Чем сильнее влияние ИИ на конечный результат, тем более строгими должны быть механизмы проверки, мониторинга, эскалации и управления.


Когда ИИ влияет на принятие качественного решения, кто несёт ответственность? — визуализация 2

2. Рекомендация не означает ответственность.

Модель искусственного интеллекта может рекомендовать тот или иной компонент как приемлемый.

Она может рассчитать вероятность возникновения дефекта.

Она может ранжировать поставщиков в зависимости от предполагаемого риска.

Она позволяет выявить очевидную первопричину на основе исторических данных.

Однако полномочия по предоставлению рекомендаций и ответственность — это не одно и то же.

Ответственность лежит на той роли или функции, которые организация уполномочила нести ответственность за принятое решение и его последствия.

Если система контроля качества с поддержкой ИИ выпускает дефектную продукцию, ответственность не переходит к алгоритму. Организация по-прежнему должна уметь идентифицировать:

  • Кто одобрил предполагаемое использование системы искусственного интеллекта?
  • Кто установил критерии приемки?
  • Кто подтвердил его эффективность?
  • Кто разрешил его использование в производстве?
  • Кто отслеживает некорректные классификации?
  • Кто может отменить или остановить работу системы?
  • Кто является владельцем итогового продукта?

Это не означает, что человек должен вручную утверждать каждый результат работы каждой системы искусственного интеллекта.

Человеческая ответственность не обязательно тождественна постоянному ручному вмешательству.

Автоматизированная система контроля может обрабатывать тысячи компонентов без индивидуального согласования. Тем не менее, ответственный за процесс должен нести ответственность за пригодность системы, средства контроля, контролируемую производительность и критерии эскалации.

Автоматизация может изменить способ принятия решений.

Это не снимает с организации ответственности за это решение.


Когда ИИ влияет на принятие качественного решения, кто несёт ответственность? — визуализация 3

3. Почему «решение системы» не является первопричиной

Предположим, система машинного зрения на основе искусственного интеллекта не обнаруживает трещину и классифицирует компонент как пригодный к использованию.

«Система искусственного интеллекта одобрила компонент» — так описывается произошедшее.

Это не объясняет, почему это произошло.

Для проведения содержательного расследования может потребоваться изучить следующие вопросы:

  • В обучающих данных содержалось достаточно примеров этого дефекта.
  • Изображения отражают реальные условия производства.
  • Изменение освещения, положения или поверхности влияло на обнаружение.
  • Порог приемлемости был уместным.
  • Модель была проверена для данного варианта продукта.
  • Обновление программного обеспечения или модели изменило производительность.
  • Операторы понимали, когда требовалась ручная проверка.
  • Ложные подтверждения отслеживались.
  • Система продолжала работать вне установленных условий.

Механизм отказа может заключаться в данных, модели, оборудовании, рабочей среде, пороговом значении принятия решения, методе проверки или процессе управления.

Рассмотрение «ошибки ИИ» как первопричины аналогично рассмотрению «ошибки оператора» как конечной первопричины. В обоих случаях расследование может быть прекращено до того, как будут поняты системные условия, приведшие к сбою.

Искусственный интеллект вносит еще одно важное осложнение: производительность модели может измениться, даже если само программное обеспечение не дало видимых сбоев.

Изменения в материалах, поставщиках, вариантах продукции, состоянии камеры, характере дефектов или особенностях технологического процесса могут привести к тому, что текущие эксплуатационные данные будут отличаться от данных, использованных при разработке модели.

Таким образом, модель, показавшая удовлетворительные результаты на этапе первоначальной проверки, со временем может стать менее эффективной.

Анализ первопричин должен выходить за рамки результатов работы ИИ и исследовать всю систему принятия решений.


Когда ИИ влияет на принятие качественного решения, кто несёт ответственность? — визуализация 4

4. Что должна определять система управления качеством с поддержкой ИИ?

Система управления качеством не может контролировать ИИ, просто указав его в качестве еще одного инструмента проверки.

Его использование должно быть интегрировано в существующие механизмы контроля компетентности, валидации, управления изменениями, мониторинга, несоответствий, документированной информации и ответственности руководства.

Как минимум, система управления качеством с поддержкой ИИ должна определять пять элементов.

Граница предполагаемого использования

Организация должна указать, что именно разрешено делать системе искусственного интеллекта, а что нет.

Модель, проверенная для одного компонента, типа дефекта, производственной линии или условий эксплуатации, не должна незаметно распространяться на другое применение без проверки.

Проверенные данные

Организация должна понимать происхождение, качество, релевантность и ограничения данных, используемых для разработки и проверки модели.

Большой объем данных не обязательно является репрезентативным.

Редкие, но критически важные дефекты могут быть плохо представлены даже в очень большом наборе данных.

Порог принятия решения

Порог чувствительности и допустимости системы должен отражать последствия неверных решений.

Ложный отказ приводит к ненужным браку или необходимости повторной проверки.

Неправильное принятие товара может привести к тому, что дефектная или потенциально небезопасная продукция попадет к покупателю.

Эти риски не эквивалентны, и пороговое значение для принятия решения не следует выбирать исключительно для максимизации общей точности модели.

Человеческий фактор и эскалация

Пользователи должны знать, когда они могут внести изменения в систему, когда требуется дополнительная проверка и когда необходимо остановить производство или выпуск продукта.

Также следует регистрировать и анализировать случаи внесения изменений вручную. Частые изменения, вносимые человеком, могут указывать на то, что модель или ее рабочие параметры больше не подходят.

мониторинг производительности

Первоначальная проверка недостаточна.

Организация должна продолжать отслеживать ложные подтверждения, ложные отклонения, переопределения, сбои, изменения условий эксплуатации и производительности по различным продуктам или категориям дефектов.

Производительность ИИ следует рассматривать как контролируемую характеристику процесса, а не как разовую квалификацию программного обеспечения.


Когда ИИ влияет на принятие качественного решения, кто несёт ответственность? — визуализация 5

5. Практическая модель подотчетности

Ответственность за решения по обеспечению качества, принятые с помощью ИИ, не должна быть расплывчато возложена на «команду ИИ» или «отдел качества».

Разные роли отвечают за разные части системы принятия решений.

Роль/Основная ответственность/Владелец процесса ...

Эти обязанности должны быть объединены в отслеживаемом протоколе принятия решений.

Для важных приложений организация должна иметь возможность определить:

  • Какая модель и версия дали результат?
  • Какие входные данные использовались?
  • Какие существовали условия эксплуатации?
  • Какая рекомендация была сгенерирована?
  • Независимо от того, был ли это проверен человеком или отменено.
  • Какие критерии приемки были применены?
  • Кто имел право принимать окончательное решение?

Без такой возможности отслеживания расследования могут стать зависимыми от предположений, сделанных после события.

Наиболее эффективная модель подотчетности — это не та, в которой участвуют все.

Это система, в которой у каждой важнейшей обязанности есть один четко определенный ответственный.


Когда ИИ влияет на принятие качественного решения, кто несёт ответственность? — визуализация 6

6. Вопросы, которые руководители и аудиторы должны начать задавать.

Управление искусственным интеллектом не должно оставаться исключительно в ведении команд, занимающихся информационными технологиями или анализом данных.

Руководители по вопросам качества, владельцы процессов и аудиторы должны понимать, как искусственный интеллект влияет на принятие контролируемых решений в рамках системы управления.

Им следует начать задавать вопросы:

  • На какие решения в области качества в настоящее время влияет искусственный интеллект?
  • Искусственный интеллект предоставляет информацию, рекомендует решение или выполняет его?
  • Кому принадлежит конечный результат?
  • Что именно система призвана обнаруживать или прогнозировать?
  • При каких условиях такая проверка считается действительной?
  • Как отслеживаются ложные подтверждения и ложные отклонения?
  • Что происходит, когда модель сталкивается с незнакомой ситуацией?
  • Кто может отменить или остановить работу системы?
  • Как осуществляется контроль изменений модели, программного обеспечения и пороговых значений?
  • Может ли организация восстановить в памяти важное историческое решение?
  • Как обучают пользователей распознавать ограничения системы?
  • Когда требуется переаттестация?
  • Как руководство оценивает эффективность использования ИИ?

Эти вопросы не призваны препятствовать внедрению ИИ.

Они необходимы для того, чтобы усиление автоматизации не привело к снижению подотчетности.

Искусственный интеллект способен выявлять закономерности, которые люди могут упустить из виду. Он может повысить скорость проверок, анализировать больше данных и способствовать более раннему вмешательству. При ответственном использовании он может значительно повысить качество принимаемых решений.

Однако доверие к ИИ не должно заменять контроль над ним.

Алгоритм может порекомендовать принять решение.

Система может его выполнить.

Но организация все равно должна знать, кто несет ответственность за результат.

Наибольший риск может заключаться не в том, что ИИ даст неверную рекомендацию.

Возможно, все полагаются на эту рекомендацию, но никто однозначно не принимает окончательного решения.

К Имран Хан, доктор философии.Оригинал статьи был опубликован 1 августа 2026 года в разделе Quality Shift на LinkedIn. Переиздан на Vexido с оригинальными иллюстрациями.

Посмотреть оригинальную публикацию на LinkedIn ↗

Читать на английском