Как сохранить готовность сотрудников вмешаться, когда решение принимает ИИ

Представим систему, которая месяцами почти без ошибок сортирует заявки или проверяет документы. Сотрудник просматривает её рекомендации, но редко что-то меняет. Потом появляется необычный случай, и решение нужно принять самому. Формально человек всё это время оставался «в контуре». Но сохранил ли он навык, который теперь понадобится?

Эксперт по информационным системам управления Муруган Анандараджан описывает этот риск в колонке для The Conversation. Он называет его скрытым: организация всё ещё рассчитывает на человеческое суждение, хотя сотрудник всё реже применяет его на практике. Это авторская формулировка, а не результат нового эксперимента. Вопрос о готовности вмешаться, однако, можно рассмотреть вместе с исследованиями автоматизационного смещения и человеческого контроля.

Проверка рекомендации и самостоятельное решение не одно и то же

Автоматизационное смещение возникает, когда человек принимает вывод системы, не проверив его как следует. В эксперименте Кордулы Купфер и коллег, опубликованном в рецензируемом журнале Frontiers in Psychology в 2023 году, 93 участника выполняли две задачи по предварительному отбору кандидатов. Они работали с панелью, в которую исследователи намеренно заложили ошибки. Например, система завышала оценки неподходящих кандидатов и не учитывала академическое звание другого претендента.

Участников случайным образом распределили по трём группам. Одним дали обычную инструкцию, другим предупредили о возможных ошибках системы, третьим напомнили об ответственности за решение. Кроме того, исследователи сравнили два интерфейса: в одном отображалась общая оценка пригодности, в другом можно было посмотреть более подробные показатели. Проверку оценивали по времени работы, числу переходов и просмотренных страниц. Качество решения определяли по тому, насколько правильно участники отобрали кандидатов.

Участники, которые чаще открывали подробные сведения, в целом точнее выбирали кандидатов. Предупреждение об ошибках улучшило лишь некоторые показатели проверки, причём результаты зависели от задачи. Объективная точность отбора статистически значимо не различалась между группами. Одно напоминание об ответственности тоже не увеличило число проверочных действий.

Здесь важно не путать активность с умением заметить существенную ошибку. Большее число кликов или более долгий просмотр могут подсказать, что проверка была тщательнее, но сами по себе не доказывают компетентность. Эксперимент проходил в искусственной ситуации отбора персонала; 90% участников были студентами, преимущественно студентами-психологами. Поэтому напрямую переносить результат на опытные команды и другие виды работы нельзя.

Почему число отмен рекомендаций обманчиво

Если сотрудники стали реже отменять выводы ИИ, этому есть как минимум два объяснения. Они могли привыкнуть полагаться на систему и перестать замечать ошибки. А может быть, система стала точнее, и вмешательство действительно требуется реже. По одному числу отмен понять, какое объяснение верно, невозможно.

На эту проблему указывают Якоб Шёффер и соавторы в концептуальной статье 2025 года в Journal of Artificial Intelligence Research. Авторы различают опору на рекомендацию и качество итогового решения. Человек может принять верный совет и решить задачу правильно, принять неверный и ошибиться или отменить верную рекомендацию. Поэтому доля согласий и отмен сама по себе не показывает, насколько хорошо человек справляется с задачей.

Значит, организации стоит оценивать не только работу ИИ и действия оператора по отдельности, но и то, как между ними распределены решения. Нужно понимать, что теперь делает система, что осталось за человеком и способен ли он выполнить свою часть без подсказки. Такая проверка особенно уместна там, где ошибка дорого обходится или редкие случаи требуют опыта, который почти не используется в обычной работе.

Как проверять навык, не превращая надзор в формальность

Анандараджан предлагает время от времени просить сотрудника принять решение до того, как он увидит рекомендацию ИИ. Это практическая идея из экспертной колонки, а не метод с доказанной универсальной эффективностью. Такой подход проверяет конкретное умение: может ли специалист сформировать независимое суждение, а затем сопоставить его с выводом системы и объяснить расхождение.

В рабочих проверках можно оценивать не только итоговый ответ, но и ход рассуждений: какие данные запросил сотрудник, заметил ли он противоречие, почему принял или отклонил рекомендацию. В учебные сценарии можно включать заранее подготовленные ошибки и случаи, когда системе не хватает информации. Такие упражнения разумно использовать, чтобы находить слабые места и тренировать действия. Но считать их гарантией сохранения навыка на годы пока нельзя.

В колонке приводится пример Deloitte: компания вводит симуляции в подготовку начинающих аудиторов, поскольку часть ручной работы переходит к ИИ, а профессиональное суждение понадобится им в более сложных задачах. Этот пример описывает организационную практику, но не доказывает экспериментально, что симуляции надолго сохраняют компетенции.

В эксперименте Купфер и коллег предупреждение о возможных ошибках сопровождалось улучшением некоторых показателей проверки. Но это не значит, что одного предупреждения достаточно. Полезнее объяснять ограничения конкретной системы, давать сотруднику доступ к исходным данным и возможность оспорить рекомендацию. Интерфейс должен помогать разобраться, на чём основан вывод, а не только показывать итоговый балл.

Ответственность должна сопровождаться полномочиями и умением действовать

Если сотрудник отвечает за результат, но у него нет времени, информации или реальной возможности остановить процесс, формальный надзор мало что меняет. Междисциплинарная группа авторов во главе с Лучано Кавалканте Сибертом предложила в открытой статье журнала AI and Ethics концептуальные условия содержательного человеческого контроля. Для рабочих процессов особенно важно требование соразмерять ответственность человека с его способностью контролировать систему и полномочиями вмешаться. Авторы рассматривают это на примерах автоматизированного вождения и найма.

Эта работа не предлагает проверенную универсальную шкалу или готовый тест готовности сотрудников. Она задаёт ориентир для проектирования: человек должен понимать задачу и ограничения системы, иметь доступ к нужной информации и реальные средства повлиять на ход процесса. Вместе с практической проверкой навыка этот принцип помогает отличить содержательный надзор от простого подтверждения решения.

Организации могут начать с вопросов: какие навыки человека понадобятся при сбое; способен ли сотрудник выполнить ключевую часть задачи без рекомендации; как оценивают качество его решения; есть ли у него время и полномочия вмешаться; отслеживают ли изменения в распределении работы между человеком и ИИ. Исследования не устанавливают универсальную периодичность таких проверок. Её следует выбирать с учётом риска и пересматривать по мере изменения работы.

Для понимания того, почему важны границы между возможностями модели и человеческим контролем, полезно также прочитать материал о том, как ограничение набора инструментов влияет на выбор ИИ-агента. В обоих случаях вопрос не сводится к тому, работает ли система в обычных условиях. Нужно понимать, что произойдёт, когда привычный сценарий перестанет подходить.

Практический ориентир таков: если организация рассчитывает на вмешательство человека, готовность к нему нельзя выводить из должности, формального права отменить рекомендацию или стабильной точности ИИ. Её нужно проверять на задачах, где сотруднику приходится самостоятельно замечать ошибку, обосновывать решение и влиять на результат. Исследования пока помогают определить, что именно проверять, но не говорят, как часто это делать и как долго проверки поддерживают навык.

Источники

1. Kupfer C., Prassl R., Fleiß J., Malin C., Thalmann S., Kubicek B. «Поставьте галочку! Как справляться с автоматизационным смещением при отборе персонала с помощью ИИ». Frontiers in Psychology, 2023. Рецензируемая экспериментальная статья, открытый доступ. DOI: 10.3389/fpsyg.2023.1118723.
2. Schoeffer J., Jakubik J., Vössing M., Kühl N., Satzger G. «Опора на ИИ и качество решений: основы, взаимосвязь и эффекты вмешательств». Journal of Artificial Intelligence Research, 2025. Рецензируемая концептуальная статья. DOI: 10.1613/jair.1.15873.
3. Siebert L. C. и соавт. «Содержательный человеческий контроль: практические свойства для разработки систем ИИ». AI and Ethics, онлайн-публикация 2022 года, выпуск 2023 года. Рецензируемая статья открытого доступа. DOI: 10.1007/s43681-022-00167-3.
4. Anandarajan M. «По мере того как ИИ берёт на себя больше задач, что происходит, когда людям приходится исправлять его ошибки?» The Conversation, 15 октября 2026 года. Экспертная колонка, не новое эмпирическое исследование. Текст колонки.

Фото: Isabelavoliveira / Pixabay