Два студента могут выглядеть одинаково в университетской базе: похожие оценки, результаты вступительных тестов и финансовые показатели. Но разговор способен обнаружить то, чего в этих строках нет. Одному студенту из-за состояния здоровья трудно переходить между удалёнными аудиториями; другой выбирает курсы с оглядкой на карьерные планы. Система может отметить риск, но выбор поддержки зависит от того, что происходит с конкретным человеком.
Эту задачу изучили Кара Шехтман, Бенджамин Брэндон, Дженис Стаффорд, Ханна Ли и Лидия Т. Лю в работе «Участие человека в принятии решений: человеческая экспертиза в консультировании студентов с алгоритмической поддержкой». Исследование размещено на arXiv 19 мая 2025 года и обновлено 14 октября 2025-го. Это открытый препринт: подтверждений публикации в рецензируемом журнале в доступных материалах нет.
Что происходит после сигнала риска
Авторы не сравнивали, кто точнее предсказывает успех, консультант или алгоритм. Их интересовало, как консультанты используют сигнал риска, когда решают, какую поддержку предложить. Особенно важно было понять, опираются ли они на сведения, которых нет в административных данных и которые становятся известны в разговоре.
Работа представляет собой вторичный анализ рандомизированного эксперимента MAAPS в Университете штата Джорджия. В исходном исследовании участвовали 1037 студентов: 520 получили программу консультирования с алгоритмической поддержкой, 517 вошли в контрольную группу. Авторы изучили журналы 5269 встреч. Консультанты отмечали действия из списка 20 типов и могли оставить комментарии в свободной форме. После очистки данных количественный анализ включал 427 студентов в экспериментальной группе и 423 в контрольной. Для отдельного статистического теста использовали данные 424 студентов и 3507 встреч.
Статистический тест проверял, сохраняется ли связь между действиями консультанта и последующими результатами после учёта исходных признаков, доступных алгоритму. Исследователи сопоставляли студентов с близкими значениями этих признаков, а затем случайным образом меняли местами действия консультантов внутри пар. Если действия в исходных данных лучше соотносились с результатами, чем переставленные, это указывало на связь, которую не объясняли учтённые административные признаки.
Но такая связь сама по себе не раскрывает причину. Консультант мог узнать что-то в разговоре и выбрать полезное действие. Однако возможны и другие объяснения: он мог реагировать на неучтённый риск, действие могло влиять на результат без персонализации или вообще не приносить пользы. Авторы подчёркивают, что статистический критерий необходим для вывода о возможной экспертной адресности, но недостаточен, чтобы её доказать.
Контекст нужно связать с подходящим действием
В модели авторов человеческая экспертиза включает два шага. Сначала консультант узнаёт то, чего нет в административных данных: например, о проблемах со здоровьем, финансовых трудностях, интересах или карьерных целях. Затем он должен выбрать действие, которое учитывает эти обстоятельства и помогает студенту. Само по себе получение дополнительной информации ещё не означает, что поддержка подобрана удачно.
В статье приведён пример, основанный на реальном случае из MAAPS: состояние здоровья мешает студенту проходить большие расстояния, и консультант помогает составить расписание с близко расположенными аудиториями, учитывая учебные интересы. Авторы используют его, чтобы пояснить, как разговорный контекст может повлиять на действие. Это иллюстрация механизма, а не результат, который проверялся отдельно для всех студентов.
Качественный анализ дополнял статистику. Исследователи открыто закодировали 1661 комментарий консультантов, отмечая академические, неакадемические и связанные с отношениями темы. Затем они отдельно рассмотрели комментарии о вмешательствах, прошедших статистический тест. Записи показывали, что консультанты учитывали личные обстоятельства, финансовые трудности и вовлечённость студентов. Но комментарии были необязательными: они отражают только то, что консультанты решили записать, и могут не передавать разговор целиком.
Что означает оценка «две трети»
После поправки на множественные статистические проверки четыре вмешательства показали значимую условную связь с текущим средним баллом, ещё одно было связано с продолжением обучения. Эти пять типов вмешательств охватывали 5615 из 8385 действий, оставшихся после очистки данных. Авторы оценили эту долю, около 67%, как потенциально адресные действия, при выборе которых могли учитываться сведения, недоступные алгоритму.
Это не значит, что две трети действий доказанно помогли студентам или что консультанты проявляли экспертизу в двух случаях из трёх. Показатель относится к действиям, а не к людям. Он отражает статистически выявленную потенциальную адресность, а не доказанную эффективность или причину выбора. Сам тест не устанавливает, выбрал ли консультант действие из-за скрытого контекста и улучшило ли оно результат.
Авторы также обнаружили различия в стилях консультирования. Стиль, при котором консультант получал более целостное представление о студенте, был связан с большей вероятностью выпуска. Это ассоциация, а не доказательство того, что именно такой стиль вызвал рост числа выпускников.
Границы вывода
Исследование показывает, почему прогнозную систему нельзя оценивать отдельно от людей, которые действуют на её основе. Оно не доказывает, что консультанты всегда принимают лучшие решения или что любое человеческое вмешательство полезно. Авторы отмечают и обратную возможность: свобода действий консультанта может как компенсировать недостатки алгоритма, так и усиливать их.
Результаты получены в одном университете, поэтому переносить их на другие учреждения нужно осторожно. Более того, Университет штата Джорджия был единственным участником MAAPS, где программа показала статистически значимый положительный эффект. Исследователям также не были доступны исторические данные о конкретной модели прогноза риска и её параметрах. Они работали с обезличенными записями и не общались напрямую ни со студентами, ни с консультантами.
Практический вывод ограничен, но конкретен: при внедрении алгоритмических сигналов риска стоит проверять не только качество прогноза. Важно понимать, какие сведения консультант получает в разговоре, как они влияют на выбор поддержки и какие действия действительно меняют учебные результаты. Для контекста можно также посмотреть, почему модель колледжей США трудно перенести в другие условия: устройство учреждения тоже влияет на то, как работают программы поддержки.
Источник
Schechtman K., Brandon B., Stafford J., Li H., Liu L. T. Discretion in the Loop: Human Expertise in Algorithm-Assisted College Advising. arXiv:2505.13325, версия 3 от 14 октября 2025 года. Полный текст PDF. Препринт в открытом доступе; рецензирование в журнале не подтверждено.
Источники и литература
- Can AI replace college advisers? Research says not yet — пресс-релиз; доступный текст страницы
- [2505.13325] Discretion in the Loop: Human Expertise in Algorithm-Assisted College Advising — препринт без завершённого рецензирования; аннотация или страница публикации
- EAAMO — тип публикации не установлен; доступный текст страницы
- Discretion in the Loop: Human Expertise in Algorithm-Assisted College Advising — тип публикации не установлен; доступный текст страницы
- Discretion in the Loop: Human Expertise in Algorithm-Assisted College Advising — препринт без завершённого рецензирования; полный текст PDF

Фото: Antoni Shkraba / Pexels