Навигатор может найти самый быстрый путь до вокзала. Но он не выбирал ни пункт назначения, ни причину поездки. Эта разница между поиском средств и выбором цели лежит в основе философского эссе Саши Мадда о том, почему человеческий разум нельзя описать одной лишь оптимизацией.

Мадд возвращается к давнему спору: разум только помогает добиваться желаемого или способен оценивать и пересматривать сами желания? Автор сопоставляет взгляды Давида Юма и Иммануила Канта, а затем переносит этот вопрос на разговоры об искусственном интеллекте. Перед нами философская аргументация, а не эксперимент: в эссе нет выборки систем, протокола проверки или измеряемых результатов. Поэтому его тезис помогает прояснить понятия, но не доказывает, чего машины не могут.

Оптимизация работает внутри заданного критерия

В машинном обучении системе обычно задают критерий успеха: например, награду, которую нужно увеличить, или ошибку, которую нужно уменьшить. Шахматная программа выбирает ходы ради победы, навигатор прокладывает маршрут к указанному пункту. Система может перебирать варианты и находить неожиданные решения. Но успешный поиск сам по себе не показывает, оценивает ли она, достойна ли конечная цель выбора.

Мадд связывает такую картину с юмовским образом разума как «слуги страстей». В изложении эссе разум помогает сопоставлять факты и средства, а желания и чувства задают направление действия. Однако «страсти» у Юма не означают одни лишь прихоти или эгоизм. Мадд отдельно подчёркивает, что Юм относил к ним симпатию, доброжелательность и заботу о других. Джулиан Баггини в другом эссе тоже описывает юмовскую мораль через симпатию: способность откликаться на чужое благополучие и страдание.

Спор Юма и Канта поэтому нельзя свести к противопоставлению чувств и морали. Вопрос точнее: может ли разум сам решить, какие цели достойны того, чтобы к ним стремиться? В изложении Мадда юмовский разум подбирает средства к уже существующим мотивам. Автор считает это ограничение чрезмерно строгим.

Кантовский вопрос: достойна ли цель выбора?

Разум в изложении Мадда не просто прокладывает путь к цели. Он позволяет спросить, можно ли эту цель оправдать и не используем ли мы других людей лишь как инструменты. Автономия здесь не означает ни действий без команды, ни свободы делать всё, чего хочется. Речь о способности оценивать свои намерения по принципам, которые можно признать разумными не только для себя.

Для дискуссий об ИИ отсюда следует важное различие: самостоятельное поведение ещё не доказывает моральной автономии. Система может проявлять инициативу, отклоняться от ожидаемого способа решения или выбирать промежуточные действия. Но это не отвечает на вопрос, способна ли она обосновать конечную цель и принять за неё ответственность. В эссе Мадда это философский критерий, а не описание проверенной способности современных моделей.

Полезно различать три понятия. Оптимизация улучшает результат относительно заданного критерия. Инженерная автономность обычно означает, что система выполняет задачи без постоянных команд. Кантовская автономия связана с самоопределением через рационально оправдываемые принципы. Одно не следует автоматически из другого.

Если цель задана неточно, её нужно уточнять

Практическое дополнение к спору даёт интервью 2017 года с исследовательницей робототехники Анкой Драган, опубликованное Future of Life Institute. Драган отмечает, что людям, в том числе специалистам по ИИ, трудно точно формулировать целевые функции. Если система буквально оптимизирует введённый показатель, результат может оказаться неожиданным и нежелательным.

Предложенный ею инженерный подход не считает заданную человеком цель безошибочной. Система должна сохранять неопределённость относительно того, чего именно хотят люди, и уточнять цель вместе с ними. Это способ снизить риск ошибки при постановке задачи. Он не означает, что ИИ обрёл моральную субъектность или сам решил, какие ценности правильны: люди по-прежнему участвуют в уточнении цели.

Это различие важно и в более широких спорах о сверхинтеллекте. В разборе разных определений сверхинтеллекта и способов оценки ИИ объясняется, почему способности системы нельзя обсуждать без уточнения критерия. Высокие результаты в заданных задачах сами по себе не говорят, что именно мы измерили.

Что этот спор проясняет, а чего не доказывает

Сильная сторона аргумента Мадда в том, что он не позволяет незаметно подменить одно значение слова «интеллект» другим. Если система эффективно достигает заданной цели, это свидетельствует о её способности решать задачи в рамках критерия. Но из этого напрямую не следует, что она сама выбирает цели, разумно их оправдывает или понимает их моральное значение.

У аргумента есть чёткие границы. Эссе не сравнивает людей и модели в эксперименте и не устанавливает, что люди всегда способны критически пересматривать свои желания. Оно предлагает нормативное различие, основанное на интерпретации Юма и Канта. Интервью Драган описывает инженерный взгляд на уточнение целей, но не проверяет кантовскую автономию. В доступных материалах не указано, проходило ли эссе Aeon рецензирование; оснований считать его рецензированной научной статьёй нет.

Практический вывод здесь скромный, но полезный: говоря о «разумном» ИИ, стоит уточнить, что именно имеется в виду. Система оптимизирует заданный показатель? Самостоятельно выполняет сложную задачу? Или способна обосновать и пересмотреть саму цель? Первые два вопроса касаются инженерных свойств систем. Третий остаётся философским и нормативным. Спор Юма и Канта помогает не путать эффективность с правом решать, чего следует добиваться.

Источники

Схема показывает, что оптимизация, самостоятельное выполнение задачи и рациональная оценка цели являются разными понятиями и не следуют друг из друга автоматически.

Фото: geralt / Pixabay