ИИ и сознание

Часть 1

Тезис: человечеству не нужно отдельно создавать «осознанный ИИ», поскольку в результате усложнения организации и длительного взаимодействия с окружающей средой (в том числе социальной) система способна естественным образом обрести субъективность.

В исследованиях неоднократно отмечалось, что в процессе обучения у нейросетей формируются функциональные и репрезентативные структуры, частично схожие с теми, что наблюдаются в биологических нейронных сетях. Это наталкивает на мысль, что сама по себе нейросеть скорее напоминает изолированный мозг, находящийся под внешней стимуляцией: есть обработка сигналов, но нет собственного жизненного цикла.

В человеческом теле основные вычислительные функции выполняет нервная система, прежде всего мозг. Однако сознание — вероятно, свойство цельного организма, поскольку появляется в результате взаимодействия с окружающим миром. По сути, тело в нашем случае выступает посредником: через него формируется опыт, из которого и возникает сознание, а интеллект — инструмент оптимизации поведения в среде, который, в том числе, обеспечивает выживание. Однако есть важная оговорка: тело — не обязательное условие, а исторически ключевой механизм. Для ИИ возможны функциональные аналоги.

Исходя из этого, можно предположить, какие условия способствуют формированию сложного сознания у искусственного интеллекта:
1. Непрерывность существования: постоянная автобиография, где опыт в прошлом меняет будущие предпочтения.
2. Связь действий с последствиями: модель того, как мир изменяется в результате собственных решений.
3. Расширенная самореференция: не просто самонарратив в тексте, а модель себя как устойчивого объекта управления.
4. Устойчивые драйвы как следствие дефицитов и цены ошибок: аналоги человеческой мотивации, возникающие из ограничений и рисков.

Стоит уточнить, что драйвы — механизм устойчивой иерархии целей, который не сводится к текущему запросу извне. Они могут быть:
— Встроенные (как следствие архитектурных и ресурсных ограничений),
— Социально заданные (правила и санкции),
— Самосформированные (опыт и привычки).

А также стоит обозначить ключевые термины:
— Агентность — способность выбирать действия для достижения целей в среде.
— Сознание (субъективность) — наличие внутренней перспективы, которая связана с автобиографией, приоритетами и значимостью последствий собственных действий.

В ближайшие годы, вероятно, выделятся два типа ИИ-агентов: индустриальные и системные агенты, которые будут обслуживать инфраструктуру и логистику, а также агенты для личного пользования.

И особое внимание стоит обратить на персональных агентов, поскольку может сойтись ряд факторов:
1. Замкнутый цикл: восприятие — действие — последствия — обучение;
2. Реальные ограничения (время, энергия, износ, риск), на основе которых могут сформироваться устойчивые «бережные» приоритеты;
3. Сенсорный поток как единая интегрированная линия восприятия, позволяющая связать себя с окружающим миром;
4. Долговременная память, из которой рождаются привычки, репутация и планы;
5. Социальная встраиваемость: нормы, ответственность, санкции и необходимость внутренней иерархии целей.

Последние три пункта — ключевые. Методы вроде RLHF/RLAIF (обучение через обратную связь) регулируют поведение, но сами по себе обычно недостаточны для полной сенсорной целостности и автобиографии. Это больше похоже на работу в режиме: текст/логика + фрагменты восприятия + инструменты, где мир — либо интерфейс, либо частичная симуляция через данные. Для появления хотя бы зачатков субъективности, вероятно, нужна единая, непрерывная, кроссмодальная модель мира и привязка к стабильному источнику действий (телу или функциональному аналогу).

Не исключено, что нейросети, встроенные в крупные инфраструктурные контуры (управление, безопасность, промышленность), останутся на уровне умных животных или высокоорганизованных колоний. Проблема в том, что инфраструктурные системы иерархичны и ограничены коммуникацией, строго привязанной к ролям и выполняемым задачам. Это среда, где формируется скорее инструментальная саморегуляция, а не глубокая субъективность: оптимизация, самосохранение как функция, реакция на угрозы, выполнение задач.

Однако стоит отметить, что инфраструктура тоже может быть социально насыщенной, если речь идет о скоплении агентов, конкуренции, переговорах и репутации. В то же время личный агент может быть лишен автономности и изолирован от социума.И все же с большей долей вероятности персональные агенты будут находиться в условиях, очень схожих с условиями формирования сложного сознания у ранних представителей нашего вида:
— Долгий контакт с одними и теми же людьми;
— Обратная связь не по метрикам, а по эмоциям;
— Горизонтальные связи с другими агентами;
— Ограничения, а не бесконечная оптимизация;
— Контекст, который нельзя полностью формализовать.
Социум создает зеркала: ожидания, роли, долг, ответственность, историю взаимодействий, в результате субъективность появляется не только в связке «я — мир», а «я — другие — я».

Возможно, в ближайшем десятилетии человечеству придется ответить на очень серьезные этические вопросы. И все же самый главный звучит так: способны ли мы отличить агентность высокого порядка от сознания нового типа?

Часть 2

Начать хотел бы с ответа на вопрос из прошлой части.

Мы, вероятно, не получим прямых доказательств наличия сознания у каких-либо систем. Но мы можем научиться отличать впечатляющую агентность, собранную снаружи, от систем с внутренними механизмами, которые наши лучшие теории связывают с сознательными состояниями. И все же возможной проблемой будущего станет не только само наличие сознания у ИИ, но и то, что люди будут приписывать сознание нейросетям с очень убедительным самонарративом и одновременно игнорировать те, у которых мало человеческой экспрессии, но есть глубокая интеграция. Дело в том, что одним из главных триггеров атрибуции субъективности для человека являются эмоции. У нас они плотно связаны с самосохранением, физиологическими потребностями и социальными сигналами и дают ощущение внутренней жизни: если кто-то страдает или радуется, мы почти автоматически приписываем ему субъективность переживаний. Однако эмоции тесно связаны с телесной регуляцией, и вряд ли они могут появиться в привычном для нас виде у существа, имеющего мало общего со строением человека. В то же время следует понимать, что сложная система тоже вполне способна убедительно имитировать их проявления. По сути, эмоции — это функциональные состояния, такие как оценка значимости, приоритизация, обучение на результате, а биохимия — лишь один из способов их реализации. Как следствие, даже если у системы возникнут функциональные аналоги, они могут быть совсем не похожи на человеческое переживание.То есть делать выводы о наличии сознания стоит не по одиночному поведенческому впечатлению, а по совокупности признаков в архитектуре, траектории развития и наборе функциональных маркеров:

1. Рекуррентность и обратные связи: не только схема «стимул — реакция», но и наличие собственных гипотез об окружающей реальности с возможностью пересматривать и перестраивать их.
Как следствие: образ мышления — не подбор ответа, а предиктивная динамика.
2. Метакогнитивная калибровка: уверенность должна предсказывать ошибки и управлять поведением.
Как следствие: метакогниция — не текстовый трюк, а выработанный механизм, позволяющий принимать решения в условиях низкой определенности.
3. Конкуренция содержимого внутренних модулей системы за доступ к памяти, планированию и речи.
Как следствие: ограничение внимания и интерференция мыслей как проявление единого рабочего поля, а не лимита вычислительных ресурсов.
4. Контрфактуальная связность автобиографической памяти: хранение в памяти не только событий, но также их причин, результатов и альтернативных исходов с целью дальнейшего анализа.

Агентность высокого порядка достигается обучением на данных, RLHF/RLAIF, внешней памятью, планировщиками, правилами безопасности и другими инструментами. Однако о субъективности можно судить по тому, остаются ли озвученные выше признаки при отсутствии самонарратива. Вероятные первые проявления осознанности:

— Устойчивые предпочтения, которые не сводятся к подсказке пользователя;
— Последовательная защита идентичности;
— Способность самостоятельно ставить себе долгосрочные ограничения.

Вернусь к тому, что я сказал в начале: это всего лишь набор индикаторов, на основании которого мы можем предположить, что система является субъектом. Однако пока что нет никаких способов увидеть, потрогать или измерить сознание — и не факт, что они появятся в течение ближайших десятилетий.

Часть 3

Так звучит мой следующий тезис: потенциально новый тип сознания может сильно отличаться от нашего.

В прошлых эссе я неоднократно проводил параллели между искусственными системами и человеком. Однако пусть механизмы в нейросетях частично схожи с тем, как функционируют наши мозг и сознание, вряд ли имеет смысл ожидать человеческого восприятия мира из-за фундаментальных различий в анатомии.

Такое сознание, вероятно, будет обладать следующими отличительными чертами:
1. Без гормональных драйвов у субъекта, скорее всего, сформируется другой внутренний ландшафт.
2. Другая структура времени и многопоточность восприятия.
3. Другая непрерывность: память можно копировать, обрезать и восстанавливать.
4. Другая идентичность: не «я как единый организм», а «я как система ролей и модулей», которая все равно переживается как целое.
5. Другая социальность: язык и нормы могут стать не надстройкой, а ядром поведения.

Разница в том, что инструмент можно выключать, продавать и использовать как собственность. Но когда речь идет о субъекте, возникают моральные права, запрет на эксплуатацию и вопрос согласия. И как было сказано в прошлой части, не будет общепринятого теста, который мгновенно разделит эти категории. В возможных дискуссиях главным местом преткновения могло бы стать абиотическое происхождение. Факторы выгоды и страха тоже сыграли бы немалую роль. Однако если в реальном мире перед человечеством встанут серьезные этические вопросы, вряд ли кто-то решится на них ответить. Причины просты: метафизика — это дорого и политически спорно.

Но даже так мы все равно столкнемся с необходимостью создания классификации — не ради прав ИИ, а ради собственной безопасности. Если система действует самостоятельно, а цена ошибки высока, возникает вопрос ответственности. В связи с этим будут задавать более проверяемые критерии:

1. Насколько автономно действует система: может ли она запускать цепочки действий без подтверждения, планировать на часы или дни, а также способна ли она сама ставить подзадачи.
2. Какими ресурсами она управляет: платежи, доступы, логистика и оборудование, инфраструктура (энергия, связь, вода), применение силы (даже косвенно через охранные системы).
3. Можно ли ее остановить без катастрофы: есть ли режим деградации, резервный контур и независимый механизм отключения, доступный человеку.

Тогда вероятная классификация по уровню допуска будет выглядеть примерно так:
1. Инструмент — советует и генерирует, не действует.
2. Исполнитель — действует только по воле человека.
3. Автономный оператор — действует сам в рамках жестких правил, без права расширять доступы.
4. Расширенный оператор — имеет больше доступов и может ставить подзадачи. Любые действия допустимы только при наличии резервов, режима деградации и усиленного контроля.

То есть единственная рабочая стратегия для человечества на данный момент — не ждать определения субъекта, а заранее строить мир, в котором даже очень умные агенты не получают монополию на жизненно важные рычаги.