Сон о китайской комнате: как языковые модели меняют природу мышления
Вопросы
— Можно ли назвать взаимодействие с языковой моделью коммуникацией? Если нет, то каков истинный характер такого взаимодействия?— Как меняется процесс мышления при работе с языковыми моделями?
— Что происходит с экономикой интеллектуального труда в эпоху ИИ?
Дисклеймер
Автор не является специалистом в области коммуникации.Все суждения основаны на анализе данных из открытых источников.
Краткие выводы
Взаимодействие между человеком и машиной является не коммуникацией, а ее имитацией.Это становится базисом для формирования новой экономики мышления, где ИИ снимает такие барьеры как необходимость предварительной «упаковки» мыслей, длительность и дороговизна итераций мышления, «оплата» коммуникационного налога.
ИИ освобождает когнитивную энергию, но только вы решаете, как её использовать.
Максимы коммуникации
В 1967 г. философ Пол Грайс сформулировал принцип кооперации в диалоге: участники разговора неосознанно следуют негласному договору — помогать друг другу в достижении целей коммуникации.— максима количества. Давай столько информации, сколько нужно. Если собеседник спрашивает, который час, вы отвечаете «три часа», а не «три часа семнадцать минут и двадцать три секунды» и не начинаете лекцию об истории часовых механизмов.
— максима качества. Говори правду. Не утверждай того, что считаешь ложным. Не утверждай того, для чего у тебя нет достаточных оснований.
— максима релевантности. Говори по существу, не отклоняйся от темы разговора. Внезапные переходы требуют дополнительного объяснения, что создает угрозу разрушения диалога.
— максима ясности. Будь ясен, краток и последователен. Избегай непонятности, двусмысленности, многословия.
Максимы работают только при условии, что оба участника:
— имеют намерения и цели;
— способны понимать намерения собеседника;
— могут оценивать релевантность и истинность;
— понимают контекст и смысл диалога
Общее правило: максимы работают, если оба участника хотят быть понятыми и понять собеседника.
Следует ли машина максимам
В 1980 г. философ Джон Сёрл предложил мыслительный эксперимент: языковая модель – это китайская комната. Она работает с вероятностями, а не со смыслом. Может ли языковая модель следовать максимам, основываясь на статистических закономерностях? Нет, не может по следующим причинам:— максима количества. «Вопрос который час?» требует времени, а не рассуждения о времени. Модель не понимает цель, только видит паттерн: на такой запрос в данных обычно следуют ответы определённой длины. Она даёт столько, сколько статистически типично, а не столько, сколько вам нужно, так как не обладает внутренним чувством меры информации;
— максима качества. Модель работает с вероятностями токенов, а не с фактами. Если в обучающих данных ошибка встречалась часто, то модель воспроизведёт её с той же уверенностью, что и правду. У модели нет намерения говорить правду, только имитировать правдоподобие;
— максима релевантности. Модель находит статистические связи между запросом и ответом, но не понимает, почему эта связь важна для вашей цели в конкретном разговоре;
— максима ясности. Модель воспроизводит паттерны хорошо структурированных текстов, но не делает реального выбора в пользу ясности и заботы о понимании информации.
Ключевое отличие: максимы работают через интенциональность – осознанный выбор, как строить речь, исходя из понимания целей коммуникации. У языковой модели нет ни намерений, ни понимания, ни ответственности за сказанное. Модель только имитирует следование максимам, потому что обучена на текстах людей, которые этим максимам следовали. Имитация следования не равна соблюдению максим. Это симуляция коммуникации через формальное воспроизведение признаков диалога. Хотя машина не понимает смыслов, её участие в нашем мышлении реально: она становится зеркалом, в котором человек видит собственные мыслительные паттерны. Так возникает новая форма мышления – монолог через ИИ.
Новая форма монолога
Модель в широком смысле – это сущность, через которую мы смотрим на другую сущность. Например, рассматривая глобус, мы изучаем не сам глобус, а поверхность Земли.Языковая модель – это посредник, через которого вы видите отражение ваших же мыслей в запросе. Вы формулируете мысль, а машина отражает возможные продолжения через призму всех данных, на которых обучена. Вы видите не чужое понимание, а собственное, пропущенное через статистический фильтр чужого опыта.
В этот момент важно не обмануться и не попасть в ловушку антропоморфизма. Уверенная речь машины создаёт иллюзию разумного собеседника. Нам хочется верить, что система нас понимает, что у неё есть намерения, но это лишь проекция – мы приписываем модели человеческие качества.
На самом деле модель не субъект коммуникации. У неё нет сознания, эмоций, субъективного опыта. Где нет субъекта, нет диалога, взаимной ответственности и разделённых целей.
Если это не коммуникация, то что это? На самом деле, это новая форма монолога или диалог с самим собой через посредника, экстернализация мышления (вынесение мыслительного процесса вовне).
Это меняет характер мышления. Работа с ИИ – это не делегирование части мыслительного процесса машине, а усиление собственного мышления. Модель помогает проговорить мысль «вслух», структурировать её, увидеть новые варианты. Но думает и несет ответственность только человек.
Машина становится полноценным инструментом для работы с собственным мышлением. Но именно инструментом, а не партнёром.
Как человек, смотрящий в зеркало, ответственен за то, что он видит, так и оператор машины ответственен за качество мыслей, возвращающихся через неё. Нельзя обвинять зеркало в том, что в отражении что-то не так. Иное означает отказ действовать как субъект мышления.
Новая экономика мышления
Когда человек получает столь мощный внешний инструмент для работы с мышлением, как ИИ, меняются правила игры.Процесс достижения результатов, который раньше требовал большого объема времени, усилий и промежуточных шагов, становится намного быстрее и проще. Идеи, которые ранее терялись из-за когнитивных барьеров, теперь могут быть сохранены и развиты.
Появляется новая экономика мышления с новым базисом производства идей.
Работа с «сырыми» данными
Традиционно для работы с идеями требовалась их предварительная обработка.Чтобы записать мысль в блокнот, донести её до другого человека или найти информацию в Интернете, нужно было сначала структурировать идеи в голове, облечь в слова и придать форму.
Такой процесс «упаковки» мыслей требует значительных когнитивных усилий и часто приводит к тому, что идея остается не реализованной.
ИИ принимает мысли в их «сыром» виде. Можно начать с обрывка идеи, наброска или даже потока сознания, и получить осмысленный ответ.
Машина не требует от вас «довести до ума» свою мысль. Она готова поработать с фрагментами, а затем помочь их структурировать. Модель позволяет работать с идеями до того, как они станут понятыми нами самими.
идеи, которые раньше терялись из-за того, что не было возможности их нормально сформулировать, теперь могут быть доведены до осмысленного результата: «был уродец, а станет новгородец!».
Сокращение времени на итерации
Как правило, в интеллектуальной работе цикл обратной связи довольно долгий. Написали статью – ждете рецензии несколько недель. Предложили идею – получите комментарии на следующем совещании. Разработали концепцию – проверите её применимость через месяцы.Каждая итерация требует усилий, поэтому часто мы останавливаемся раньше, чем получаем результат.
с ИИ итерации становятся дешёвыми и быстрыми: набросали черновик и тут же видите слабые места и варианты улучшений. Проверяя гипотезу, немедленно получаете обратную связь. Это заставляет мысль двигаться быстрее.
быстрая итеративность в разы ускоряет процесс мышления, а за скоростью приходит и качество.
Отсутствие коммуникационного налога
Каждое взаимодействие с другим человеком требует коммуникационных издержек: нужно учитывать контекст собеседника, подбирать слова, избегать недопонимания, соблюдать социальные нормы.Совокупность этих издержек формирует своеобразный налог на каждый такой обмен информацией.
Нет коммуникации – нет налога: можно менять контекст, противоречить себе, возвращаться к одному и тому же. Машина не устанет; максимум – закончатся токены.
Это освобождает огромное количество когнитивной энергии, которую раньше мы тратили на упаковку мысли в социально приемлемую форму. Теперь эту энергию можно направить на саму мысль.
Метакомпетентность
Традиционная модель компетентности предполагает накопление знаний и навыков «внутри головы». Чем больше знаешь и умеешь, тем ты компетентнее.понимать, что тебе нужно и как проверить результат;
уметь итеративно направлять ИИ к нужному решению.
Это не значит, что глубокая экспертиза теряет ценность. Меняется ответ на вопрос: «что мне нужно знать, чтобы получить результат?» В одних контекстах критична глубина понимания (медицина, авиастроение). В других достаточно ясного намерения и навыка работы с ИИ (прототипы, визуализации, типовые решения). Это означает снижение барьера входа, но не потолка мастерства.
Выводы и предположения
Появление языковых моделей – это не просто новый инструмент для работы с текстом. Это качественное изменение способа мышления.Автор:
Юрист
Евгений Вихров