Одним из основных препятствий на пути практического применения больших языковых моделей (LLM) является их непредсказуемость, отсутствие логического мышления и неинтерпретируемость. Без решения этих проблем LLM не смогут стать надежным инструментом в критически важных областях.
В недавней статье когнитивист Гэри Маркус и пионер ИИ Дуглас Ленат углубляются в эти проблемы, формулируя их в виде 16 требований к надежному общему ИИ. Они утверждают, что требуемые возможности в основном сводятся «к знаниям, рассуждениям и моделям мира, ни одна из которых не может быть хорошо обработана в рамках больших языковых моделей».
По их мнению, LLM не хватает медленного, осмысленного мышления, присущего людям. Вместо этого они работают скорее как наше быстрое, бессознательное мышление, что может приводить к непредсказуемым результатам.
Маркус и Ленат предлагают альтернативный подход к ИИ, который «теоретически мог бы» решить эти ограничения: «ИИ, обученный отобранными фрагментами явных знаний и эмпирических правил, позволяющих механизму вывода автоматически делать логические выводы из всех этих знаний».
Они считают, что исследования LLM могут почерпнуть и извлечь пользу из Cyc — символьной системы ИИ, созданной Ленатом более сорока лет назад. Они предполагают, что «любой надежный общий ИИ должен будет гибридизировать эти подходы — подход LLM и более формальный подход».
Чего не хватает LLM
В своей статье Ленат и Маркус говорят, что, хотя ИИ не нужно думать точно так же, как люди, он должен обладать 16 способностями, чтобы быть надежным «там, где цена ошибки высока». LLM испытывают трудности в большинстве из этих областей.
Например, ИИ должен уметь «излагать ход своих рассуждений за любым ответом, который он дает», и прослеживать происхождение каждого фрагмента знаний и доказательств, которые он вводит в цепочку своих рассуждений. Хотя с помощью некоторых методов подсказок у LLM можно вызвать подобие рассуждений, эти возможности остаются шаткими и могут противоречить друг другу при небольшом исследовании.
Ленат и Маркус также обсуждают важность дедуктивного, индуктивного и абдуктивного рассуждения как способностей, которые могут позволить LLM исследовать собственные решения, находить противоречия в своих утверждениях и принимать наилучшие решения, когда логические выводы сделать невозможно.
Авторы также указывают на аналогии как на важный недостающий элемент в нынешних LLM. Люди часто используют аналогии в своих разговорах, чтобы донести информацию или сделать сложную тему понятной.
Теория сознания
Еще одна важная способность — это «теория сознания», которая означает, что ИИ должен иметь модель знаний и намерений своего собеседника, чтобы направлять свое взаимодействие, и уметь обновлять свое поведение по мере продолжения обучения у пользователей.
Маркус и Ленат также подчеркивают необходимость того, чтобы у ИИ была модель самого себя. Он должен понимать «что он, ИИ, представляет собой, чем занимается в данный момент и почему», а также иметь «хорошую модель того, что он знает и чего не знает, и хорошую модель того, на что он способен, а на что нет, и каков его «контракт» с данным пользователем в настоящий момент».
Достойные доверия системы ИИ должны уметь учитывать контекст в принятии решений и уметь различать, какое поведение или ответ приемлем или неприемлем в их текущих условиях. Контекст может включать такие вещи, как окружение, задача и культура.
Чему научились создатели Cyc
Ленат основал Cyc в 1984 году. Это система, основанная на знаниях, которая предоставляет всестороннюю онтологию и базу знаний, которую ИИ может использовать для рассуждений. В отличие от современных моделей ИИ, Cyc построена на явных представлениях реальных знаний, включая здравый смысл, факты и эмпирические правила. Она включает в себя десятки миллионов фрагментов информации, введенных людьми таким образом, чтобы программное обеспечение могло быстро рассуждать.
Некоторые ученые описывали Cyc как провал и тупиковый путь. Возможно, ее важнейшим ограничением является зависимость от ручного труда для расширения ее базы знаний. Напротив, LLM смогли масштабироваться с появлением данных и вычислительных мощностей. Но пока Cyc позволила реализовать несколько успешных приложений и принесла важные уроки для сообщества ИИ.
В первые годы создатели Cyc осознали незаменимость выразительного языка представления.
«А именно, надежный общий ИИ должен иметь возможность представлять практически все, что люди говорят и пишут друг другу», — пишут Ленат и Маркус.
Выражение утверждений и правил
К концу 1980-х годов создатели Cyc разработали CycL — язык для выражения утверждений и правил системы ИИ. CycL был построен для ввода в системы логического вывода.
В то время как в Cyc есть десятки миллионов вручную написанных правил, она может «сгенерировать десятки миллиардов новых выводов, следующих из того, что она уже знает», сделав всего один шаг рассуждения, пишут авторы. «Всего за несколько дополнительных шагов рассуждения Cyc могла бы сделать триллионы триллионов новых выводов по умолчанию».
Создание выразительного языка представления знаний, который позволяет рассуждать на основе фактов — это то, что нельзя опустить, взяв численностью, считают авторы. Они критикуют современный подход к обучению LLM на огромных объемах неструктурированного текста, надеясь, что со временем они разовьют собственные способности к рассуждению.
Большая часть неявной информации, которую люди опускают в повседневном общении, отсутствует в таких текстовых корпусах. Как следствие, LLM научатся имитировать человеческий язык, не умея при этом проводить прочные рассуждения на основе здравого смысла о том, что они говорят.
Объединение Cyc и LLM
Ленат и Маркус признают, что у Cyc и LLM есть свои ограничения. С одной стороны, база знаний Cyc недостаточно глубока и широка. Ее возможности понимания и генерации естественного языка не так хороши, как у Bard и ChatGPT, а скорость рассуждений не такая высокая, как у современных LLM.
С другой стороны, «современные чат-боты на основе LLM скорее запоминают и тиражируют, чем понимают и делают выводы», — пишут ученые. «Они поразительно хороши в некоторых вещах, но есть возможности для улучшения в большинстве из 16 перечисленных в статье возможностей».
Авторы предлагают синергию между символьной системой, богатой знаниями и возможностями рассуждения, такой как Cyc, и LLM. По их мнению, обе системы могут работать вместе, чтобы решить проблему «галлюцинаций», которая относится к утверждениям LLM, кажущимся правдоподобными, но фактически ложным.
Например, Cyc и LLM могут перекрестно проверять и оспаривать выводы друг друга, тем самым уменьшая вероятность галлюцинаций. Это особенно важно, поскольку большая часть здравого смысла не записана явно в текстах, так как считается общеизвестной. Cyc может использовать свою базу знаний как источник для генерации таких неявных знаний, которые не зарегистрированы в обучающих данных LLM.
Знания и рассуждения для объяснения выводов
Авторы предлагают использовать возможности логического вывода Cyc для генерации миллиардов «истин по умолчанию», основанных на явной информации в её базе знаний, которые могли бы послужить основой для обучения будущих LLM с большей ориентацией на здравый смысл и правильность.
Более того, Cyc может использоваться для проверки данных, подаваемых в LLM для обучения, и отфильтровывать любые ложные сведения. Авторы также предлагают, чтобы «Cyc могла использовать свое понимание входного текста, чтобы добавить уровень семантической прямой связи, тем самым расширяя то, на чем обучается LLM, и дополнительно смещая LLM в сторону истины и логического следования».
Таким образом, Cyc может обеспечить LLM знаниями и инструментами рассуждения, чтобы объяснять свои выводы пошагово, повышая их прозрачность и надежность.
В свою очередь, LLM могут быть обучены переводить предложения на естественном языке в CycL — язык, понятный Cyc. Это позволит двум системам общаться. Это также может помочь генерировать новые знания для Cyc с меньшими затратами.
Гибридный ИИ
Маркус сказал, что он сторонник гибридных систем ИИ, объединяющих нейронные сети и символьные системы. Комбинация Cyc и LLM может стать одним из способов воплощения видения гибридных систем ИИ.
«На протяжении буквально поколений разрабатывались два очень разных типа ИИ, — заключают авторы, — и каждый из них достаточно продвинут сейчас, чтобы применяться (и применяется) сам по себе; но есть возможности для того, чтобы эти два типа работали вместе, возможно в сочетании с другими достижениями в области вероятностного вывода и работы с неполными знаниями, приближая нас ещё на один шаг к общему ИИ, достойному нашего доверия”.