Что произошло
Недавние обсуждения в сообществе ИИ подчеркивают необходимость критической переоценки методологии Chain of Thought (CoT), используемой в языковых моделях. Хотя CoT стал полезным инструментом для генерации читаемых следов reasoning модели, эксперты утверждают, что он привел к недопониманиям относительно того, что включает в себя истинное вычислительное мышление. Суть проблемы заключается в том, что создание связного текста не равно подлинному мышлению или решению проблем.
Почему это важно
Это различие имеет ключевое значение для разработчиков и пользователей ИИ-систем, особенно в приложениях с высокими ставками, где точность имеет первостепенное значение. Ограничения CoT становятся очевидными с двумя основными проблемами: достоверностью и затратами системы. Достоверность относится к несоответствиям в следах CoT, когда модели могут предлагать правдоподобные шаги reasoning, которые приводят к неправильным ответам или наоборот. С другой стороны, врожденная структура авторегрессионного reasoning приводит к увеличенным затратам и задержкам при генерации более длинных следов.
Контекст
С учетом этих проблем, область ИИ исследует концепцию латентного reasoning, которая переносит когнитивные процессы, стоящие за принятием решений, в латентное пространство. Инновации, такие как Coconut, HRM и RecursiveMAS, являются примерами этой тенденции, стремящейся упростить reasoning, отделяя планирование от выполнения и минимизируя зависимость от длинных текстовых выводов. Этот подход является значительным отходом от традиционных методов, однако вызывает опасения относительно прозрачности и возможности аудита операций модели.
Что это значит
По мере того как мы движемся по этому новому пути, последствия для управления моделями становятся все более критичными. Идея слоя внешнего управления — структурированной рамки для аудита и проверки решений модели — возникает как потенциальное решение для противодействия черным ящикам латентного reasoning. BDH (Dragon Hatchling) занимает уникальную позицию в этом контексте, объединяя языковое моделирование с состоянием латентных вычислений. Его подход, который продемонстрировал впечатляющую производительность в конкретных диагностических задачах, таких как Судоку, подчеркивает потенциал высокоскоростной итерации при сохранении определенной степени интерпретируемости.
Текущие обсуждения ставят вопрос, является ли CoT лишь дорогостоящим артефактом более ранней парадигмы reasoning или же необходима более надежная структура верификации для надежного развертывания ИИ. Поскольку латентная рекурсия становится внутренним циклом, остается вопросом, как должен выглядеть внешний цикл — будь то через DAG, юнит-тесты или другие формальные механизмы. Будущее reasoning в ИИ зависит от этих обсуждений и исследований.
