Что произошло

Разработан новый инструмент под названием Competence Gate для модели ИИ Qwen3.5-4B. Этот инструмент улучшает способ, которым модель определяет, когда отвечать на вопросы, стоит ли искать информацию в интернете или извлекать данные из локальных документов. Он делает это, используя внутренние сигналы уверенности самой модели, а не полагаясь исключительно на вербализованную уверенность. Эта адаптация призвана снизить вероятность получения неточных ответов и защитить личную информацию пользователей.

Почему это важно

Competence Gate значительно повышает надежность ответов ИИ. Анализируя свою внутреннюю уверенность, инструмент более эффективно отмечает потенциально неверные ответы, чем базовая модель. Он продемонстрировал заметное улучшение в выявлении ошибок, улавливая 87% неправильных ответов, которые оригинальная модель бы пропустила. Кроме того, он снижает вероятность отправки конфиденциальных запросов в общедоступные поисковые системы, уменьшая их долю с 22% до 10%. Это особенно ценно для пользователей, работающих с конфиденциальной информацией.

Контекст

Исторически сложилось так, что более мелкие инструктивные модели ИИ испытывали трудности с точным выражением своих уровней уверенности. В предыдущих исследованиях с участием различных моделей было установлено, что они часто достигали предела в оценках своей уверенности. Прямой доступ к внутренним сигналам модели, а не полагание на ее вербальные выходные данные, позволяет Competence Gate предложить новый подход, который может улучшить работу ИИ-систем. В процессе разработки было протестировано более 126 элементов, хотя размеры выборки для данных, связанных с конфиденциальностью, были меньшими.

Что это означает

Введение Competence Gate знаменует собой шаг вперед в создании более прозрачных и надежных ИИ-систем. Он позволяет получать отслеживаемые ответы, указывая конкретные источники информации и уровень уверенности. Инструмент разработан для признания неуверенности, а не для фабрикации ответов, что способствует большему доверию со стороны пользователей. Хотя он наследует знания и предвзятости модели Qwen3.5-4B, механизм гейтинга адаптируем к другим моделям, что предполагает более широкие последствия для технологий ИИ в целом. В качестве открытого исследовательского релиза он приглашает к дальнейшему исследованию и критике, поощряя сообщество к совершенствованию и улучшению его возможностей.