Что произошло

Новое исследование проверило, насколько крупные языковые модели (LLM) могут имитировать человеческие предпочтения, оценивая их результаты по сравнению с тысячами реальных пользователей. Исследователи провели 28 реальных исследований, включающих 78 задач выбора, где LLM должны были предсказать человеческие решения. Результаты показали, что эти модели ИИ совпадали с большинством мнений реальных участников лишь в 53% случаев, что по сути эквивалентно подбрасыванию монеты.

Почему это важно

Эта находка вызывает серьезные опасения по поводу растущей тенденции использования LLM в качестве замены реальной человеческой обратной связи при тестировании продуктов и оценке дизайна. Компании все чаще стремятся заменить традиционные исследования пользователей на ИИ-управляемых "синтетических пользователей", чтобы сэкономить время и ресурсы. Однако если LLM не могут точно предсказать человеческие выборы, их использование может привести к ошибочным решениям, которые не будут соответствовать ожиданиям реальных пользователей, что потенциально повредит принятию продукта и удовлетворенности клиентов.

Контекст

В последние годы интеграция ИИ в различные секторы ускорилась, и многие организации обращаются к LLM для оптимизации процессов. Идея синтетических пользователей основывается на предположении, что ИИ может эффективно учиться имитировать человеческое поведение. Тем не менее, как показывает это исследование, несмотря на достижения в области ИИ, существует значительный разрыв между человеческим мышлением и выходами, генерируемыми ИИ.

Что это означает

Результаты показывают, что LLM в основном обучены воспроизводить паттерны в данных, а не понимать основные предпочтения и опыт, которые формируют человеческие выборы. Небольшие улучшения, замеченные с введением детализированных персонажей и улучшенного логического мышления, не привели к лучшему соответствию с человеческими оценками. Это говорит о том, что полагаться на LLM для имитации человеческого принятия решений может быть не так эффективно, как считалось ранее, что требует переосмысления их роли в исследовании пользовательского опыта и разработке продуктов.