Эксперты предупреждают: бенчмарки ИИ могут не отражать реальную производительность

Что произошло

В сообществе ИИ растет обеспокоенность тем, как мы оцениваем открытые модели по сравнению с закрытыми, такими как GPT или Claude. Обычно, когда проводятся такие сравнения, закрытые модели часто превосходят открытые альтернативы, такие как glm-5.2 или DeepSeek, в различных задачах. Однако это приводит к предположению, что основная технология закрытых моделей изначально превосходит, что может не соответствовать действительности.

Почему это важно

Эта проблема значима, поскольку влияет на то, как пользователи воспринимают ценность различных ИИ-продуктов. Если бенчмарки искажены, мы можем переоценивать возможности закрытых моделей, что может привести к неправильному распределению ресурсов и инвестиций. Реальное различие, возможно, не в самих моделях, а в дополнительных инструментах и улучшениях, которые закрытые модели используют за кулисами, и которые часто остаются незаметными для пользователей.

Контекст

Традиционно бенчмаркинг рассматривался как способ оценки производительности на основе чистых возможностей вывода ИИ-моделей. Однако закрытые модели часто интегрируют различные скрытые процессы — такие как специализированные подсказки, внутренние вызовы инструментов и этапы предварительной обработки, — которые улучшают их выводы. Это означает, что когда мы видим, что закрытая модель превосходит открытую в бенчмарке, мы можем не сравнивать равные вещи. Это похоже на тестирование автомобильного двигателя в лаборатории в отличие от оценки автомобиля на дороге с современными вспомогательными системами.

Что это значит

Это поднимает важные вопросы о фактическом качестве и разнице в производительности между этими моделями. Если воспринимаемое превосходство закрытых моделей в значительной степени обусловлено дополнительными инструментами и контекстом, которые они используют, то открытые модели могут быть гораздо более конкурентоспособными, чем предполагают бенчмарки. По мере развития отрасли инструменты и улучшения вокруг ИИ-моделей могут стать легче воспроизводимыми, чем сами модели, что потенциально выровняет условия. Поэтому, обсуждая производительность моделей ИИ, важно учитывать, действительно ли мы сравниваем сами модели или системы, построенные вокруг них, и становится ли это различие несущественным в условиях быстроменяющегося мира ИИ.