Что произошло
Недавние бенчмарки от BridgeMind показывают, что производительность Fable 5 резко упала после перезапуска 1 июля. Кодовый бенчмарк BridgeBench измерял ключевые области, такие как отладка, рефакторинг и обнаружение галлюцинаций, и выявил, что оценки упали с 86.2 до 25.9 в области отладки, с 73.6 до 38.4 в рефакторинге и с 75.9 до 61.7 в обнаружении галлюцинаций.
Почему это важно
Снижение производительности вызывает опасения у пользователей, полагающихся на Fable 5 для выполнения кодирования. Падение оценок может привести к разочарованию среди разработчиков, которые зависят от возможностей модели для эффективной работы. Если перезапуск действительно повлиял на надежность модели, это может побудить пользователей искать альтернативы или возвращаться к предыдущим версиям, что создаст значительные изменения в доверии пользователей и позиционировании на рынке.
Контекст
Fable 5, вместе с Mythos 5, был временно изъят из продажи 12 июня из-за приказа Министерства торговли о контроле экспорта. Это было ответом на взлом, который продемонстрировал уязвимости модели. Когда Fable 5 вернулся 1 июля, Anthropic внедрила новый классификатор безопасности, предназначенный для обнаружения техники эксплуатации более чем в 99% случаев. Однако этот классификатор может слишком агрессивно влиять на обычные задачи кодирования, что приводит к непреднамеренным проблемам с производительностью.
Что это значит
Снижение производственных показателей предполагает, что меры безопасности могут быть чрезмерно чувствительными, перенаправляя многие запросы к Opus 4.8 вместо того, чтобы позволить Fable 5 обрабатывать их. Пользователи сообщают о постоянном возвращении к более медленной модели, что может быть неверно истолковано как регресс в возможностях. Хотя остается непроверенным, изменились ли основные веса модели, пользователям важно внимательно следить за своим опытом, чтобы понять текущее состояние Fable 5 и соответствует ли оно их потребностям в кодировании.
