Subquadratic AI запустила инновационную модель под названием SubQ-1.1-Small, использующую передовую технологию Smart Sparse Attention. Эта модель достигает почти идеальных результатов в извлечении длинных контекстов, эффективно обрабатывая до 12 миллионов токенов в сложных тестах, таких как ситуация "иголка в стоге сена". Примечательно, что SubQ-1.1-Small демонстрирует сокращение вычислительных затрат почти в 1,000 раз, что делает её настоящим прорывом в сфере ИИ.
Одной из выдающихся особенностей SubQ-1.1-Small является её способность находить баланс между оптимизацией длинного контекста и общими аналитическими навыками. Модель сохраняет высокие результаты в различных тестах, включая оценку знаний, задачи программирования и оценку не программирующих корпоративных агентов.
При тестировании на 1 миллион токенов SubQ-1.1-Small показывает впечатляющую эффективность, требуя в 64.5 раз меньше вычислительных ресурсов по сравнению с традиционными моделями плотного внимания. Кроме того, она работает в 56 раз быстрее, чем предыдущая модель FlashAttention-2, что подтверждено независимыми проверками. Это значительное сокращение вычислительных требований и повышенная скорость делают SubQ-1.1-Small мощным инструментом для компаний, стремящихся к современным решениям в области ИИ.
