- TurboQuant от Tether сокращает использование памяти ИИ до 5 раз, помогая устройствам выполнять более длинные задачи локально.
- QVAC 0.12.0 позволяет разработчикам выполнять более крупные ИИ-нагрузки на ноутбуках и телефонах с меньшей нагрузкой на память.
- TurboQuant решает узкие места памяти ИИ, позволяя вести более длинные чаты, создавать большие файлы и создавать более масштабные проекты кода.
Tether добавила новый инструмент оптимизации памяти в QVAC SDK 0.12.0 — шаг, который может помочь ноутбукам, смартфонам и другим устройствам справляться с большими локальными нагрузками. Объявляя обновление на X, генеральный директор Паоло Ардоино сообщил, что релиз включает TurboQuant — технологию, которая снижает требования к памяти ИИ до пяти раз, сохраняя при этом почти одинаковое качество выхода.
Обновление сосредоточено на ключевом ограничении для крупных языковых моделей: памяти. По мере того как разговоры и задачи становятся длиннее, требования к памяти резко возрастают. TurboQuant снижает эту нагрузку, позволяя устройствам работать с крупными документами, более длинными разговорами и большим количеством информации одновременно.
Релиз также добавляет генерацию текста в видео, функции управления роботами, поддержку помощника по программированию, улучшение голосовой обработки и более быстрые инструменты для классификации изображений.
TurboQuant нацеливается на узкое место памяти ИИ
TurboQuant находится в центре релиза QVAC SDK 0.12.0. Технология сжимает кэш KV — тип рабочей памяти, который AI-модели используют для отслеживания разговоров, документов и другой информации во время сессии.
Потребность в памяти растёт по мере того, как пользователи вводят больше информации в модель. Tether отметила, что модель с 4 миллиардами параметров, обрабатывающая около 262 000 токенов, может потребовать примерно 8 ГБ памяти только для кэша. Проведение нескольких сессий такого масштаба может быстро превзойти лимиты многих ноутбуков и потребительских устройств.
TurboQuant стремится снизить это давление. По данным Tether, технология может сократить требования к кэшу KV до пяти раз, сохраняя при этом почти одинаковое качество выхода. В результате пользователи могут работать с более длинными разговорами, крупными документами и большими кодовыми базами, не полагаясь слишком сильно на удалённые вычислительные ресурсы.
QVAC выходит за рамки языковых моделей
Обновление включает не только улучшения памяти. QVAC SDK 0.12.0 добавляет несколько новых инструментов, направленных на расширение возможностей разработчиков на локальных устройствах.
Среди нововведений — поддержка генерации текста в видео через модель Wan2.1. Платформа также вводит функцию зрения, языка и действия, позволяющую разработчикам создавать приложения для роботизированного управления.
Релиз дополнительно добавляет лёгкий инструмент классификации изображений, предназначенный для задач, не требующих увеличенных моделей зрения. В то же время QVAC перенесла свои системы преобразования текста в речь и транскрипцию на движок GGML, что расширило поддержку на крупных настольных и мобильных операционных системах.
Разработчики также получили новые возможности для помощников по программированию. QVAC теперь интегрируется с OpenCode и OpenClaw через пакет провайдера, который упрощает управление и развертывание моделей.
Связано: Сооснователь Multicoin объявляет, что «Web3 мёртв» на фоне кризиса криптоидентичности
Открытый ИИ приближается к краю
В релизе показано, что Tether сосредоточилась на выполнении вычислительных задач напрямую на устройствах пользователей, а не полностью полагаясь на централизованные дата-центры. Компания всё больше сосредотачивается на программном обеспечении, способном работать на персональных устройствах, локальных сетях и децентрализованных системах.
«Исследования Google показали, что память ИИ может сжиматься гораздо эффективнее, чем многие предполагали. Наша работа приносит этот прорыв в производственное ПО, с которым разработчики, стартапы и пользователи могут реализовать свои возможности», — сказал Ардоино.
Он добавил: «Люди должны иметь возможность просить ИИ-ассистента прочитать длинный документ, запомнить проект, помочь с кодом или работать с личной информацией, не позволяя каждой задаче проходить через удалённый дата-центр.»
Запуск происходит на фоне расширения усилий Tether за рамки инструментов оптимизации памяти. Ardoino недавно сообщила, что компания разрабатывает открытую поисковую систему peer-to-peer и продемонстрировала демонстрацию децентрализованной системы поиска в Википедии.
Связано: Майкл Берри назвал сделку Nvidia по GPU в 5,4 миллиарда долларов «Fugazi»
Disclaimer: The information presented in this article is for informational and educational purposes only. The article does not constitute financial advice or advice of any kind. Coin Edition is not responsible for any losses incurred as a result of the utilization of content, products, or services mentioned. Readers are advised to exercise caution before taking any action related to the company.
