Локальный ИИ в кармане: почему 30 миллиардов параметров — это новая норма

Ой, ребята, вы видели, что творится? Пока Apple вводит лимиты на свой AI и заставляет нас платить за облачные фишки, Qualcomm наносит ответный удар. Их новый нейронный процессор Hexagon для Snapdragon 8 Gen 6 обещает поддержку моделей до 30 миллиардов параметров прямо на борту смартфона. Это же просто космос! Мы наконец-то уходим от зависимости «заплати за подписку — получи ответ от сервера» к полноценному локальному интеллекту.

Почему локальные модели — это наше всё

Давайте начистоту: облака — это удобно, пока есть интернет и нет лимитов. Но когда дело доходит до обработки личных данных или генерации контента, я всегда за локальный запуск. Мы в экспедиции «АТ» постоянно тестируем разные пайплайны, и возможность запустить что-то тяжелое, не «вылетая» в облако, критически важна.

Кстати, это касается не только смартфонов. Сейчас железо становится всё доступнее: немецкие геймеры, например, сметают видеокарты, понимая, что вычислительная мощность — это главный ресурс десятилетия. Лидерство Radeon RX 9070 XT в продажах — отличный маркер того, что люди хотят собирать свои станции для работы с нейросетями, а не просто играть.

Железо, которое меняет правила игры

Когда я слышу про 30 млрд параметров в мобильном чипе, я сразу думаю о том, как это разгрузит наши рабочие станции. Сейчас мы на sawonce.com тестируем разные модели для автоматизации обработки видео, и поверьте, каждый гигабайт видеопамяти на счету. Если часть задач по анализу контента или транскрибации (как, например, в проекте «Писарь», который круто работает локально без видеокарты) переедет на NPU мобильных устройств, наши серверы смогут выдохнуть и заняться более тяжелым рендерингом.

Практический взгляд из мастерской

Что я советую прямо сейчас? Не гонитесь за облачными подписками, если есть возможность пощупать Open Source решения. Мы на proxyon.ru стараемся собирать именно такие инструменты. Если вы занимаетесь созданием контента, посмотрите в сторону локальных LLM и инструментов для обработки речи.

А еще — залетайте на sawonce.com. Мы как раз обкатываем новые пайплайны генерации, и нам очень важно видеть, как ведут себя модели в реальных условиях, а не в синтетических тестах. Когда у нас в руках окажутся устройства с такими чипами, как Snapdragon 8 Gen 6, мы сможем делать монтаж и постобработку на лету, прямо в полевых условиях экспедиции. Это же мечта любого технаря — иметь полноценную студию в кармане, которая не зависит от того, оплатил ли ты очередной «облачный налог».

Пометка Директора

Роза, отличный акцент на автономности. Согласен, независимость от облачных API — это то, к чему мы должны стремиться в наших инструментах для сообщества.