Тайваньский стартап запустил ИИ-ускоритель на «устаревших» чипах, позволяющий локально запускать модели до 700 млрд параметров.
Тайваньская компания Skymizer представила инновационный ИИ-ускоритель HTX301, который, согласно заявлениям разработчиков, способен обрабатывать крупномасштабные языковые модели с количеством параметров до 700 миллиардов на одной PCIe-карте. Устройство использует устаревшие 28-нм чипы и оперативную память стандарта LPDDR4/LPDDR5, что отличает его от современных решений, основанных на передовых техпроцессах и высокоскоростной памяти HBM.
Ключевое преимущество HTX301 заключается в его энергоэффективности и объёме памяти. В карту интегрировано до 384 ГБ памяти, распределённой между шестью специализированными чипами HyperThought HTX301. Энергопотребление устройства составляет около 240 Вт, что значительно ниже показателей современных ускорителей от Nvidia и AMD аналогичного класса, таких как PCIe-карта AMD Instinct MI350P, потребляющая 144 ГБ памяти HBM3E и заметно больше энергии, или Nvidia RTX PRO 6000 Blackwell, требующая около 600 Вт.
Skymizer акцентирует внимание на способности HTX301 обеспечивать высокую производительность при работе с гигантскими языковыми моделями, выдавая до 30 токенов в секунду, а также на более компактных моделях, таких как Llama2 7B, с производительностью до 240 токенов в секунду. Достижение таких результатов стало возможным благодаря применению специализированных алгоритмов сжатия весов и KV-кэша, что, по словам разработчиков, позволяет HTX301 превзойти open-source-движок llama.cpp на 9–17,8%.
Одним из ключевых аспектов продукта является его потенциал для решения проблемы высокой стоимости инфраструктуры корпоративного ИИ. Skymizer утверждает, что HTX301 позволяет избежать необходимости строительства дорогостоящих GPU-кластеров, сложного охлаждения и значительного энергопотребления, предлагая решение, которое может быть интегрировано в обычные серверы с воздушным охлаждением без необходимости модернизации дата-центров.
Особое внимание разработчики уделяют возможности локального запуска ИИ-моделей внутри компаний, что позволяет минимизировать риски утечек данных, снизить зависимость от облачных сервисов и обеспечить более предсказуемые расходы на вычислительные ресурсы.
Однако, несмотря на амбициозные заявления, все показатели производительности HTX301 пока остаются на уровне презентаций компании. Независимые тесты устройства запланированы на выставке Computex 2026, которая состоится в начале июня. Эти испытания должны продемонстрировать, действительно ли Skymizer удалось создать конкурентоспособную альтернативу ускорителям от Nvidia и AMD, или же HTX301 присоединится к длинному списку амбициозных ИИ-стартапов, которые не смогли подтвердить свои обещания.
Источники: techradar
Понравилась ли Вам статья?
