Российские ученые совершили прорыв в оптимизации больших языковых моделей (LLM)
- Ученые из лаборатории исследований ИИ Yandex Research вместе с партнерами из ведущих научно-технологических вузов (НИУ ВШЭ, MIT, KAUST и ISTA) разработали метод быстрого сжатия больших языковых моделей без потери качества, сообщает .
- Метод HIGGS даёт возможность работать с LLM на смартфонах и ноутбуках, не требуя использования дорогих серверов и мощных GPU.
- В условиях ограниченного доступа к графическим ускорителям (GPU) это может значительно упростить внедрение технологий на основе LLM в таких чувствительных сферах, как медицина, финансовые услуги и персональные ассистенты, считают эксперты.
- HIGGS позволяет сжимать даже очень большие модели, такие как DeepSeek-R1 (671 млрд параметров) и Llama 4 Maverick (400 млрд параметров) без значительной потери качества
- Новый метод сжатия может сделать LLM доступнее для небольших компаний, стартапов и исследователей.
- Эксперты называют разработку «интересным кейсом международного взаимодействия и видят большой потенциал применения сжатых LLM для массовых сервисов — таких, как чат-боты, ИИ-ассистенты, переводчики, аналитики данных в реальном времени.
