Динамическое управление точностью и сложностью в реальном времени на основе доступной мощности в микро-LLM

Рассматривается проблема энергопотребления больших языковых моделей (LLM) при развертывании на устройствах с батарейным питанием и строгими энергетическими ограничениями. Предлагается концепция микро-LLM, оснащенных механизмами динамической адаптации своей вычислительной сложности и числовой точности в реальном времени, основанной на текущем уровне доступной мощности или заданном пользователем энергетическом бюджете. Ключевыми аспектами инновации являются методы селективной активации компонентов модели (слоев, голов внимания), адаптации битовой ширины вычислений и специализированного рантаим-менеджмента для управления энергопотреблением. Анализируются требования к архитектуре модели, рантайм-системе и потенциальные выгоды в контексте энергоэффективности. Указываются основные технические вызовы, требующие решения для практической реализации.