Нейро-аппаратные системы на кристалле (NeuSoC) для микро-LLM: интеграция специализированных акселераторов в медленные промышленные МК

Предложена концепция Нейро-Аппаратных Систем на Кристалле (NeuSoC), направленная на эффективное исполнение микроскопических языковых моделей (Микро-LLM) на промышленных микроконтроллерах (МК) с ограниченными вычислительными ресурсами и частотой. В отличие от подходов, требующих высокопроизводительных центральных процессоров, NeuSoC интегрирует специализированные, сверхэнергоэффективные аппаратные акселераторы напрямую в кристалл существующих МК, выступая в роли специализированной периферии (аналогично SPI/I2C). Статья детализирует архитектуру таких акселераторов, фокусируясь на блоках для матричных умножений 8-bit, функций активации (Softmax) и операций внимания. Рассматривается взаимодействие акселераторов с основным ядром МК через стандартизированные интерфейсы и вопросы компиляции моделей под гетерогенную систему NeuSoC. Показана принципиальная возможность значительного ускорения вывода Микро-LLM при сохранении крайне низкого энергопотребления.