Итеративная рефлексивная генерация для микро-LLM: компенсация маленького размера модели путем множественных проходов с обратной связью

Предлагается подход Итеративной Рефлексивной Генерации (ИРГ) для языковых моделей малого размера (микро-LLM). Подход направлен на преодоление ограничений, накладываемых малым объемом параметров микро-LLM, за счет последовательных циклов генерации, анализа и уточнения выходных данных. Микро-LLM выполняет черновую генерацию ответа; затем тот же экземпляр модели или специализированные простые механизмы анализируют сгенерированный текст на предмет соответствия задаче, формату, логической целостности и выявляют слабые места; на основе анализа формируются уточняющие инструкции для следующего цикла генерации. Реализуется компромисс между временем/вычислительными ресурсами и качеством выходных данных при фиксированном размере модели. Результаты экспериментов демонстрируют статистически значимое улучшение метрик качества генерации по сравнению с однопроходным режимом.