Влияние начального темпа обучения на свойства нейронных сетей в задаче распознавания речи
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Искусственный интеллект и машинное обучение
Статья в выпуске: 3 (72) т.17, 2026 года.
Бесплатный доступ
Начальный темп обучения стохастического градиентного спуска играет определяющую роль в качестве получаемого решения и структуре выучиваемых нейронной сетью признаков. В недавних работах для задачи классификации изображений установлена таксономия трех режимов начального темпа обучения и выделен узкий диапазон высоких значений, обеспечивающий наилучшее качество после дальнейшего дообучения с низким темпом обучения или усреднения весов. В статье эта методология распространяется на задачу распознавания речи, где таксономия режимов воспроизводится в основных чертах, а выделенный диапазон высоких значений сохраняет превосходство по итоговому качеству дообучения и усреднения весов и линейную связность полученных решений в пространстве весов. Картина выучиваемых признаков воспроизводится в более мягкой форме: с ростом темпа обучения опора моделей смещается к нижним кепстральным коэффициентам и низкочастотной части мел-спектрограммы, однако внутри области высоких значений это смещение не выделяет диапазон наилучшего качества. Дополнительно предложено усечение мел-частотного кепстра как переносимый инструмент анализа выученных признаков, применимый к любой модели, работающей со спектрограммой. Таким образом, выделенный режим не является артефактом задачи классификации изображений, а успешно переносится на задачу распознавания речи.
Короткий адрес: https://sciup.org/143186358
IDS: 143186358 | УДК: 004.934:004.032.26 | DOI: 10.25209/2079-3316-2026-17-3-315-362
The effect of initial learning rate on properties of neural networks in automatic speech recognition
The initial learning rate of stochastic gradient descent plays a decisive role in the quality of the resulting solution and in the structure of features learned by a neural network. Recent works on image classification have established a taxonomy of three regimes of the initial learning rate and identified a narrow range of high values that yields optimal quality after subsequent fine-tuning with a low learning rate or weight averaging. This work extends this methodology to speech recognition, where the regime taxonomy is reproduced in its main features, and the identified range of high values retains both its superior final quality after fine-tuning and weight averaging and the linear mode connectivity of the resulting solutions in weight space. The picture of learned features is reproduced in a weaker form: as the learning rate grows, the models shift their reliance toward the lower cepstral coefficients and the low-frequency part of the mel spectrogram, yet within the high-value region this shift no longer singles out the range of best quality. In addition, truncation of the mel-frequency cepstrum is proposed as a portable tool for analyzing learned features, applicable to any model operating on spectrograms. The obtained results show that the identified regime is a general property of stochastic optimization of neural networks rather than an artifact of the image classification task or of training on a sphere. Therefore, the identified regime is not an artifact of the image classification task and successfully transfers to speech recognition.
