Эффективная обработка потоковых данных для обучения моделей на Backend
Автор: Кузнецов И.А.
Журнал: Международный журнал гуманитарных и естественных наук @intjournal
Рубрика: Технические науки
Статья в выпуске: 11-2 (98), 2024 года.
Бесплатный доступ
В данной статье рассматриваются подходы к обработке потоковых данных (ОПД) для обучения моделей машинного обучения (МО) на backend. Исследуются архитектурные решения, включая Лямбда- и Каппа-архитектуры, а также микросервисные подходы, их преимущества и ограничения в современных условиях. Анализируются инструменты, такие как Apache Kafka, Apache Flink и Apache Spark Streaming, с акцентом на их применимость к различным задачам обработки данных. Особое внимание уделяется методам оптимизации производительности, включая использование алгоритмов online learning и incremental learning, сжатие данных, эффективную сериализацию и управление ресурсами. В статье представлены примеры внедрения технологий, которые демонстрируют их практическую ценность.
Обработка потоковых данных (опд), архитектурные решения, оптимизация производительности, машинное обучение (мо), микросервисная архитектура
Короткий адрес: https://sciup.org/170208309
IDR: 170208309 | DOI: 10.24412/2500-1000-2024-11-2-223-228