Искусственный интеллект, инженерия данных и знаний. Рубрика в журнале - Информатика и автоматизация (Труды СПИИРАН)
Извлечение семантической информации из графических схем
Статья
Рассматривается задача извлечения семантической информации из электронного документа, заданного в формате векторной графики и содержащего графическую модель (схему), построенную с помощью графического редактора. Задача состоит в программном извлечении определенных структурных и параметрических свойств схемы и занесении их в базу данных для последующего использования. На основе проведенного анализа возможностей графических редакторов сделан вывод об актуальности этой задачи для универсальных редакторов, не привязанных к конкретным графическим нотациям и использующих открытые графические форматы документов, что допускает программную обработку. Предлагаемый подход рассматривает графические документы на трёх уровнях абстракции: концептуальном (семантические свойства схемы), логическом (представление семантических свойств на внутреннем уровне документа) и физическом (внутренняя организация графического документа). Решение задачи основано на построении концептуально-логического отображения, то есть отображения концептуальной модели схемы в логическую модель графического документа с учетом его физической модели. В рамках подхода разработан алгоритм построения указанного отображения, представленный в виде объектно-ориентированного псевдокода. Исследование внутренней разметки в открытых графических форматах позволило построить модели идентификации элементов схемы и их соединений между собой, что необходимо для конкретного применения алгоритма. Получены выражения для адресации элементов схемы и доступа к их свойствам. Предложенный подход реализован на основе ситуационно-ориентированной парадигмы, в рамках которой процесс извлечения управляется иерархической ситуационной моделью. Обрабатываемые данные задаются в ситуационной модели в виде виртуальных документов, отображаемых на разнородные внешние источники данных. Для решаемой задачи рассматривается отображение на два варианта форматов векторной графики: на «плоский» файл разметки и на набор таких файлов в электронном архиве. Практическое использование результатов иллюстрируется на примере извлечения семантической информации из графических моделей, разрабатываемых на различных этапах проектирования баз данных.
Бесплатно
Имитационная модель когнитивного радио
Статья
Растущий дефицит радиочастотного спектра, вызванный взрывным ростом числа беспроводных устройств и объемов передаваемых данных, делает технологии когнитивного радио (CR) критически важными для будущего телекоммуникаций. Данное исследование направлено на решение задачи динамического управления спектром путем разработки имитационной модели когнитивной радиосистемы связи, построенной на архитектуре сети LTE. В отличие от существующих решений, предлагаемая модель обладает модульной структурой, что позволяет гибко интегрировать и оценивать различные алгоритмы прогнозирования занятости частотных ресурсов. Модель реализована в среде MatLab и включает три ключевых модуля: модуль формирования и обработки сигналов LTE, генерирующий карты радиосреды (REM); модуль обучения прогнозирующей нейросетевой модели; и модуль прогнозирования занятости частотных ресурсов. Основное внимание уделено использованию передовой архитектуры нейронной сети Колмогорова-Арнольда (KAN) для прогнозирования незанятых блоков планирования (SB) в кадре LTE. В результате имитационного моделирования, охватившего 10 000 кадров, была продемонстрирована высокая эффективность предложенного подхода. Модель KAN обеспечила точность прогнозирования свободных частотных ресурсов на уровне 92,23% для кадра длительностью 10 мс. Проведенное сравнительное тестирование показало, что архитектура KAN превосходит традиционную сеть LSTM по точности примерно на 10% при одинаковом количестве обучаемых параметров, а также быстрее достигает сходимости в процессе обучения. Практическая значимость работы заключается в предоставлении инструмента для точной оценки занятости спектра и планирования доступа вторичных пользователей, что ведет к значительному повышению спектральной эффективности и надежности перспективных беспроводных сетей.
Бесплатно
Статья
Облачные вычисления (CC) являются известной технологией, которая позволяет пользователям и организациям получать доступ к сервисам в соответствии с их требованиями. Этот метод вычислений предлагает хранилище, платформы развертывания и подходящий доступ к веб-сервисам через интернет. Балансировка нагрузки является важным фактором оптимизации вычислительных ресурсов и хранения. Она направлена на разумное распределение рабочей нагрузки между каждой виртуальной машиной. Было разработано несколько традиционных методов балансировки нагрузки, которые доступны в литературе. Однако достижение эффективной балансировки нагрузки с минимальным временем завершения и улучшенной пропускной способностью остается сложной задачей. Для повышения эффективности балансировки нагрузки был разработан новый метод, известный как индексированный регулируемый метод Ружички балансировки нагрузки глубокого нейронного обучения (RITLBDNL). Основная цель RITLBDNL состоит в том, чтобы повысить пропускную способность и минимизировать время выполнения работы в облаке. В методе RITLBDNL модель глубокого нейронного анализа включает входной слой, два скрытых слоя и выходной слой для улучшения производительности балансировки нагрузки. На входном слое собираются задачи пользователей облака и отправляются на скрытый слой 1. На этом слое балансировщик нагрузки в облачном сервере анализирует состояние ресурсов виртуальной машины в зависимости от энергии, пропускной способности, объема памяти и ЦПУ с использованием индекса сходства Ружички. Затем виртуальные машины классифицируются как перегруженные, слабо загруженные или сбалансированные. Результаты анализа передаются на скрытый слой 2, где выполняется регулируемая балансировка нагрузки для распределения нагрузки с сильно загруженных виртуальных машин на минимально загруженные. Облачный сервер эффективно распределяет рабочую нагрузку между виртуальными машинами с более высокой пропускной способностью и меньшим временем отклика для обработки огромного количества входящих задач. Для оценки результатов экспериментов предложенный метод сравнивается с другими существующими методами балансировки нагрузки. Результат показывает, что предложенный метод RITLBDNL обеспечивает эффективность балансировки нагрузки с увеличением на 7%, пропускной способностью на 46%, уменьшением времени завершения на 41% и времени отклика на 28% по сравнению с традиционными методами.
Бесплатно
Статья
В статье рассматривается задача проектирования высокоэффективных сверточных нейронных сетей для встраиваемых систем компьютерного зрения, функционирующих в режиме реального времени. Основное внимание уделяется дилемме между вычислительной эффективностью и качеством локализации объектов. Отмечается, что агрессивная оптимизация с помощью глубинных сепарабельных сверток, примененная к легковесной однопроходной архитектуре, хотя и обеспечивает высокую скорость, часто приводит к потере способности сети точно определять пространственные границы целевых объектов. Для преодоления данного компромисса предложена новая архитектурная стратегия – интеграция легковесных, динамически настраиваемых модулей канального внимания непосредственно в структуру сепарабельных сверточных блоков. Созданный гибридный блок выполняет селективное взвешивание каналов признакового пространства, что позволяет сети усиливать детализированные признаки, критичные для границ объектов. Экспериментальная валидация проведена на целевой платформе Raspberry Pi 5 с использованием квантованных до формата INT8 моделей. Модифицированная архитектура продемонстрировала незначительный рост сложности (до 4.4 GFLOPs и 2.05 млн параметров) по сравнению с базовой DSC-версией. Ключевым результатом стало существенное улучшение метрики локализации mAP0.75 – прирост на 8.3 п.п. до уровня 66.5%, что превосходит показатели стандартной, неоптимизированной модели YOLOv8n (61.1% на RPi 5). При этом частота кадров (27.8 FPS) сохранилась значительно выше порогового требования реального времени (20 FPS). Таким образом, исследование доказывает, что целенаправленное внедрение компактных механизмов внимания в ультралегковесные архитектуры позволяет достичь качественного скачка в точности локализации, превосходящего исходные, более ресурсоемкие аналоги, без нарушения жестких ограничений по производительности. Предложенный подход открывает путь для разработки более надежных и точных систем детекции для автономных устройств, критичных к ресурсам.
Бесплатно
Интеллектуальная нейросетевая машина с функциями мышления
Статья
В последние годы существенно вырос интерес к искусственному интеллекту на основе нейросетевых подходов. Получен ряд значимых научных результатов, которые нашли широкое применение на практике. Большое внимание привлекли генеративно – состязательные нейросетевые модели, нейросетевые трансформеры и другие решения. Достигнут очевидный прогресс в нейросетевом распознавании и генерации образов, обработке текстов и речи, прогнозировании событий, управлении трудно формализуемыми процессами. Однако пока не удалось наделить нейросетевые машины мышлением. Все получаемые с использованием нейросетевых машин результаты можно отнести к решениям на основе различных видов связывания сигналов без полноценного управления процессами их обработки. Типичными представителями таких машин выступают ChatGPT. Возможности по интеллектуальному оперированию различными сигналами в известных нейросетевых машинах очень ограничены. Среди основных причин таких ограничений следует выделить несовершенство используемых базовых принципов нейросетевой обработки информации. Свойства нейронов длительное время рассматривались упрощенно. Обуславливалось это, как пробелами в области биологических исследованиях, так и отсутствием возможностей построения больших нейронных сетей на сложных моделях нейронов. В последние годы ситуация изменилась. Появились новые способы реализации больших нейронных сетей. Также установлено, что даже отдельные нейроны могут обладать обширной внутренней памятью и реализовывать различные функции. Однако до сих пор многие механизмы функционирования нейронов и их взаимодействия остаются не раскрытыми. Мало исследованы вопросы управляемого ассоциативного обращения к внутренней памяти нейронов. Эти недостатки существенно сдерживает создание мыслящих нейросетевых машин. Объектом исследования в статье выступает процесс интеллектуальной нейросетевой обработки информации. Предмет исследования: принципы, модели и методы такой обработки. Преследуется цель расширения функциональных возможностей нейросетевых машин по решению трудно формализуемых творческих задач за счет разработки новых принципов, моделей и методов интеллектуальной обработки информации. В интересах достижения этой цели уточняются принципы функционирования интеллектуальных нейросетевых машин, предлагаются новые модели и методы нейросетевой обработки информации. Раскрывается новая модель импульсного нейрона, как базового элемента таких машин. Искусственный мозг нейросетевых машин рекомендуется формировать в виде многослойных нейронных сетей, наделенных логическими структурами, с различными по параметрам нейронами. Предлагается новый метод многоуровневой интеллектуальной обработки информации в нейросетевых машинах на основе умных импульсных нейронов. Поясняются механизмы мышления нейросетевых машин, лежащие в их основе функции интеллектуального оперирования образами и понятиями в нейросетевой памяти. Приводятся результаты моделирования, подтверждающие справедливость предложенных решений.
Бесплатно
Интеллектуальное обнаружение и изоляция неисправностей на основе нейронных сетей NARX
Статья
Интеллектуальные системы стали неотъемлемым компонентом современных технологических ландшафтов. Вопрос их надежности является крайне важным, поскольку возникновение неисправностей способно катастрофически сказаться на функционировании и итоговой эффективности системы, вследствие чего обнаружение и изоляция неисправностей (FDI) становится критически значимой задачей. Реализация этой задачи осложняется присущей таким системам сложной нелинейной динамикой. В данной работе в рамках решения указанной проблемы предлагается методология интеллектуального обнаружения и изоляции неисправностей; в качестве репрезентативного примера рассматривается система инкубатора. Предлагаемый метод использует нелинейную авторегрессионную экзогенную (NARX) нейронную сеть в параллельной структуре для моделирования сложной нелинейной динамики системы. Были сравнены различные реализации модели NARX, основанные на многослойном перцептроне (MLP), сети долгой краткосрочной памяти (LSTM), вентильном рекуррентном блоке (GRU) и сети Элмана, для оценки их эффективности моделирования и определения лучшей модели. Полученные расхождения между прогнозами модели и фактическими значениями называются остаточными величинами. Для классификации неисправностей было проведено сравнительное исследование пяти методов машинного обучения (ML): многослойного перцептрона, экстремального градиентного бустинга (XGBoost), метода опорных векторов (SVM), метода k-ближайших соседей (KNN) и линейного дискриминантного анализа (LDA). Данные методы анализируют остаточные величины, чтобы идентифицировать конкретную неисправность из заранее определенного множества возможных, включая неисправности исполнительных механизмов и датчиков. Полученные результаты демонстрируют эффективность интеллектуальной методологии FDI, представленной в данной работе. Модели NARX продемонстрировали высокую эффективность моделирования, причем гибридная модель MLP-NARX показала наилучшие результаты, превзойдя остальные архитектуры. Сравнительный анализ классификаторов выявил различия в эффективности пяти рассматриваемых методов, при этом классификатор на основе многослойного перцептрона достиг наивысших показателей по всем оценочным метрикам. Это свидетельствует о его пригодности для практического применения в задачах диагностики неисправностей, что обусловлено его высокой способностью улавливать сложные нелинейные взаимосвязи в данных.
Бесплатно
Статья
В работе предложен метод решения задачи выбора канала связи в когнитивном радио на основе информации о текущем состоянии всех доступных каналов связи с использованием математического аппарата обучения с подкреплением. Метод заключается в формализации задачи выбора каналов связи в терминах «среда-агент» и обучении агентов с помощью алгоритмов Reinforce, SARSA и A2C. Приведён расчёт затрат памяти на решение задачи выбора каналов связи классическими методами. Оценка по памяти составляет 4×22n байт для случайного состояния каналов (занят/свободен) и 4×n2 байт – для одного свободного канала на каждом шаге при решении задачи табличным алгоритмом Q-обучения. Приведены две различные формализации вознаграждения для агента в рамках решаемой задачи при использовании обучения с подкреплением – для тривиального случая (бинарная доступность / недоступность частотного канала) и для более сложного случая – с учётом мощности (в дБ) в выбранном канале связи. Ограничение на первую формализацию состоит в том, что на каждой итерации должен быть только один свободный канал связи из всех доступных. Вторая предложенная формализация функции вознаграждения не накладывает подобных ограничений и более универсальна. Проведены вычислительные эксперименты для обеих формализаций функции вознаграждения, агенты обучающиеся с помощью алгоритмов SARSA и A2C, в среднем, достигают безошибочного решения задачи за 8000 эпизодов обучения для обеих формализаций обучения в модельной задаче для различных реализаций агентов. Алгоритм REINFORCE не позволяет достигать безошибочного решения, однако, формализация вознаграждения с учётом мощности повышает стабильность обучения алгоритмом REINFORCE. Даны теоретические оценки вычислительной сложности рассматриваемых методов, согласующиеся с вычислительными экспериментами.
Бесплатно
Информационные технологии цифровой адаптационной медицины
Статья
В статье дана комплексная характеристика информационных технологий цифровой адаптационной медицины. Акцент сделан на применимость к разработке специализированных автоматизированных комплексов, программных моделей и систем изучения адаптационных возможностей человека к условиям внешней среды. Сформулированы требования к информационным технологиям повышения этих возможностей. Отражены особенности информационных технологий применительно к проведению прикладных системных исследований обеспечения жизнедеятельности, сохранения профессионального здоровья и продления долголетия человека. Охарактеризованы шесть базовых концепций адаптационной медицины с акцентом на особенности математического обеспечения обработки информации, определены приоритеты совершенствования информационных технологий, применяемых в этих концепциях. Рассмотрены информационные технологии, применяемые в задачах обеспечения профессиональной работоспособности человека с акцентом на необходимость применения адекватных методов диагностики состояния человека на всех этапах профессиональной деятельности и необходимости разработки технологий цифровых двойников, адекватно моделирующих адаптационные процессы и реакции организма в реальных условиях. Дана характеристика информационных технологий персонифицированного мониторинга рисков здоровью, позволяющих объективизировать воздействия физических факторов условий деятельности и реализовать индивидуальное и коллективное информирование персонала об опасности окружающей среды. Показана насущная необходимость стандартизации методов обработки информации при разработке информационных технологий цифровой адаптационной медицины в интересах обеспечения физиологической адекватности и математической корректности подходов к получению и обработке информации о состоянии человека. Сделаны выводы о том, что приоритеты совершенствования информационных технологий цифровой адаптационной медицины связаны с внедрением достижений четвёртой промышленной революции, в том числе, концепции социокиберфизических систем.
Бесплатно
Информационный поиск в социальных медиа на базе мультидоменной динамической системы знаний
Статья
Задача информационного поиска заключается в нахождении информации, наилучшим образом удовлетворяющей информационную потребность пользователя. В условиях социальных медиа информационный поиск осложняется высокой динамичностью контента, тематической разнородностью и разнообразием ментальных моделей пользователей. В данной работе предлагается подход к решению задачи информационного поиска в таких условиях путем построения мультидоменной динамической системы знаний. Ее новизна заключается в объединении трех уровней семантики: проблемно-ориентированной, представленной онтологией метазадачи (описывающей цели поиска); доменно-специфической, реализованной через динамический многослойный граф знаний, построенный на основе пользовательского контента социальных медиа; и доменно-независимой, основанной на лексической базе данных и большой языковой модели. Граф знаний позволяет отразить различные контексты употребления понятий, соответствующие тематическим кластерам в коллекции документов. Такая интеграция позволяет учитывать эволюцию понятий, особенности дискурса и ментальные стереотипы участников коммуникации. Для оценки эффективности предложенной системы проведен эксперимент с использованием датасета публикаций из социальной сети “ВКонтакте” по проблемно-ориентированному мониторингу публикаций, где требуется отбор релевантных публикаций из нетематизированных источников. Для решения данной задачи предложена технология, основанная на использовании метрики расстояния между терминами запроса и терминами публикации в многослойном графе знаний. Результаты эксперимента с применением данной технологии подтверждают эффективность предложенной модели для задач информационного поиска по сравнению со стандартным поиском по ключевым словам и эмбеддинговыми моделями. В продолжении данного исследования планируется сформировать лексическую базу данных, а также рассмотреть возможность расширения модели за счет применения меры точечной совместной информации и методов векторного представления графов.
Бесплатно
Статья
Проблемы организации медицинской помощи в условиях пандемии COVID-19, связанные с неопределенностью и ограниченностью различных ресурсов, привели к необходимости совершенствования систем принятия решений при госпитализации пациентов. С помощью ситуационного управления можно улучшить процесс принятия решений, чтобы он лучше соответствовал текущей ситуации. При этом важным становится учет влияния психологических факторов на решения, принимаемые при госпитализации. В статье предлагается использование коалиционных игр для ситуационного управления при госпитализации больных. Игроками и участниками коалиции являются госпитали, бригады скорой помощи, пациенты и центры компьютерной томографии. Цель игры - сформировать коалицию участников, обеспечивающую максимальную выгоду по времени и стоимости госпитализации в момент принятия решения. Рассмотрены общая схема госпитализации, основные источники информации о ситуации, постановка и формализация проблемы. Проведен эксперимент, в котором проверялось формирование коалиции во время госпитализации на основе данных, полученных при анализе динамики пандемии COVID-19. В связи с малым объемом данных и отсутствием апробированных моделей развития ситуации при проведении расчета часть параметров была оценена с использованием эвристических моделей развития ситуации, основанных на анализе информации из открытых источников информации. Результат эксперимента содержит набор коалиций, обеспечивающих максимальную выгоду, при указанных ограничениях. При этом время расчета коалиционной игры позволяет использовать предложенную модель поддержки принятия решений при госпитализации в диспетчерской службе станций скорой помощи.
Бесплатно
Использование онтологии для анализа английских комментариев в социальных сетях
Статья
Чат-боты заинтересовывают многих пользователей по мере того, как технологии становятся все более продвинутыми. Потребность в обмене информацией между людьми через компьютерные системы увеличивается с каждым днем, в результате чего в большинстве стран растет предпочтение использовать чат-боты. Поскольку Вьетнам является развивающейся страной с множеством этнических групп, требуется усиленное внимание к распространению социальных сетей и расширению кооперативной экономики. Серьезной проблемой стало неуместное использование слов в повседневной жизни. В социальных сетях встречаются неоднозначные отзывы с похвалой и критикой о том, что мы пытаемся уменьшить использование негативной лексики и улучшить качество использования языка в социальных сетях. Мы стремимся удовлетворить потребности пользователей в социальных сетях, способствовать экономическому развитию и более эффективно решать социальные проблемы. Для достижения этих целей предлагается метод глубокого обучения, использующий интеллектуальный анализ онтологических знаний для сбора и обработки комментариев в социальных сетях. Этот подход направлен на улучшение пользовательского опыта и облегчение обмена информацией между людьми путем анализа мнений в комментариях. Результаты экспериментов показывают, что наш метод превосходит традиционный подход.
Бесплатно
Статья
Использование радиолокационных спутниковых данных в мониторинге сельскохозяйственных культур является перспективным дополнением методов и технологий, базирующихся на анализе мультиспектральных изображений. К основным достоинствам радиолокационных вегетационных индексов относится их чувствительность к поляриметрическим свойствам принимаемого сигнала, а также независимость от облачности. Это особенно важно для территории юга российского Дальнего Востока, муссонный климат которого обеспечивает влажную и облачную погоду в период набора сельскохозяйственными культурами максимальной биомассы. Для оценки возможностей радиолокационных спутниковых данных на примере пахотных земель Хабаровского края и Амурской области были проанализированы 64 снимка космического аппарата Sentinel-1 за период наблюдений с мая по октябрь 2021 года. Для каждого снимка были рассчитаны значения индексов DpRVI, RVI, VH/VV и построены временные ряды для всего периода наблюдений по отдельным полям (всего 342 поля). По мультиспектральным снимкам Sentinel-2 с использованием маски облачности были построены временные ряды NDVI. Были рассчитаны характеристики экстремумов временных рядов для разных типов пахотных земель: сои, овса, и залежи. Показано, что для каждой сельхозкультуры кривые сезонного хода DpRVI, RVI, VH/VV имели характерный вид. Установлено, что индекс DpRVI продемонстрировал наиболее высокую устойчивость – коэффициенты вариации сезонного хода DpRVI были существенно ниже показателей для RVI и VH/VV. Также было выявлено, что сходство между сезонным ходом индексов сохранялось для удаленных друг от друга регионов – Хабаровского края и Амурской области. Были рассчитаны основные характеристики сезонного хода временных рядов радиолокационных индексов в сравнении с NDVI – величина максимума, дата наступления максимума и вариабельность этих показателей. Установлено, во-первых, что значения этих показателей в разных регионах схожи между собой; во-вторых, вариабельность максимума и дня наступления максимума для DpRVI ниже, чем для RVI и VH/VV; в-третьих, вариабельность максимума и дня наступления максимума для DpRVI сопоставима с NDVI. Таким образом, можно сделать вывод о том, что временные ряды радиолокационных индексов DpRVI, RVI, VH/VV для основных типов сельскохозяйственных земель Дальнего Востока имеют отличительные особенности и могут быть использованы в задачах классификации, моделирования урожайности и контроля севооборота.
Бесплатно
Статья
Современные исследования алгоритмов принятия решений в системах multi-access edge computing (MEC) для задач распределения ресурсов зачастую основываются на упрощенных абстракциях сетевой топологии, что ограничивает применимость полученных результатов в реальных условиях эксплуатации мобильных сетей. Целью данной работы является разработка реалистичной модели сети сотовой связи с использованием методов стохастической геометрии и комплексная оценка эффективности современных алгоритмов обучения с подкреплением в задачах минимизации сетевых задержек в граничных вычислениях. Метод. Для создания математически обоснованной модели сетевой среды использовались методы стохастической геометрии в сочетании с реальными статистическими данными распределения пользователей сотовых сетей. Применение стохастической геометрии обеспечило корректное моделирование пространственного размещения базовых станций и расчет межузловых расстояний, критически важных для определения сетевых задержек. Экспериментальная оценка проводилась на базе доработанной платформы LWMECPS с расширенным Gymnasium API, поддерживающим алгоритмы PPO, TD3 и SAC. Основные результаты. Разработана модель сети связи, учитывающая реалистичное пространственное распределение сетевых элементов и временную динамику пользовательской нагрузки. На основе данной модели создано виртуализированное тестовое окружение в LWMECPS, позволяющее проводить воспроизводимые эксперименты с контролируемыми параметрами. Результаты экспериментов показали различия в характеристиках производительности различных алгоритмов: PPO обеспечил стабильное сокращение задержки до 20% со стабильной конвергенцией; SAC продемонстрировал наибольшее абсолютное улучшение (сокращение задержки на 38%), но проявил нестабильность при инициализации; TD3 показал умеренную эффективность (улучшение до 11%), но высокую чувствительность к настройке гиперпараметров. Обсуждение. Проведенный сравнительный анализ алгоритмов машинного обучения с подкреплением выявил ключевые особенности их применения в MEC-системах. Установлено, что дискретный характер задач размещения сервисов делает алгоритм PPO наиболее подходящим для практического внедрения в системы принятия решений благодаря его стабильности сходимости и естественной поддержке дискретных пространств действий. Полученные результаты предоставляют научно обоснованные рекомендации для разработчиков MEC-платформ по выбору оптимальных алгоритмических решений.
Бесплатно
Исследование применимости метода матричной факторизации для ранжирования больших языковых моделей
Статья
В последние годы широкое применение в области финансов получили большие языковые модели (англ. Large Language Models, LLM). Прямое сравнение таких моделей может быть затруднено, так как наборы данных и сами LLM могут быть закрыты, а параметры при оценке могут отличаться. В работе для задачи заполнения неизвестных метрик предлагается использование метода матричной факторизации из рекомендательных систем, изначально созданного для прогнозирования предпочтений пользователей. Целью работы является оценка применимости матричной факторизации для предсказания метрик качества LLM на финансовых задачах, а также разработка метода ранжирования LLM на основе агрегации метрик качества. Проводится эксперимент по применению матричной факторизации на собранных из научных исследований данных о 34 LLM и 42 финансовых наборах данных. Усредненная MAE метода на всех запусках составляет 0.07 на тестовом наборе данных. Верхние позиции в рейтинге занимают модели DeepSeek R1, OpenAI GPT-4o, OpenAI o1-mini, Fin-R1, Claude 3.5 Sonnet. Двумя способами исследуется влияние ошибки прогнозирования на итоговые предсказания: при помощи MAE и метода Монте Карло. Анализируются полученные результаты, основными выводами которых являются: а) метод матричной факторизации может быть применен для прогнозирования неизвестных значений метрик моделей на наборах данных; б) ведущие большие языковые модели сблизились в оценке настолько, что невозможно выявить явного лидера; в) большие ошибки предсказания позволяют выявить специфические особенности моделей на конкретных задачах. Представленный метод ранжирования способен упростить выбор подходящей модели для финансовых задач.
Бесплатно
Статья
Представлен метод итеративной настройки параметров моделей на основе ансамблей деревьев с использованием настройки байесовских гиперпараметров для прогнозирования состояний на примере рака молочной железы. Предлагаемый метод использует три различных набора данных, в том числе набор данных по диагностическому раку молочной железы Висконсина (WDBC), набор данных по надзору, эпидемиологии и конечным результатам (SEER) по раку молочной железы и набор данных по раку молочной железы в Коимбре (BCCD), а также реализует набор данных на основе древовидных ансамблей. Модели, в частности AdaBoost, Gentle-Boost, LogitBoost, Bag и RUSBoost, для прогнозирования рака молочной железы. Байесовская оптимизация использовалась для итеративной настройки гиперпараметров моделей, а производительность моделей оценивалась с использованием нескольких показателей, включая точность, прецизионность, полноту и оценку f1. Наши результаты показывают, что предложенный метод значительно повышает производительность моделей на основе ансамблей деревьев, что приводит к более высокой точности, прецизионности, полноте и оценке f1. По сравнению с другими современными моделями предлагаемый метод более эффективен. Он достиг 100% идеальных результатов по точности, прецизионности, полноте и оценке F1 в наборе данных WDBC. В наборе данных SEER BC точность метода составила 95,9%, прецизионность 97,6%, полнота 94,2% и оценка F1 95,9%. Для набора данных BCCD метод достиг точности 94,7%, прецизионности 90%, полноты 100% и оценки F1 94,7%. Результаты этого исследования имеют важное значение для медицинских работников, поскольку раннее выявление рака молочной железы может значительно повысить шансы на выживание. В целом, это исследование вносит ценный вклад в область прогнозирования рака молочной железы с использованием машинного обучения.
Бесплатно
Калмановская фильтрация одного класса изображений динамических объектов
Статья
Рассматривается задача оценивания состояния динамического объекта по наблюдаемым изображениям, сформированным оптической системой. Цель исследования состоит в реализации нового подхода, обеспечивающего повышение точности автономного слежения за динамическим объектом по последовательности изображений. Используется векторная модель изображения объекта в виде ограниченного количества вершин (базовых точек). Предполагается, что в процессе регистрации объект удерживается в центральной области каждого кадра, поэтому параметры движения могут описываться в виде проекций на оси системы координат, связанной с оптической осью камеры. Новизна подхода состоит в том, что наблюдаемые параметры (расстояние вдоль оптической оси и угловое положение) объекта вычисляются по координатам заданных точек на изображениях объекта. Для оценки состояний объекта строится фильтр Калмана-Бьюси в предположении, что движение динамического объекта описывается совокупностью уравнений поступательного движения центра масс вдоль оптической оси и изменений углового положения относительно плоскости изображения. Приведен пример оценивания углового положения объекта, иллюстрирующий работоспособность предложенного метода.
Бесплатно
Каскадный классификатор для обнаружения и идентификации птиц в видеопотоке
Статья
В статье представлен разработанный метод и прототип программы для определения наличия птиц в видеопотоке данных в режиме реального времени. Этот метод основан на использовании каскадного классификатора, который был применен для решения задачи обнаружения и идентификации птиц в биоакустической установке отпугивания птиц в аэропорту Томска. В рамках исследования был использован каскадный классификатор Виолы-Джонса, который является одной из реализаций алгоритма каскад Хаара. Этот алгоритм позволяет с высокой точностью и скоростью обнаруживать объекты на изображениях и видео. В данном случае классификатор был обучен на наборе данных, содержащем изображения птиц, что позволило достичь высокой точности обнаружения и идентификации птиц на видео. Также приведены результаты оценки возможностей созданного классификатора и продемонстрирована его высокая результативность. В ходе исследования были использованы различные методы машинного обучения и анализа видеоданных, что позволило получить точные и надежные результаты. В целом, данная работа представляет собой инновационный подход к решению актуальной задачи защиты аэропортов от птиц. Применение разработанного метода позволило повысить эффективность работы биоакустической установки отпугивания птиц и обеспечить безопасность полетов в аэропорту Томска, снизив вероятность столкновения самолетов с птицами. Новизна работы заключается в применении метода Виолы-Джонса к задаче обнаружения и идентификации птиц с оценкой его результативности. Таким образом, представленная в статье работа является важным вкладом в развитие методов обнаружения и идентификации объектов на видео и может быть использована в других областях, где требуется автоматическое обнаружение и классификация объектов в видеопотоке данных.
Бесплатно
Статья
Сельское хозяйство является одним из основных источников экономического роста в России; мировое производство яблок в 2019 году составило 87 миллионов тонн. Болезни листьев яблони являются основной причиной ежегодного сокращения производства яблок, что приводит к огромным экономическим потерям. Автоматизированные методы выявления болезней листьев яблони позволяют сократить трудоемкую работу по мониторингу яблоневых садов и раннему выявлению симптомов болезни. В этой статье предложена многослойная сверточная нейронная сеть (MCNN), которая способна классифицировать листья яблони по одной из следующих категорий: парша яблони, черная гниль и болезни яблоневой кедровой ржавчины, используя недавно созданный набор данных. В этом методе мы использовали методы аффинного преобразования и перспективного преобразования для увеличения размера набора данных. После этого операции предварительной обработки на основе метода кадрирования и выравнивания гистограммы OpenCV использовались для улучшения предлагаемого набора данных изображения. Экспериментальные результаты показывают, что система достигает точности обучения 98,40% и точности проверки 98,47% для предложенного набора данных изображения с меньшим количеством параметров обучения. Результаты предполагают более высокую точность классификации предложенной модели MCNN по сравнению с другими известными современными подходами. Эта предложенная модель может использоваться для обнаружения и классификации других типов болезней яблони из разных наборов данных изображений.
Бесплатно
Кластеризация сетей с использованием алгоритма поиска косяков рыб
Статья
Сеть представляет собой совокупность узлов, соединенных ребрами, которые представляют сущности и их взаимосвязи. В кластеризации социальных сетей узлы организованы в кластеры в соответствии с их шаблонами соединений с целью обнаружения сообществ. Выявление структур сообществ в сетях является важным. Однако существующие методы обнаружения сообществ еще не использовали потенциал алгоритма поиска косяков рыб (FSS) и принципов модулярности. Мы предложили новый метод, основанный на кластеризации с использованием алгоритма поиска рыбной школы и функции модулярности (FSC), который улучшает модулярность в кластеризации сети путем итерационного разбиения сети и оптимизации функции модулярности. Этот подход облегчает обнаружение высокомодулярных структур сообществ, улучшая разрешение и эффективность кластеризации сети. Мы протестировали FSC на известных и неизвестных структурах сетей. Также мы протестировали его на сети, сгенерированной с использованием модели LFR, чтобы проверить его производительность на сетях с различными структурами сообществ. Наша методология демонстрирует высокую эффективность в выявлении структур сообществ, что указывает на ее способность эффективно захватывать сплоченные сообщества и точно определять фактические структуры сообществ.
Бесплатно
Комбинированная геоинформационная многослойная пространственно-временная модель
Статья
Современные технологии организационного управления предусматривают сбор и обработку большого объема данных для расчета параметров функционирования исследуемых объектов и процессов. Поскольку основная особенность собираемых параметров состоит в их привязке к территориям, с одной стороны, и отнесении к периодам времени, с другой стороны, требуется применение геоинформационных систем и технологий. Несмотря на развитие современных геоинформационных технологий, вопросы их практического применения для поддержки принятия решений с учетом комбинированного влияния пространственного и временного факторов, в полной мере не решены. В статье предложена комбинированная геоинформационная многослойная пространственно-временная модель, которая представляет собой граф, вершинами которого являются значения параметров, упорядоченные по слоям с размещением временных меток в слой времени, а дугами – отношения между ними, разделенные на три типа: топологические, семантические и хронологические. Сопряжение и упорядочивание параметров, согласно предложенной модели, позволяет корректно поставить и решить задачу оптимизации, а, следовательно, устранить проблему практического использования накапливаемой аналитики в процессах поддержки принятия управленческих решений. Предложенная модель использована в цифровой платформе интегрального мониторинга для цифровой трансформации процессов сбора, анализа и визуализации данных коммунальных ресурсов. Рассмотрена общая задача управления, а также приведен конкретный пример для одной из актуальных задач регионального управления – социальной газификации, в котором производится оптимизация процесса обработки заявок по подключению жилых домов к системе газоснабжения в границах выбранного региона. Комбинированная геоинформационная многослойная пространственно-временная модель позволяет формулировать универсальные постановки задач поддержки принятия решений для различных приложений геоинформатики в логистике, при управлении транспортными ресурсами, а также в ситуационных центрах управления предприятиями и регионами, в системах бизнес-аналитики и управления организационными системами.
Бесплатно
