Метод сопоставления записей о ДТП из официальных источников и новостных публикаций на основе пространственно-временной кластеризации

Принятие эффективных решений для снижения уровня аварийности на автомобильном транспорте основывается на результатах анализа мест концентрации ДТП. Полнота и точность данных о ДТП, используемых для анализа, могут быть повышены за счет интеграции нескольких источников. Важным этапом интеграции является сопоставление записей из различных источников, описывающих одни и те же события ДТП. Решение задачи сопоставления осложняется проблемой гетерогенности: записи о ДТП могут отличаться по cтруктурированности и формату представления. В исследовании предложен метод решения задачи сопоставления записей о ДТП из двух гетерогенных источников: официальных ресурсов со структурированными карточками учета ДТП и новостных публикаций в виде неструктурированных текстов на естественном языке. Предложенный метод основан на гипотезе о пространственной и временной близости: записи из различных источников считаются соответствующими одному ДТП, если описанные в них события произошли на небольшом расстоянии и с незначительной временной разницей. Метод включает два последовательных этапа. На первом этапе из новостных публикаций извлекаются координаты и дата/время описываемого события с использованием экспертных правил, географического справочника и большой языковой модели LLaMA. На втором этапе выполняется сопоставление записей из официальных ресурсов и новостных публикаций на основе пространственно-временной кластеризации с применением алгоритма ST-DBSCAN. Метод позволяет дополнять описание контекста официально зарегистрированных ДТП и обогащать доступные для анализа данные за счет включения ДТП, сведения о которых отсутствуют в официальных источниках. Экспериментальная оценка метода проведена на реальных данных о ДТП в Санкт-Петербурге. Результаты показали, что комбинирование классических методов с большой языковой моделью повышает точность извлечения пространственно-временных атрибутов ДТП из новостных публикаций, а применение пространственно-временной кластеризации обеспечивает высокую точность сопоставления записей о ДТП (F1-мера = 0.84).