Чат-боты на основе искусственного интеллекта в онкоурологии: оценка достоверности и качества медицинской информации
Автор: Арутюнян П.А., Васильев А.О., Говоров А.В., Ким Ю.А., Медведев Ф.А., Ходырева Л.А., Пушкарь Д.Ю.
Журнал: Экспериментальная и клиническая урология @ecuro
Рубрика: Онкоурология
Статья в выпуске: 2 т.18, 2025 года.
Бесплатный доступ
В век цифровизации трудно переоценить возможности и пользу цифровых технологий и социальных сетей для современного человека. Обмен разного рода информацией с помощью интернета между людьми имеет ряд преимуществ. Есть возможность распространять ценную информацию, повышать осведомленность общественности по любым важным вопросам и аспектам. Тем не менее, информационный и технологический прогресс такого масштаба допускает свободное распространение слухов, дезинформации, спекуляций, диффамации. C повсеместным распространением интернета и цифровых технологий по всему миру потребителями цифровой информации, в том числе медицинской, из различных сетевых неавторитетных источников, все чаще становятся пациенты. Ряд авторов из Нью-Йорка в своем исследовании выявили крайне низкое качество медицинской информации и распространенную дезинформацию в интернет-источниках и различных социальных сетях. В то же время информация о злокачественных заболеваниях предстательной железы, мочевого пузыря освещена во многих популярных социальных сетях и Интернетресурсах [1-3]. Активное развитие технологий и алгоритмов искусственного интеллекта (ИИ) стало результатом формирования нового источника альтернативной информации – чат-ботов на основе ИИ. История создания и развития первых виртуальных ассистентов человека связана с введением в практику теста Алана Тьюринга. Разработанный в 1950 г. тест позволял определить способность машины мыслить. В 1961 г. компания IBM представила первый голосовой (виртуальный) ассистент человека Shoebox. Виртуальный ассистент — это программный агент, который может выполнять задачи для пользователя на основе предоставленной ему информации [4]. Постепенное развитие технологий в этой области сформировало предпосылки для учреждения в 1990 г. премии Лебнера (Loebner prize). Премия присуждается победителям ежегодного конкурса «AI Loebner», в котором алгоритмы и программы на основе ИИ соревнуются в максимально результативном прохождении теста Тьюринга. Термин чат-бот появился в 1994 г., но только за последние 5-10 лет технологический прогресс сформировал чат-боты, как востребованный инструмент поиска информации [4, 5]. Около 1,5 миллиарда человек во всем мире используют чат-боты, причем наибольшая доля приходится на США, Индию, Германию, Великобританию и Бразилию. Так, у одного из самых популярных чат-ботов на основе ИИ – ChatGPT от компании OpenAI – количество пользователей на конец августа 2023 г. составляет 180,5 миллионов человек. Еще один цифровой инструмент для поиска информации на основе ИИ – Perplexity. Его разработчики не разглашают полную статистику ресурса, однако известно, что 2 миллиона пользователей в месяц активно используют Perplexity в качестве источника информации. Среди основных источников для поиска информации с помощью чат-ботов на основе ИИ также представлены и отечественные разработки: YandexGPT (YaGPT) и GigaChat (Сбербанк). YaGPT интегрирован в виртуальный ассистент Алису, на конец 2023 г. количество пользователей составило более 45 млн. русскоязычных пользователей по всему миру, и с каждым годом это число увеличивается. GigaChat, чат-бот на основе ИИ от компании Сбербанк, был представлен в августе 2023, на сегодняшний день сервис находится в свободном доступе и позиционирует себя как аналог ChatGPT [6]. Современные чат-боты на основе ИИ имеют большой потенциал для предоставления достоверной и исчерпывающей информации на медицинские запросы. Однако качество и точность этой информации, связанной со злокачественными урологическими новообразованиями, полученной при помощи зарубежных и отечественных чат-ботов на основе ИИ, не оценивалась с помощью валидированных инструментов. Кроме того, для оценки качества медицинской информации необходимо выявить статистически значимые поисковые запросы на территории РФ, связанные с наиболее распространенными новообразованиями в урологии: рак предстательной железы (РПЖ), рак мочевого пузыря (РМП). В научной литературе нет данных о качестве и практичности онкоурологической информации, предоставляемой зарубежными и отечественными чат-ботами с ИИ. На протяжении многих лет основная цель работы коллектива Московского урологического центра на базе ММНКЦ им. С.П. Боткина ДЗМ и кафедры урологии ФГБОУ ВО «Российский университет медицины» Минздрава России была направлена на улучшение результатов диагностики и лечения пациентов с РПЖ и РМП. С этой целью нами проведены собственные клинико-диагностические, эпидемиологические, аутопсийные, экспериментальные и сравнительные исследования, подчеркивающие актуальность заявленной тематики в рамках изучения генерируемой информации чат-ботами на основе ИИ, а также в рамках вопроса осведомленности и информированности населения страны.
Искусственный интеллект, чат-боты, онкоурология, медицинская информация, рак предстательной железы, рак мочевого пузыря, качество данных, достоверность
Короткий адрес: https://sciup.org/142245357
IDR: 142245357 | DOI: 10.29188/2222-8543-2025-18-2-30-36
Chatbots based on artificial intelligence in oncourology: assessment of the reliability and quality of medical information
Introduction. In the era of digital progress and the development of artificial intelligence (AI) technologies, the potential application of chatbots in various fields, including medicine, has gained significant attention. With the global accessibility of the internet and the growing popularity of such services, there is an increasing need to evaluate the reliability and quality of the data generated, particularly concerning malignant neoplasms. The aim of this study was to analyze the quality of medical information related to prostate and bladder cancer using AI-based chatbots. Materials and methods. A study was conducted involving the examination and analysis of web traffic data from StatCounter. Based on the results of the web analysis to determine the leading search engine in overall web traffic in Russia, we used data from the Yandex Wordstat analytics service. We also conducted an assessment of responses from four AI-based chatbots to the most in-demand medical queries related to the two urological cancers with the highest incidence rates-prostate cancer and bladder cancer. We used publicly available versions of the four AI-based chatbots: ChatGPT, Perplexity, YaGPT, and GigaChat. To evaluate the quality of the medical information provided by the chatbots, we applied the validated DIS- CERN assessment tool. In addition, qualitative analysis and expert evaluation using DISCERN were carried out with the participation of 50 respondents-oncourologists with at least 10 years of professional experience in Russia. Results. We obtained and analyzed the evaluation results using the DISCERN scale. The highest overall score for medical information quality was achieved by the Perplexity chatbot, followed by ChatGPT in second place, and GigaChat in third. YaGPT ranked fourth and last. It is worth noting that all chatbots, to varying degrees, made errors and inaccuracies in generating medical information in response to the relevant queries. Conclusion. Today, AI-based chatbots represent a promising and in-demand direction. With the advancement of technology and the widespread adoption of software solutions, more people are turning to such services in search of authoritative medical information. However, at this stage, not all chatbots are capable of providing accurate medical content. Further development of AI architecture and internal algorithms is required, as well as the creation of standards and recommendations for integrating chatbots into medical information systems. This will help shape the direction of AI solutions for the coming decades and support both physicians and patients in diagnostics and decision-making.
