Aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH: Una revisión sistemática

Автор: Ricardo Sánchez Medina, Consuelo Rubí Rosales Piña, Analía Verónica Losada

Журнал: Revista Científica Arbitrada de la Fundación MenteClara @fundacionmenteclara

Рубрика: Artículos

Статья в выпуске: 1, Vol. 6, 2021 года.

Бесплатный доступ

El objetivo del presente trabajo fue analizar las publicaciones entre 2018 y 2020 sobre la aceptabilidad y viabilidad de intervenciones mediadas por tecnología orientadas en la prevención del VIH, dado que es la antesala de la evaluación de su efectividad, de tal manera que estos indicadores permitirán obtener mejores resultados en esta última fase y por lo cual es fundamental hacer esta valoración. A través de una revisión sistemática con el método PRISMA, se encontró un total de 17 artículos en tres bases de datos especializadas (EBSCO, Web of Science y Scopus). Se observa que la mayoría de las intervenciones son mediadas por internet para reducir conductas sexuales de riesgo, siendo dos estrategias las más utilizadas, entrevistas abiertas e instrumentos en formato tipo Likert, además en todos los resultados de las investigaciones se encuentra que es factible y pertinente el uso de medios tecnológicos en las intervenciones para prevenir el VIH y se obtienen los resultados esperados; se discute la importancia de tomar en cuenta ambos indicadores para la evaluación de la aceptabilidad y viabilidad de las intervenciones, así como de la importancia de llevar a cabo esta valoración antes de llevar a cabo la intervención a gran escala.

Еще

Intervención basada en internet, prevención del VIH, aceptabilidad, viabilidad

Короткий адрес: https://sciup.org/170178973

IDR: 170178973   |   DOI: 10.32351/rca.v6.231

Фрагмент статьи Aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH: Una revisión sistemática

Introducción

De acuerdo con el Programa Conjunto de las Naciones Unidas sobre el VIH/SIDA (ONUSIDA, 2021) a nivel mundial se tienen contabilizadas alrededor de 37.6 millones de personas que viven con VIH y tan solo en 2020 cerca de 1.5 millones contrajeron la infección por VIH y 690 mil personas fallecieron por enfermedades relacionadas con el SIDA, mostrando evidencia de la importancia que tiene continuar con programas orientados a reducir nuevas infecciones o reinfecciones por VIH.

Con base en lo anterior, se han diseño diversos programas de intervención orientados a diversos grupos que por el contexto en el que se encuentran son más susceptibles de infección por VIH, en los cuales se resalta la importancia del uso del condón en relaciones sexuales (Anstee et al., 2019) (Evans et al., 2020). Además en los últimos años, ha cobrado una gran relevancia las intervenciones a través del uso de la tecnología que busca tener una mayor cobertura y atender a población de difícil acceso (Mustanski et al., 2018) (Suryavanshi et al., 2020).

Si bien existe evidencia de la efectividad de intervenciones para promover la salud sexual a través de la tecnología, tal y como lo muestra la revisión sistemática de Knight et al. (2017); es importante resaltar que esta avanza rápidamente, por lo cual es necesario que estas intervenciones se adapten a ello, así como a las necesidades y características de los usuarios, y que las intervenciones logren un cambio en el comportamiento sexual de las personas para reducir la infección por VIH; lo anterior implica un arduo trabajo que propicia la publicación de resultados de manera paulatina; por ejemplo, desde la publicación del protocolo de intervención (Fan et al., 2020), la evaluación de aceptabilidad de la intervención (Bauermeister et al., 2019), o propiamente la efectividad de la intervención (Hightow-Weidman, 2019).

Lo anterior responde a lo que Fernández-Sánchez et al. (2020) señalan respecto a que toda intervención pasa por varias fases, desde el diseño de la intervención -fase 1-, la realización de un estudio piloto -fase 2- y la evaluación de su efectividad –fase 3-, es precisamente sobre la fase 2 en la que se centra el presente trabajo, debido a que una fase muy importante y que en muchas ocasiones no se le da la importancia y relevancia que merece, ya que es precisamente en esta fase en la que se tiene la oportunidad de aplicar la intervención a menor escala con el objetivo de valorar y mejorar la intervención, en términos de la aceptabilidad -ej. satisfacción de la intervención-, viabilidad -ej. es posible llevarla a cabo-, utilidad -ej. los usuarios consideran que lo aprendido lo pueden usar en su vida cotidiana- y usabilidad -ej. es fácil de usar el medio tecnológico propuesto en la intervención-.

En esta línea, se ha observado la importancia que tiene conocer estos elementos y de cómo esta información coadyuva en su mejora para una aplicación a mayor escala (Refugio et al., 2019) (Sullivan et al., 2017); sin embargo, se ha detectado que la forma en cómo se hace es diferente, desde quienes utilizar instrumentos en escala Likert (Gannon et al., 2020), hasta quienes hacen entrevistas abiertas (Dietrich et al., 2020), lo anterior es un indicador de cómo la información que se obtiene es diversa y posiblemente diferente, por lo que es necesario identificar qué y cómo se ha hecho para evaluar las intervenciones mediadas por tecnología para reducir la infección por VIH que permita tener un panorama general que coadyuve en la toma de decisiones respecto a qué medios tecnológicos se están utilizando en los últimos años, cuáles son sus objetivos y cómo se está evaluando la aceptabilidad y viabilidad de las intervenciones.

Con base en lo anterior, el objetivo de la presente investigación es analizar las publicaciones realizadas entre 2018 y 2020, a través de una revisión sistemática, sobre la evaluación de la aceptabilidad y viabilidad de intervenciones mediadas por tecnología orientadas en la prevención del VIH.

Еще

Текст научной статьи Aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH: Una revisión sistemática

Vol. 6 (2021), enero-diciembre ISSN 2469-0783

Introducción

De acuerdo con el Programa Conjunto de las Naciones Unidas sobre el VIH/SIDA (ONUSIDA, 2021) a nivel mundial se tienen contabilizadas alrededor de 37.6 millones de personas que viven con VIH y tan solo en 2020 cerca de 1.5 millones contrajeron la infección por VIH y 690 mil personas fallecieron por enfermedades relacionadas con el SIDA, mostrando evidencia de la importancia que tiene continuar con programas orientados a reducir nuevas infecciones o reinfecciones por VIH.

Con base en lo anterior, se han diseño diversos programas de intervención orientados a diversos grupos que por el contexto en el que se encuentran son más susceptibles de infección por VIH, en los cuales se resalta la importancia del uso del condón en relaciones sexuales (Anstee et al., 2019) (Evans et al., 2020). Además en los últimos años, ha cobrado una gran relevancia las intervenciones a través del uso de la tecnología que busca tener una mayor cobertura y atender a población de difícil acceso (Mustanski et al., 2018) (Suryavanshi et al., 2020).

Si bien existe evidencia de la efectividad de intervenciones para promover la salud sexual a través de la tecnología, tal y como lo muestra la revisión sistemática de Knight et al. (2017); es importante resaltar que esta avanza rápidamente, por lo cual es necesario que estas intervenciones se adapten a ello, así como a las necesidades y características de los usuarios, y que las intervenciones logren un cambio en el comportamiento sexual de las personas para reducir la infección por VIH; lo anterior implica un arduo trabajo que propicia la publicación de resultados de manera paulatina; por ejemplo, desde la publicación del protocolo de intervención (Fan et al., 2020), la evaluación de aceptabilidad de la intervención (Bauermeister et al., 2019), o propiamente la efectividad de la intervención (Hightow-Weidman, 2019).

Lo anterior responde a lo que Fernández-Sánchez et al. (2020) señalan respecto a que toda intervención pasa por varias fases, desde el diseño de la intervención -fase 1-, la realización de un estudio piloto -fase 2- y la evaluación de su efectividad –fase 3-, es precisamente sobre la fase 2 en la que se centra el presente trabajo, debido a que una fase muy importante y que en muchas ocasiones no se le da la importancia y relevancia que merece, ya que es precisamente en esta fase en la que se tiene la oportunidad de aplicar la intervención a menor escala con el objetivo de valorar y mejorar la intervención, en términos de la aceptabilidad -ej. satisfacción de la intervención-, viabilidad -ej. es posible llevarla a cabo-, utilidad -ej. los usuarios consideran que lo aprendido lo pueden usar en su vida cotidiana- y usabilidad -ej. es fácil de usar el medio tecnológico propuesto en la intervención-.

En esta línea, se ha observado la importancia que tiene conocer estos elementos y de cómo esta información coadyuva en su mejora para una aplicación a mayor escala (Refugio et al., 2019) (Sullivan et al., 2017); sin embargo, se ha detectado que la forma en cómo se hace es diferente, desde quienes utilizar instrumentos en escala Likert (Gannon et al., 2020), hasta quienes hacen entrevistas abiertas (Dietrich et al., 2020), lo anterior es un indicador de cómo la información que se obtiene es diversa y posiblemente diferente, por lo que es necesario identificar qué y cómo se ha hecho para evaluar las intervenciones mediadas por tecnología para reducir la infección por VIH que permita tener un panorama general que coadyuve en la toma de decisiones respecto a qué medios tecnológicos se están utilizando en los últimos años, cuáles son sus objetivos y cómo se está evaluando la aceptabilidad y viabilidad de las intervenciones.

Con base en lo anterior, el objetivo de la presente investigación es analizar las publicaciones realizadas entre 2018 y 2020, a través de una revisión sistemática, sobre la evaluación de la aceptabilidad y viabilidad de intervenciones mediadas por tecnología orientadas en la prevención del VIH.

Materiales y métodos

Revisión de la literatura

Se realizó una búsqueda de artículos científicos en tres bases de datos Ebsco , Web of Science y Scopus , que se caracterizan por incluir revistas que cumplen con un proceso riguroso de arbitraje y con una gran diversidad de revistas especializadas de todo el mundo, permitiendo tener un panorama global del trabajo académico. Los términos de búsqueda fueron en inglés y se utilizaron los operadores booleanos AND y OR , en cada base de datos se emplearon tres palabras clave y su combinación, intervention , HIV , technology , internet ; los términos de búsqueda fueron consultados en las categorías Title , Abstract y Keywords .

Criterios de inclusión y exclusión

Los criterios de inclusión de artículos fueron publicaciones comprendidas en el periodo de 2018 a 2020. Artículos de revista, con acceso a texto completo, y en la que se describiera alguna intervención mediada por tecnología orientada en la prevención del VIH que evaluará la aceptabilidad o viabilidad por parte de los participantes. Como criterios de exclusión, se consideró la falta de consenso de los autores sobre la calidad metodológica de los estudios.

Evaluación de la calidad metodológica

Se tomó en cuenta 12 de los 18 indicadores de la escala de calidad SQUIRE Guidelines 2.0 de Ogrinc et al., (2015) que corresponden al título, resumen, descripción del problema, objetivos, intervención, medidas, análisis, consideraciones éticas, resultados, interpretación, limitaciones y conclusiones. Un punto importante por resaltar es que, si bien se espera que dentro de la calidad metodológica en intervenciones es la presencia de al menos un grupo control, en la presente investigación solo bastó con que se incluyera el grupo experimental dado que en la evaluación de viabilidad y aceptabilidad generalmente son estudios piloto. Por otro lado, también fue de suma importancia que explicitarán los aspectos éticos, de tal forma que se garantice la seguridad e integridad de las personas en cada una de las intervenciones incluidas en la revisión.

Procedimiento

La revisión sistemática se basó en la declaración PRISMA-NMA (Hutton et al., 2016). A principios de 2021 se realizó una búsqueda de información en bases de datos especializadas, la primera se realizó en Ebsco, después Web of Science y por último, Scopus. Los primeros resultados arrojaron un total de 434 artículos publicados entre 2018 y 2020, en el cribado de registros se obtuvieron un total de 100 artículos que eran artículos de revista, con acceso al texto completo y que en el título, resumen o palabras clave estuvieran presentes los términos de búsqueda. Posteriormente, se realizó un análisis considerando los criterios de inclusión y exclusión, centrando el análisis sobre la implementación de una intervención mediada por tecnología en la prevención de VIH y en la que se señalara la evaluación de la aceptabilidad o viabilidad, quedando un total de 79 artículos. Todos estos artículos fueron gestionados en el programa EndNote X9, y posteriormente con base en la escala de calidad QUIRE Guidelines 2.0 (Ogrinc et al., 2015), los autores revisaron de manera individual los artículos para determinar la calidad de los artículos. Con base en lo anterior, se compararon los resultados de inclusión o exclusión, si había consenso se introducía o descartaba de la revisión sistemática; pero si la evaluación difería, entonces se discutía el artículo para delimitar su inclusión o exclusión, finalmente se eligieron 17 artículos -ver figura 1-.

Figura 1

Diagrama de flujo para la selección de artículos sobre la aceptabilidad o viabilidad de intervenciones mediadas por tecnología en la prevención del VIH.

Resultados

En la Tabla 1 se presentan los principales resultados de 17 investigaciones publicadas durante 2018 a 2020 que evalúan la aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH.

Tabla 1

Estudios de evaluación sobre aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH de 2018 a 2020.

Estudio Muestra Intervención Evaluación de aceptabilidad y viabilidad Principales resultados 1 Arya et al. (2019) 53  médicos de diferentes clínicas. Edad promedio: 33 años. Video para promover pruebas de detección del VIH Entrevista para evaluar la aceptabilidad del video y su influencia en la detección del VIH. 90% de los médicos reportó que el video les gustó mucho y consideran que el video es viable y pertinente para usarse con los pacientes. 2 Bauermeist er et al. 2019 155 Jóvenes gais, bisexuales y hombres que tienen  sexo con hombres. Edad promedio: 21 años Intervención en línea basada en un marco de toma de decisiones cognitivo-emocional para          reducir conductas sexuales de riesgo.   El   grupo control, solo recibió información sobre los contenidos  de   la intervención en línea. Aceptabilidad: un reactivo en formato tipo likert para evaluar su satisfacción y recomendación de la intervención. Usabilidad: a través de System Quality subscale of the Information Systems Success Model con seis reactivos sobre la facilidad de uso de la intervención. Utilidad: a través de la Perceived Usefulness subscale of the Information Systems Success Model que consta de 7 reactivos en formato tipo likert sobre qué tanto les sirve en su conducta sexual. Los participantes del grupo experimental informaron mayor satisfacción y disposición para recomendar la intervención a amigos. Tendrían más probabilidades de continuar usando la intervención si estuviera disponible, percibieron mayor utilidad de la intervención y tenían más probabilidades de informar que la intervención facilitó llevar una vida más saludable que los del grupo control. 3 Bond   & Ramos (2019) 116 mujeres. Edad promedio: 34 años Fomentar la adopción de PEP y PrEP a través de un video de salud electrónica Explorar la viabilidad, aceptabilidad y preferencia de un video sobre el uso de PEP y PrEP para mujeres y recomendación del video. No indica número de reactivos, pero fue en formato tipo likert. El 89% de los participantes calificaron el video como bueno o excelente. Los motivos para recomendar el video incluían que era educativo, entretenido y adecuado para mujeres. 4 Bonett  et al. (2018) 86 hombres jóvenes que tienen sexo con hombres Página web con información y motivación para realizarse pruebas de detección de VIH. Número de clics en cada una de las secciones de la página Web y su compromiso a través del tiempo que los participantes Los participantes hicieron clic en un total de 10.28 funciones en cada sección de la intervención; el tiempo promedio dedicado fue de 322.67 segundos. El análisis de datos presentados ayuda a dedicaron a cada una de las secciones y el tiempo total dedicado a la intervención.

5

Brennan et

22

Experiencias      de

al. (2018)

proveedores

instituciones respecto

de

al alcance que tienen

organizacione

sobre la intervención

s de servicios

con  HSH  en  la

para el SIDA.

prevención del VIH, y

Edad

que hayan realizado

promedio: no

actividades       de

específica

divulgación y servicios en línea.

Entrevista por teléfono para explorar sus experiencias y perspectivas sobre los servicios de atención.

6

Cordova et

6   médicos

Aplicación móvil para

al. (2019)

(Promedio de

prevenir el consumo

experiencia

de drogas y reducir

clínica:    14

ITS/VIH para mejorar

años) y 20

la comunicación entre

jóvenes (Edad promedio: 19 años).

médicos y jóvenes.

7

Dietrich et

50   mujeres

Aplicación móvil para

al. (2020)

inscritas en la

un autorregistro sobre

Red      de

conductas sexuales de

ensayos  de

vacunas contra el VIH. Edad promedio: 24 años

riesgo

Client Satisfaction Questionnaire-8.

Ocho reactivos en formato tipo likert para evaluar la viabilidad, aceptabilidad y satisfacción de la intervención. Una entrevista con preguntas abiertas para profundizar en sus razones.

Preguntas abiertas sobre las barreras y facilitadores para completar la intervención.

comprender cómo los usuarios interactúan con la intervención, esto es relevante dado que la presentación de informes y análisis de datos es un área de investigación poco explorada. Se tienen indicadores diferentes para evaluar su utilidad.

Los hallazgos indican que aunque todavía hay cierta incertidumbre sobre cómo realizar actividades en línea, consideran que la divulgación en línea es una herramienta vital para la prevención del VIH y las ITS. Mencionan ventajas del alcance en línea y las ventajas del anonimato, acceso instantáneo a los servicios, y poblaciones de HSH. Las barreras estaban centradas en la calidad, presupuesto y problemas de capacidad del personal para mejores prácticas y parámetros de evaluación para la divulgación en línea.

Más del 85% considera que la aplicación es viable, y su satisfacción fue alta tanto en médicos, como pacientes, también se tuvo una alta viabilidad y aceptabilidad de la intervención entre los jóvenes y los médicos.

Gannon et al. (2020)

20 hombres que tienen sexo con hombres

Aplicación móvil para promover la salud sexual y la prevención del VIH entre adolescentes.

9

Kurth et al.

236 personas

Intervención a través

(2019)

con VIH. 118 asignados al grupo    de

intervención (Edad promedio: 37 años) y 118 al grupo experimental (Edad promedio: 38 años).

de tabletas con pantalla táctil para promover la prevención del VIH. El grupo control recibió solo una evaluación de riesgos de salud.

10

Lopez et al. (2020)

39   mujeres

jóvenes   de

Programa      para

reducir el riesgo de

Usabilidad: se utilizó la Health    Information

Technology Usability Evaluation       Scale

(Health-ITUES) y el Post-Study    System

Usability Questionnaire, Aceptabilidad: entrevistas personales sobre lo aprendido, sobre la percepción de la intervención, y recomendaciones de mejora.

Grupos focales para recopilar comentarios sobre la intervención, aceptabilidad desafíos y facilitadores para su uso.

Usabilidad          y

aceptabilidad:      Se

Se identificaron cinco temas principales (1) facilitadores como el uso del móvil (2) barreras relacionadas con el tiempo y la pareja, (3) poder de los incentivos, (4) sesgo de respuesta al proporcionar información sensible, y (5) recomendaciones para mejorar la intervención.

Los participantes informaron que la aplicación estaba libre de problemas funcionales, que es fácil de usar y útil, con un enfoque atractivo que aumentó la aceptabilidad. Las áreas de oportunidad están en términos de incluir contenido educativo más avanzado, escenarios para jóvenes con más experiencia sexual y función de búsqueda para aumentar la accesibilidad de contenidos clave.

La mayoría de los participantes informaron una experiencia positiva con el programa, más del 93% informó que era fácil o muy fácil de usar, mencionaron que la información era adecuada y que tuvieron la suficiente privacidad durante las sesiones, y su mayoría mencionó la preferencia por el asesoramiento por computadora en lugar de hacerlo cara a cara.

Se encontró una buena aceptación y usabilidad; indicaron que el

zonas VIH a través de una rurales. Edad sala virtual (formato promedio: 21 de videoconferencias). años

11

Madkins et al. (2019)

445 hombres que tienen sexo con hombres.

Intervención en línea para prevenir el VIH para HSH.

Edad

promedio: 24

años

12

Noar et al.

274 hombres

Intervención adaptada

(2020)

y mujeres heterosexuale s. Edad promedio: 23 años.

por computadora para promover el uso del condón en relaciones sexuales.

Patel et al. (2020)

Sabben et al. (2019)

15 Shrestha et al. (2020)

244 hombres

Intervención basada

que   tienen

en   Internet  para

sexo    con

promover la prueba

hombres   y

de detección de VIH y

VIH

uso de condón en

negativos.

122 a grupo control y 122 a grupo experimental. Edad: la

relaciones sexuales.

mayoría en un rango de 18 a 29 años. 60 pre

Juego interactivo para

adolescentes.

teléfonos inteligentes

30 asignados

diseñado       para

al      grupo

aumentar el uso del

control y 30 al

condón en relaciones

grupo experimental. Edad promedio: 12 años.

sexuales.

40

Intervención a través

dependientes

de mensajería de texto

de   opioides

para la prevención del

que    usan

PrEP

VIH y uso del PrEP.

(profilaxis previa a la

evaluó a partir de tres reactivos en formato tipo likert sobre la recomendación    del programa a amigos, contenido apropiado y atractivo, y si el formato de la videoconferencia era fácil de usar.

Aceptabilidad       y tolerabilidad a partir de la adapted version of the       Abbreviated

Acceptability Rating Profile que consta de 15 preguntas abiertas y 15 en formato tipo likert, a través     de     una clasificación        de estrellas para evaluar el contenido interactivo y video de cada módulo de intervención, así como    el    tiempo dedicado    ala intervención.

Aceptabilidadde la intervención.8

reactivos para evaluar si les gustó la intervención,si mantuvo su atención, cuánta    información leyeron o escucharon, si se ajusta a sus necesidades,si sintieron que fue diseñado para ellos, qué tan fácil o difícil encontraron        el programa,si regresarían para otra sesión,      ysi recomendaríael programa a un amigo. Viabilidad (datos de inscripción, retención y tasa de finalización. Aceptabilidad, en un formato tipo likert debían indicar  qué tanto    les    gusto participar en    la intervención. Además de grupos focales para identificar lo que más le gustó, lo que no le gustó y sugerencias para mejorar la intervención. Viabilidad. A través de una seria de preguntas sobre el proceso de reclutamiento, inscripción, deserción, seguridad de los participantes        y devolución de teléfonos y experiencia del juego.

Viabilidad: A través de indicadores de proceso (número de personas examinadas, inscritas y retenidas durante todo el período de estudio). Aceptabilidad: 10 ítems

contenido era atractivo y fácil de usar y que recomendarían el programa a sus amigos. Las participantes indicaron que pudieron entablar relaciones con otras participantes a través de la plataforma y pudieron aprender habilidades útiles.

Los participantes calificaron muy bien el contenido, es decir que era útil y atractivo, pasaron aproxima-damente 65 minutos en la intervención. El formato de presentación les gustó, pero el tiempo dedicado a la intervención lo consideran largo. Una de las áreas de oportunidad se relaciona con la batería de preguntas que lo consideraron bastante largo.

Los indicadores más altos de aceptabilidad se obtuvieron en volver para otra sesión, recomendación a un amigo, leer o escuchar la información, y encontrar el programa fácil de utilizar. El indicador con la calificación más baja fue que no consideraban que la información fuese diseñada específicamente para ellos. Las mujeres tenían más probabilidades que los hombres de encontrar aceptable la intervención.

Al 82.3% les gustó o les gustó mucho participar en la intervención. Fue aceptable para los participantes, consideran que la intervención fue útil y proporcionó información de apoyo. Con respecto a las áreas de oportunidad informaron que la encuesta era demasiado larga o redundante, también tenían la sensación de que los mensajes no eran tan frecuentes.

Los resultados indican que es factible y seguro probar una intervención de prevención del VIH basada en teléfonos inteligentes para jóvenes adolescentes. Los participantes indicaron que es viable la intervención.

La viabilidad del servicio de mensajes de texto fue alta, según la evaluación de la disposición de los participantes para recibir mensajes de texto, retención y entrega exitosa de mensajes de texto. También mostraron que

exposición) y de    una    versión estaban satisfechos y percibieron Suryavans que son VIH negativo. Edad promedio: 44 años 30  mujeres. Intervención basada adaptada de Profile.32 en formato tipo likert. Adicionalmente     se realizaron entrevistas semiestructuradas para          obtener comentarios adicionales  sobre  la intervención (facilidad de       comprensión, problemas, experiencia general, satisfacción y probabilidad de seguir usando            la intervención). Viabilidad          y el uso de los mensajes de texto como valiosos y aceptables. Mujeres embarazadas: Informaron hi et   al. 15   mujeres en tecnología (móvil) aceptabilidad  de  la que los videos de prevención eran (2020) embarazadas para ayudar a los intervención.       Se esenciales  para   proporcionar Tanner et o   lactantes infectadas por el VIH Edad promedio: 23 años. Trabajadoras de extensión: Edad promedio: 39 años. 18 hombres prestadores de servicios de prevención de VIH de la transmisión materno infantil Intervención que realizaron entrevistas en profundidad. Mujeres embarazadas: Percepciones sobre la eficacia y utilidad de la intervención. Prestadoras de servicio: Experiencia         y percepciones  de  la intervención. Entrevistas sobre las información fácil de entender, mencionaron que la intervención aumentó su confianza, motivación. Trabajadoras de extensión: Les brindó herramientas para brindar un apoyo eficaz a sus clientes y mejoró su estilo de trabajo. De manera general la intervención resultó factible, benéfica y bien aceptada. Las recomendaciones de los al. (2020) que tienen utiliza plataformas de experiencias con  la entrevistados se centran en la sexo con hombres y mujeres transgénero con VIH. Edad promedio: 25 años redes sociales diseñadas para la prevención del VIH. intervención, beneficios de la participación, y recomendaciones de mejora. logística, el contenido y las formas en que la intervención podría adaptarse para llegar a una audiencia más amplia. Se resalta el valor de utilizar plataformas de redes sociales sobre otros métodos de comunicación tradicional, resaltan la importancia de que los mensajes puedan ser bidireccionales y no automatizados, ampliar la intervención e incorporar componentes interactivos.

Nota de la Tabla: Se detallan los diez artículos seleccionados.

Groso modo se observa en los estudios reportados que la mayor parte de las intervenciones tienen un grupo para evaluar la aceptabilidad y viabilidad de la intervención (82%), únicamente tres investigaciones lo hacen considerando grupo experimental y grupo control (Bauermeister et al., 2019) (Kurth et al., 2019) (Sabben et al., 2019).

En la tabla 2 se presenta el objetivo que tuvo cada intervención, así como la población que se atendió, siendo el principal objetivo reducir conductas sexuales de riesgo, como el uso del condón, únicamente la investigación de Patel et al. (2020) además de lo anterior, también consideró dentro de sus metas el que las personas se realizaran pruebas de detección de VIH; también en esta misma tabla se observa que la mayor parte de la población en la que se trabaja es hombres que tienen relaciones sexuales con hombres (HSH).

Tabla 2

Estudios de evaluación sobre aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH de 2018 a 2020.

Estudios

n

%

Objetivo

Reducir conductas sexuales de

Bauermeister et al. (2019); Brennan et al. (2018); Cordova et al.

12

67%

riesgo

(2019); Dietrich et a. (2020); Gannon et al. (2020); Kurth et al. (2019); Lopez et al. (2020); Madkins et al. (2019); Noar et al. (2020); *Patel et al. (2020); Sabben et al. (2019); Tanner et al. (2020).

Pruebas de detección de VIH

Arya et al. (2019); Bonett et al. (2018); *Patel et al. (2020).

3

17%

Uso de PEP y PrEP

Bond & Ramos (2019); Shrestha et al. (2020).

2

11%

Reducir infección materno infantil

Suryavanshi et al. (2020).

1

6%

18

100%

Población

HSH

Bonett et al. (2018); Gannon et al. (2020); Madkins et al. (2019); Patel et al. (2020); Tanner et al. (2020).

5

29

Mujeres

Bond & Ramos (2019); Dietrich et al. (2020); Lopez et al. (2020);

Suryavanshi et al. (2020).

4

24

Profesionales de la salud

Arya et al. (2019); Brennan et al. (2018); Cordova et al. (2019).

3

18

Población en general

Noar et al. (2020); Sabben et al. (2019).

2

12

Comunidad LGBT

Bauermeister et al. (2019).

1

6

Población con VIH

Kurth et al. (2019).

1

6

Usuarios de PrEP

Shrestha et al. (2020).

1

6

17

100

Nota: *Estudio que tuvo dos objetivos.

Se explicitan los estudios de evaluación específicos de la aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH.

En la tabla 3 se hace clasificación de los artículos en función de la estrategia de recolección de la información para evaluar la aceptabilidad y la viabilidad de la intervención mediada por tecnología, en relación con el medio tecnológico utilizado en la intervención; por un lado, se observa que la intervención en línea y las aplicaciones móviles son las más utilizadas en los últimos años, en las cuales se comparte como característica principal el uso de internet; por otro lado, se observa que la forma más común para evaluar la viabilidad y la aceptabilidad de las intervenciones es mediante entrevistas individuales e instrumentos en formato tipo Likert, aunque cabe señalar que para las intervenciones en línea se utilizan en mayor medida escalas, y para las aplicaciones móviles, entrevistas individuales.

También es notorio que cuatro investigaciones hacen una combinación de estrategias de recolección de la información, tanto cuantitativas, como cualitativas para recolectar la información, siendo esto más común en las intervenciones con aplicación móvil. Si bien las estrategias de grupo focales y el número de clics que dan a un video o página Web se utilizan en menor medida, son posibilidades que tienen los investigadores para poder evaluar la aceptabilidad y viabilidad de la intervención.

Tabla 3

Comparación de la estrategia de recolección de la información para evaluar aceptabilidad y viabilidad con el medio tecnológico utilizado en la intervención para la prevención del VIH de 2018 a 2020.

Entrevistas individuales

Escala likert

Grupos focales

Número de clics

Porcentaje Medio    de

intervención

Intervención

Brennan et al.

Bauermeister et al.

Kurth et al. (2019);

7(41%)

en línea

(2018).

(2019); Lopez et al. (2020); Madkins et al. (2019); Noar et al. (2020); *Patel et al. (2020).

*Patel et al. (2020).

Aplicación

*Cordova et al.

*Cordova et al.

6(35%)

móvil

(2019); Dietrich et

(2019); *Gannon et

al. (2020); *Gannon

al. (2020);

et al. (2020);

*Shrestha et al.

Sabben et al.

(2020).

(2019); *Shrestha et al. (2020);

Suryavanshi et al.

(2020).

Video

Arya et al. (2019).

Bond  &  Ramos

(2019).

2(12%)

Página Web

Bonett et al. (2018).

1(6%)

Redes sociales

Tanner et al. (2020).

1(6%)

Porcentaje

Forma de evaluación

9(43%)

8(37%)

2(10%)

2(10%)

100%

Nota: *Estudios con dos formas de evaluación de aceptabilidad y viabilidad de la intervención.

Discusión

El objetivo de la presente revisión sistemática fue analizar publicaciones centradas en la evaluación de la aceptabilidad y viabilidad de intervenciones mediadas por tecnología orientadas en la prevención del VIH, para ello se buscó en tres bases de datos especializadas las publicaciones entre el 2018 y el 2020. Para este análisis se tomó en cuenta la búsqueda de artículos especializadas en tres bases de datos, con base en el cribaje realizado se obtuvo un total de 17 artículos, los cuales fueron revisados y analizados a detalle.

De manera general se observa que los estudios reportados, en su mayoría están centrados en la reducción de conductas sexuales de riesgo, esto probablemente se deba a que como se ha reportado en los últimos años, más del 90% de las infecciones por VIH es por vía sexual (ONUSIDA, 2021), de tal manera que es una de las metas que se tiene en diferentes organismos internacionales, en las que se busca que las personas sean consistentes en el uso del condón, que lo usen de manera correcta, que reduzcan el número de parejas sexuales, entre otras (Evans et al., 2020).

Dentro de estos mismos objetivos que tienen las intervenciones se encuentra el que las personas se realicen pruebas de detección de VIH, de tal manera que conozcan su estado serológico y más aún si han tenido conductas sexuales de riesgo, ya que como se ha observado no todas las personas tienen este hábito (Shrestha et al., 2020); también en los últimos años ha cobrado gran relevancia el uso de PrEP como una alternativa en la que las personas pueden tomar una pastilla cuando han tenido alguna conducta de riesgo sexual para prevenir la infección por VIH (Camlin et al., 2020).

Cabe señalar que, en la población de atención, se encontró que en tercer lugar se encuentra el trabajo con profesionales de la salud, lo cual es fundamental y necesario, dado que ellos son quienes brindan un servicio de atención de VIH, y se ha observado una relación entre esta atención y que las personas respondan adecuadamente a la intervención (Ebrahimi et al., 2020). De igual forma en menor medida, pero no menos importante se tiene como meta la atención de la población en general (Noar et al., 2020) (Sabben et al., 2019), la comunidad LGBT (Bauermeister et al., 2019), población con VIH (Kurth et al., 2019) y usuarios de PrEP (Shrestha et al.; 2020), lo cual muestra la necesidad de seguir desarrollando intervenciones en estos contextos, pero al mismo tiempo identificar en quién más se debe prestar atención y que también requieren de una intervención para promover la salud sexual y reducir los riesgos de infección por VIH.

Respecto al punto central del presente trabajo, fue identificar cuáles son las estrategias de recolección de la información para evaluar la aceptabilidad y la viabilidad de las intervenciones, pero al mismo tiempo hacer un cruce con el medio tecnológico empleado en la intervención, de tal manera de tener indicadores que permitan identificar cuáles serían las mejores opciones para hacer dicha evaluación.

Se encontró que son las entrevistas individuales a través de preguntas abiertas el medio que más se utiliza, seguida de instrumentos en formato tipo likert; si bien, en dichas investigaciones se resalta la facilidad que tiene por ejemplo el uso de escalas para valorar su pertinencia (Bauermeister et al., 2019) (Lopez et al., 2020), es cierto, que las preguntas abiertas no solo permiten conocer si perciben adecuada o no la intervención, sino que además dan información sobre las razones de dicha respuesta e inclusive cuáles podrían ser las áreas de oportunidad para mejorar las intervenciones (Dietrich et al., 2020) (Suryavanshi et al., 2020). Siendo una combinación de ambas estrategias quienes algunos autores consideran necesario para tener mejores indicadores (Cordova et al., 2019) (Gannon et al., 2020) (Patel et al. 2020) (Shrestha et al., 2020).

Respecto a las áreas de oportunidad, se encuentra que es necesario que la intervención tome en cuenta a quién va dirigida, de tal manera que los ejemplos sean contextuales (Noar et al., 2020), que la intervención sea más interactiva (Tanner et al., 2020), y sobre el tiempo, ya sea respecto a la duración de la intervención o la extensión de los instrumentos de evaluación que responden antes y después de la intervención (Madkins et al., 2019) (Patel et al., 2020).

Si bien solo se encontró dos estudios que utilizan los grupos focales para evaluar la aceptabilidad y viabilidad de la intervención, es pertinente su uso sobre todo cuando se tienen varios participantes, e inclusive de acuerdo con Fernández-Sánchez et al. (2020), la evaluación sobre el estudio piloto de las intervenciones debe ser tal cual se pretende llevar a cabo, en donde se privilegia los diseños controlados aleatorizados (Zurita-Cruz et al., 2018), y un ejemplo de que es posible hacerlo es la investigación de Kurth et al. (2019).

También, una nueva propuesta que se hace respecto a la evaluación de la aceptabilidad y viabilidad de la intervención es la realizada por Bond y Ramos (2019), y (Bonett et al., 2018), quienes proponer evaluar a través del número de clics que las personas hacen durante la intervención, en relación con el tiempo que están dentro de la intervención y el tiempo que les lleva terminarla; por lo cual se sugiere que en dicha evaluación se pueda hacer una combinación de entrevistas, cuestionarios y número de clics para comparar los resultados entre sí y poder tener un indicador de cuál podría ser más viable o si es necesario contar con todos ellos para su evaluación.

Conclusiones

La evaluación de las intervenciones mediadas por tecnologías, han cobrado gran auge en las últimas décadas, aunque cabe señalar que son más bien las intervenciones mediadas por internet las que están predominando en los últimos años, por lo cual es un aspecto importante para considerar cuando se establezca un protocolo de intervención para promover la salud sexual y reducir la infección por VIH.

Un punto importante en toda intervención y que es necesario evaluar es qué tan pertinente es llevar a cabo la intervención y qué tan relevante es para la vida de las personas dicha intervención, por lo cual se requiere de su valoración por parte de los usuarios de tal manera que se pueda mejorar la intervención para lograr realmente un impacto en la vida de las personas.

En el caso particular de la prevención del VIH, es fundamental dado que está en juego la salud de las personas, y las intervenciones mediadas por internet pueden ser una opción viable y pertinente para lograrlo.

Список литературы Aceptabilidad y viabilidad de intervenciones mediadas por tecnología en la prevención del VIH: Una revisión sistemática

  • Anstee, S., Shepherd, J., Graham, C. A., Stone, N., Brown, K., Newby, K., & Ingham, R. (2019). Evidence for behavioural interventions addressing condom use fit and feel issues to improve condom use: a systematic review. Sexual Health, 16(6), 539-547. https://doi.org/10.1071/SH19001
  • Arya, M., Marek, H. G., Marren, R. E., Hemmige, V., Street, R. L., & Giordano, T. P. (2019). Development and evaluation of a physician-targeted video to promote HIV screening. Health Promotion Practice, 20(6), 922-931. https://doi.org/10.1177/1524839918783742
  • Bauermeister, J. A., Tingler, R. C., Demers, M., Connochie, D., Gillard, G., Shaver, J., Chavanduka, T., & Harper, G. W. (2019). Acceptability and preliminary efficacy of an online HIV prevention intervention for single young men who have sex with men seeking partners online: The myDEx Project. Aids and Behavior, 23(11), 3064-3077. https://doi.org/10.1007/s10461-019-02426-7
  • Bond, K. T., & Ramos, S. R. (2019). Utilization of an animated electronic health video to increase knowledge of post- and pre-exposure prophylaxis for HIV among African American Women: Nationwide cross-sectional survey. JMIR Formative Research, 3(2), e9995. https://doi.org/10.2196/formative.9995
  • Bonett, S., Connochie, D., Golinkoff, J. M., Horvath, K. J., & Bauermeister, J. A. (2018). Paradata analysis of an ehealth HIV testing intervention for young men who have sex with men. Aids Education and Prevention, 30(5), 434-447. https://doi.org/10.1521/aeap.2018.30.5.434
  • Brennan, D. J., Souleymanov, R., Lachowsky, N., Betancourt, G., Pugh, D., & McEwen, O. (2018). Providing online-based sexual health outreach to gay, bisexual, and queer men in Ontario, Canada: Qualitative interviews with multisectoral frontline service providers and managers. Aids Patient Care and Stds, 32(7), 282-287. https://doi.org/10.1089/apc.2018.0027
  • Camlin, C. S., Koss, C. A., Getahun, M., Owino, L., Itiakorit, H., Akatukwasa, C., Maeri, I., Bakanoma, R., Onyango, A., Atwine, F., Ayieko, J., Kabami, J., Mwangwa, F., Atukunda, M., Owaraganise, A., Kwarisiima, D., Sang, N., Bukusi, E. A., Kamya, M. R., Petersen, M. L., Cohen, C. R., Charlebois, E. D., & Havlir, D. V. (2020). Understanding demand for PrEP and early experiences of PrEP use among young adults in rural Kenya and Uganda: A qualitative study. AIDS and Behavior, 24(7), 2149-2162. https://doi.org/10.1007/s10461-020-02780-x
  • Cordova, D., Mendoza, F., Muñoz-Velázquez, J., Street, K., Bauermeister, J. A., Fessler, K., Adelman, N., Youth Leadership Council, Neilands, T. B., & Boyer, C. B. (2019). A multilevel mHealth drug abuse and STI/HIV preventive intervention for clinic settings in the United States: A feasibility and acceptability study. PLoS ONE, 14(8), 1-24. https://doi.org/10.1371/journal.pone.0221508
  • Dietrich, J. J., Hornschuh, S., Khunwane, M., Makhale, L. M., Otwombe, K., Morgan, C., Huang, Y., Lemos, M., Lazarus, E., Kublin, J. G., Gray, G. E., Laher, F., & Andrasik, M. (2020). A mixed methods investigation of implementation barriers and facilitators to a daily mobile phone sexual risk assessment for young women in Soweto, South Africa. PLoS ONE, 15(4), Article e0231086. https://doi.org/10.1371/journal.pone.0231086
  • Ebrahimi, F., Sindarreh, S., & Nasirian, M. (2020). Attitudes and Practice of Health Care Workers about Human Immunodeficiency Virus in Isfahan, Iran. Iranian Journal of Nursing & Midwifery Research, 25(2), 111-116. https://doi.org/10.4103/ijnmr.IJNMR_67_19
  • Evans, W. D., Ulasevich, A., Hatheway, M., & Deperthes, B. (2020). Systematic Review of Peer-Reviewed Literature on Global Condom Promotion Programs. International Journal of Environmental Research and Public Health, 17(7), 2262. https://www.mdpi.com/1660-4601/17/7/2262
  • Fan, X., She, R., Liu, C., Zhong, H., Lau, J. T. F., Hao, C., Li, J., Hao, Y., Li, L., & Gu, J. (2020). Evaluation of smartphone APP-based case-management services among antiretroviral treatment-naïve HIV-positive men who have sex with men: A randomized controlled trial protocol. BMC Public Health, 20(1), 1-13. https://doi.org/10.1186/s12889-020-8171-5
  • Fernández-Sánchez, H., Guzmán-Facundo, F. R., Herrera-Medina, D., & Sidani, S. (2020). Importancia del estudio piloto en un proyecto de intervención. Index De Enfermería, (Preedición), e12860. http://ciberindex.com/c/ie/e12860
  • Gannon, B., Davis, R., Kuhns, L. M., Rodriguez, R. G., Garofalo, R., & Schnall, R. (2020). A mobile sexual health app on empowerment, education, and prevention for young adult men (MyPEEPS mobile): Acceptability and usability evaluation. Journal of Medical Internet Research, 22(4), e17901. https://doi.org/10.2196/17901
  • Hightow-Weidman, L. B., LeGrand, S., Muessig, K. E., Simmons, R. A., Soni, K., Choi, S. K., Kirschke-Schwartz, H., & Egger, J. R. (2019). A randomized trial of an online risk reduction intervention for young black MSM. Aids and Behavior, 23(5), 1166-1177. https://doi.org/10.1007/s10461-018-2289-9
  • Hutton, B., Catalá-López, F., & Moher, D. (2016). La extensión de la declaración PRISMA para revisiones sistemáticas que incorporan metaanálisis en red: PRISMA-NMA. Medicina clínica, 147(6), 262-266. https://doi.org/10.1016/j.medcli.2016.02.025
  • Knight, R., Karamouzian, M., Salway, T., Gilbert, M., & Shoveller, J. (2017). Online interventions to address HIV and other sexually transmitted and blood-borne infections among young gay, bisexual and other men who have sex with men: A systematic review. Journal of the International AIDS Society, 20(3), e25017. https://doi.org/10.1002/jia2.25017
  • Kurth, A. E., Sidle, J. E., Chhun, N., Lizcano, J. A., Macharia, S. M., Garcia, M. M., Mwangi, A., Keter, A., & Siika, A. M. (2019). Computer-based counseling program (Care+ Kenya) to promote prevention and HIV health for people living with HIV/AIDS: A randomized controlled trial. Aids Education and Prevention, 31(5), 395-406. https://doi.org/10.1521/aeap.2019.31.5.395
  • Lopez, C., Gilmore, A. K., Moreland, A., Danielson, C. K., & Acierno, R. (2020). Meeting kids where they are at-a substance use and sexual risk prevention program via telemedicine for african american girls: Usability and acceptability study. Journal of Medical Internet Research, 22(8), e16725. https://doi.org/10.2196/16725
  • Madkins, K., Moskowitz, D. A., Moran, K., Dellucci, T. V., & Mustanski, B. (2019). Measuring acceptability and engagement of the keep it up! Internet-based HIV prevention randomized controlled trial for young men who have sex with men. Aids Education and Prevention, 31(4), 287-305. https://doi.org/10.1521/aeap.2019.31.4.287
  • Mustanski, B., Parsons, J. T., Sullivan, P. S., Madkins, K., Rosenberg, E., & Swann, G. (2018). Biomedical and behavioral outcomes of keep it up!: An eHealth HIV prevention program RCT. American Journal of Preventive Medicine, 55(2), 151-158. https://doi.org/10.1016/j.amepre.2018.04.026
  • Noar, S. M., Willoughby, J. F., Crosby, R., Webb, E. M., Van Stee, S. K., Feist-Price, S., & Davis, E. (2020). Acceptability of a computer-tailored safer sex intervention for heterosexually active African Americans attending an STI clinic. Journal of Primary Prevention, 41(3), 211-227. https://doi.org/10.1007/s10935-020-00585-1
  • Ogrinc, G., Davies, L., Goodman, D., Batalden, P., Davidoff, F., & Stevens, D. (2015). SQUIRE 2.0 (Standards for Quality Improvement Reporting Excellence): Revised publication guidelines from a detailed consensus process. The Journal of Continuing Education in Nursing, 46(11), 501-507. https://doi.org/10.3928/00220124-20151020-02
  • ONUSIDA (2021). Hoja informativa 2021. Estimaciones epidemiológicas preliminares de ONUSIDA para 2021. https://www.unaids.org/sites/default/files/media_asset/UNAIDS_FactSheet_es.pdf
  • Patel, V. V., Rawat, S., Dange, A., Lelutiu-Weinberger, C., & Golub, S. A. (2020). An internet-based, peer-delivered messaging intervention for HIV testing and condom use among men who have sex with men in India (CHALO!): Pilot randomized comparative trial. JMIR Public Health and Surveillance, 6(2), e16494. https://doi.org/10.2196/16494
  • Refugio, O. N., Kimble, M. M., Silva, C. L., Lykens, J. E., Bannister, C., & Klausner, J. D. (2019). Brief report: PrEPTECH: A telehealth-based initiation program for HIV pre-exposure prophylaxis in young men of color who have sex with men. A pilot study of feasibility. JAIDS Journal of Acquired Immune Deficiency Syndromes, 80(1). 40-45. https://doi.org/10.1097/QAI.0000000000001873
  • Sabben, G., Akelo, V., Mudhune, V., Ondeng'e, K., Ndivo, R., Stephenson, R., & Winskell, K. (2019). A smartphone game to prevent HIV among young Africans: Protocol for a randomized pilot study of a mobile intervention. JMIR Research Protocols, 8(3), e11209. https://doi.org/10.2196/11209
  • Shrestha, R., Altice, F. L., DiDomizio, E., Sibilio, B., Ranjit, Y. S., & Copenhaver, M. M. (2020). Feasibility and acceptability of an mHealth-based approach as an HIV prevention strategy among people who use drugs on pre-exposure prophylaxis. Patient Preference & Adherence, 14, 107-118. https://doi.org/10.2147/PPA.S236794
  • Sullivan, P. S., Driggers, R., Stekler, J. D., Siegler, A., Goldenberg, T., McDougal, S. J., Caucutt, J., Jones, J., & Stephenson, R. (2017). Usability and acceptability of a mobile comprehensive HIV prevention app for men who have sex with men: A pilot study. JMIR Mhealth Uhealth, 5(3), e26. https://doi.org/10.2196/mhealth.7199
  • Suryavanshi, N., Kadam, A., Gupte, N., Hegde, A., Kanade, S., Sivalenka, S., Kumar, V. S., Gupta, A., Bollinger, R. C., Shankar, A., McKenzie‐White, J., & Mave, V. (2020). A mobile health‐facilitated behavioural intervention for community health workers improves exclusive breastfeeding and early infant HIV diagnosis in India: A cluster randomized trial. Journal of the International AIDS Society, 23(7), 1-9. https://doi.org/10.1002/jia2.25555
  • Suryavanshi, N., Kadam, A., Kanade, S., Gupte, N., Gupta, A., Bollinger, R., Mave, V., & Shankar, A. (2020). Acceptability and feasibility of a behavioral and mobile health intervention (COMBIND) shown to increase uptake of prevention of mother to child transmission (PMTCT) care in India. BMC Public Health, 20(1), 752. https://doi.org/10.1186/s12889-020-08706-5
  • Tanner, A. E., Mann-Jackson, L., Song, E. Y., Alonzo, J., Schafer, K. R., Ware, S., Horridge, D. N., Garcia, J. M., Bell, J., Hall, E. A., Baker, L. S., & Rhodes, S. D. (2020). Supporting health among young men who have sex with men and transgender women with HIV: Lessons learned from implementing the weCare intervention. Health Promotion Practice, 21(5), 755-763. https://doi.org/10.1177/1524839920936241
  • Zurita-Cruz, J., Márquez-González, H., Miranda-Novales, G., & Villasís-Keever, M. (2018). Estudios experimentales: diseños de investigación para la evaluación de intervenciones en la clínica. Revista alergia México, 65(2), 178-186. https://doi.org/10.29262/ram.v65i2.376
Еще
Статья научная