Диагностическая эффективность способа комплексной оценки степени диспластических изменений тазобедренного сустава у детей

Автор: Зоткин Владимир Владимирович, Анисимов Дмитрий Игоревич, Анисимова Елена Анатольевна

Журнал: Вестник медицинского института "РЕАВИЗ": реабилитация, врач и здоровье @vestnik-reaviz

Рубрика: Клиническая медицина

Статья в выпуске: 2 (44), 2020 года.

Бесплатный доступ

На основании данных клинических, лучевых, нейромиографических и биомеханических методов исследований предложена оригинальная система комплексной оценки степени дисплазии тазобедренного сустава у детей, чувствительность которой составила 95,6 %, специфичность - 87,5 %, общая надёжность - 95,1 %, валидность: Сr - 0,89; Cs - 0,86; Cc - 0,85.

Диагностика, дисплазия тазобедренных суставов, дети

Короткий адрес: https://sciup.org/143172321

IDR: 143172321

Текст научной статьи Диагностическая эффективность способа комплексной оценки степени диспластических изменений тазобедренного сустава у детей

Дисплазия тазобедренных суставов (ДТС) относится к группе дегенеративнодистрофических заболеваний детского возраста, отличительной чертой которых является генетическая предрасположенность к аномалии развития суставных и парасу-ставных опорных тканей [1, 2]. В настоящий момент многочисленные эпидемиологические исследования показывают абсолютно различную распространенность (от 1,6 до 30:1000 человек), что связано с отсутствием конкретики по вопросам классификации, диагностики и лечения патологии [3–5]. Важно подчеркнуть, что имеются не только эпидемиологические пробелы относительно ДТС детского возраста, но и затруднения подбора тактики ведения и лечения пациентов с различными формами болезни [6, 7]. В свою очередь, адекватное лечение напрямую коррелирует со степенью дис-пластических изменений в тазобедренном суставе и вовлеченностью в патологический процесс разных компонентов сустава

[7, 8]. В данной ситуации различные системы комплексной оценки степени диспла-стических изменений являются необходимостью, однако важно доказать действительную эффективность применяемых диагностических инструментов [9–11], что возможно с помощью статистических исследований и чему посвящена наша работа.

Цель : предложить систему комплексной оценки степени диспластических изменений тазобедренного сустава у детей и оценить ее диагностическую эффективность.

Материал и методы

Предложен способ комплексной оценки степени дисплазии тазобедренного сустава (ТБС) у детей 4–11 лет (первый период детства – 4–7 лет, второй период детства – 8–11 лет) (Патент № 20151146904, 2015 г.). Система оценки включает клинические, рентгенологические, КТ-, МРТ-графические, электромиографические, электронейро-миографические, биомеханические показатели. Каждый показатель в зависимости от выраженности оценивается в баллах (от 1 до 3). Оценивались четыре клинических симптома (табл. 1).

Таблица 1

Степень выраженности клинических симптомов

Симптом

Выраженность

Балл

Жалобы на боль в ТБС

при нагрузке

1

периодические

2

постоянные

3

Объем движений в ТБС

избыточный объем ротационных движений

1

ограничение отведения

2

избыточный объем ротационных движений, ограничение отведения

3

Симптом

Тренделенбурга

слабо положительный

1

положительный

2

резко положительный

3

Походка

с ротацией стоп вовнутрь

1

с ротацией стоп вовнутрь, незначительная хромота

2

с ротацией стоп вовнутрь, выраженная хромота

3

Лучевая диагностика включала 6 угловых рентгенологических признаков: ацетабулярный угол (АУ), шеечно-диафизарный угол (ШДУ), угол Шарпа (УШ), угол Виберга (УВ), угол антеверсии шейки бедренной кости (АтШ), угол вертикального соответствия (УВС); четыре КТ-графических: передний ацетабулярный угловой сектор ( AA-SA ), задний ацетабулярный угловой сектор ( PASA ), горизонтальный ацетабулярный угловой сектор ( HASA ), антеверсию шейки и головки бедренной кости (АтШГ) и два МРТ-графических параметра: хрящевой ацетабулярный угол (ХАУ), дефекты хряща (ДХ) (табл. 2).

Электромиографические (ЭМГ) исследования выполнялись с целью электрофизиологической оценки состояния мышц, участвующих в осуществлении движений в ТБС, проводилась регистрация биоэлектрической активности большой и средней ягодичных мышц; электронейромиографиче-ское исследование (ЭНМГ) включало определение активности бедренного, малоберцового и большеберцового нервов путем определения амплитуды вызванного моторного ответа (М-ответ) (три признака). При биомеханическом исследовании определяли степень нарушения временных параметров ходьбы (три признака) (табл. 3).

Таким образом, для комплексной оценки степени выраженности диспластических изменений ТБС у детей максимально использовались 22 критерия для одного сустава. Определяли балл каждого признака, сумму баллов и средний балл, как отноше- ние суммы баллов к количеству исследуемых показателей. Средний балл в 0,5–1,4 соответствует I (легкой) степени дисплазии, 1,5–2,4 – II (умеренной), выше 2,4 – III (выраженной).

Обследованы 165 детей 4–11 лет (первого и второго периодов детства) (218 су- ставов) с дисплазией ТБС различной степени выраженности. Распределение детей по возрастным группам и степени выраженности диспластических изменений ТБС представлено в таблице 4.

Таблица 2

Рентгенологические

КТ-, МРТ-графические

Параметр

Выраженность

Балл

Параметр

Выраженность

Балл

АУ

20–24°

1

AASA

50–41°

1

25–35°

2

40–35°

2

>35°

3

<35°

3

ШДУ

135–139°

1

PASA

90–85°

1

140–145°

2

84–80°

2

>145°

3

<80°

3

УШ

47–53°

1

HASA

140°–135°

1

54–65°

2

134–125°

2

>65°

3

<125°

3

УВ

24–20°

1

АтШГ

25–34°

1

19–15°

2

35–45°

2

<15°

3

>45°

3

АтШГ

35–45°

1

ХАИ

10–19°

1

46–55°

2

20–26°

2

>55°

3

>26°

3

УВС

80–71°

1

ДХ

фокальные

1

70–61°

2

генерализованные

2

<60°

3

тотальные

3

Примечание. АУ – ацетаблулярный угол; ШДУ – шеечно-диафизарный угол; УШ – угол Шарпа; УВ – угол Виберга; АтШГ – угол атеверсии шейки и головки бедра; УВС – угол вертикального соответствия.

Таблица 3

ЭМГ- и ЭНМГ-показатели

Биомеханические признаки

Параметр

Выраженность

Балл

Параметр

Выраженность

Балл

Биоэлектрическая активность большой ягодичной мышцы (МВ)

500–400

1

Цикл шага (сек)

1,30–1,40

1

399–300

2

1,40–1,50

2

<299

3

>1,50

3

Биоэлектрическая активность средней ягодичной мышцы

500–400

1

Период опоры(%)

61,5–60,2

1

399–300

2

60,1–57,6

2

<299

3

<57,6

3

Активность нервов (М-ответ) (МВ)

3–4

1

Коэффициент ритмичности (%)

0,97–0,94

1

2–3

2

0,93–0,91

2

<2

3

<0,91

3

Таблица 4

Распределение пациентов с дисплазией тазобедренных суставов по группам в зависимости от возраста и степени выраженности диспластических изменений (баллы)

Возрастной период (лет)

Степень выраженности дисплазии ТБС

Количество пациентов/ суставов

Сумма баллов

Средний балл

Степень

Абс.

%

Первый период детства (4–7 лет)

5–24

0,5–1,4

I

9/15

6,8/8,4

25–45

1,5–2,4

II

74/96

56,0/54,3

46–66

>2,4

III

49/66

37,2/37,3

Второй период детства (8–11 лет)

9–34

0,5–1,4

I

13/15

39,4/36,6

35–50

1,5–2,4

II

14/19

42,4/46,3

51–66

>2,4

III

6/7

18,2/17,1

Степень выраженности показателей лучевой диагностики

Степень выраженности ЭМГ-, ЭНМГ- и биомеханических признаков

В зависимости от степени выраженности диспластических изменений структур ТБС было назначено определённое лечение. При легкой степени дисплазии (22 пациента/ 30 суставов) назначали динамическое наблюдение, при необходимости консервативное лечение, массаж, лечебную гимнастику и профилактику коксартроза; при умеренных диспластических изменениях (88/115) проводили корригирующую межвертельную деторсионно-варизирующую остеотомию с медиализацией; при выраженных (55/73) – применяли комбинированное хирургическое лечение: остеотомию таза в сочетании с корригирующей межвертельной деторсионно-варизирующей остеотомией.

Проанализирована динамика показателей, характеризующих степень диспласти-ческих изменений ТБС, у детей 4–11 лет с умеренными (II степень) и выраженными (III степень) диспластическими изменениями (143 пациента/188 суставов). Степень диспластических изменений по предложенному способу определяли у каждого пациента до и после хирургического лечения (сразу и через 6 месяцев). Для оценки диагностической эффективности (специфичности, чувствительности, общей надежности или точности и валидности) был проведён анализ динамики выраженности диспла-стических изменений в ТБС до и после операции. При проведении оценки результата лечения ориентировались на разность баллов, характеризующих степень дисплазии ТБС, до и после хирургического лечения. При различии более чем в 1,0 балл резуль- тат считали истинно положительным (улучшение есть, TP – True Positives), при различии в 0,8–0,9 балла – ложноотрицательным (FN – False Negatives), в 0,6–0,7 балла – ложноположительным (FP – False Positives) и при различии менее, чем в 0,5 балла – истинно отрицательным (улучшения нет, TN – True Negatives).

Чувствительность (истинно положительная пропорция, Se – sensitivity ) метода вычисляли отношением количества пациентов с истинным наличием улучшения (истинно положительные результаты) к общему числу пациентов с улучшением (истинно положительные и ложноотрицательные). Определяется по формуле:

Se = ( TP /( TP + FN ))×100%.

Специфичность (истинно отрицательная пропорция, Sp specificity ) метода вычисляли отношением количества пациентов с истинным отсутствием улучшения состояния ТБС (истинно отрицательные результаты) к общему числу больных без улучшения (истинно отрицательные и ложноположительные результаты). Определяется по формуле:

Sp = ( TN /( TN + FP )).

Доля ложноположительных примеров ( FPR False Positives Rate ) определяется разностью между 100 и специфичностью. Определяется по формуле:

FPR = 100 – Sp.

Точность (надежность) метода – доля правильных результатов метода (R – reliability) определяется процентным отношением суммы истинно положительных и истинно отрицательных результатов ко всем пациентам. Определяется по формуле:

R = ( TP + TN )/( TP + FN + TN + FP )×100 %.

Валидность способа комплексной оценки степени выраженности диспластических изменений ТБС определяли по нескольким коэффициентам:  коэффициент надежности

( Сr – определяется методом расщепления, исследования делят на четные и нечетные и определяют между ними коэффициент корреляции, который должен быть не ниже

0,75); коэффициент стабильности ( Cs – коэффициент корреляции между показателями сразу после операции и через 6 месяцев должен быть не менее 0,80); коэффициент константности ( Cc – коэффициент корреляции между показателями, полученными разными исследователями должен быть не ниже 0,80).

Для оценки результата хирургического лечения использовали понятие «размер эффекта» по Коэну, который рассчитывался по формуле:

Средний балл до лечения – Средний балл после лечения Ef (средний эффект) =

Стандартное отклонение до лечения

Эффект <0,2 расценивается как малый, 0,2–0,5 – умеренный, 0,5–0,8 – средний, >0,8 – сильный.

Для определения коэффициента надёжности ( Cr ) использовали метод расщепления, результаты исследования (разность средних баллов степени выраженности диспластических изменений ТБС до лечения и после операции) во всей выборке ранжировали по принципу «четный– нечетный» и провели корреляционный анализ между двумя этими совокупностями. Обнаружили тесную прямую связь (r = 0,89). Коэффициент стабильности ( Сs ) определяли с применением методики «тест–ретест». Исследования в послеоперационном периоде проводили два раза, сразу и через 6 месяцев после операции, т.е. проводили корреляционный анализ между двумя вариационными рядами: 1-й – разница между средними баллами пациентов до хирургического лечения и сразу после операции, 2-й – разница между средними баллами пациентов до операции и через 6 месяцев после нее. Выявили положительную сильную связь (r = 0,86).

Вариационно-статистический анализ проведён с применением пакета прикладных программ Statistica 13.0. Формат данных: медиана (Me), амплитуда (А, min-max), стандартное отклонение (SD), межквартильный размах (25 %, 75 % процентили). Определяли коэффициент корреляции Пир- сона (r), при r < 0,25 корреляции слабые, 0,25 < r < 0,5 – умеренные, 0,5 < r < 0,75 – средние, 0,75 < r < 1,0 – сильные (тесные). Проверку на нормальность проводили с применением критерия Шапиро-Уилка, статистическую значимость различий доказывали с использованием критерия Фишера при р < 0,05.

Результаты

Проанализирована динамика показателей, характеризующих степень диспласти-ческих изменений ТБС у детей 4–11 лет (143 пациента/188 суставов) с умеренными (II степень, 88 пациентов/115 суставов) и выраженными (III степень, 55 пациен-тов/73 суставов) диспластическими изменениями до хирургического лечения, сразу после операции и через 6 месяцев.

До операции боль при нагрузке испытывали 12 детей (8,4 %), периодическую боль – 78 (54,5 %) и постоянную – 53 (37,1 %) пациентов. Избыточная ротация отмечалась в 57 суставах (30,3 %), ограничение движения – в 96 (51,1 %) и комбинация этих нарушений – в 35 (18,6 %) суставах. Симптом Тренделенбур-га в разной степени положительным был у 116 пациентов (81,1 %), из них у 22 детей (19,6 %) он был слабо положительным, у 82 (70,7 %) – положительным и у 12 (10,4 %) – резко положительным. У всех детей отмечалось в той или иной степени нарушение походки: у 42 (29,4 %) – ротация стоп вовнутрь, у 83 (58,0 %) – ротация стоп и хромота и у 18 (12,6 %) – ротация стоп и выраженная хромота.

УВ, в норме составляющий у детей 22–30º, при умеренных диспластических изменениях снижался до 15–19º, при выраженных – до 1,0–15º; УШ, напротив, увеличивался от 41–50º в норме до 52–65º у детей со II и до 55–78º с III степенью дисплазии; АУ также увеличивается от 11–20º до 21–30º при II и до 30–50º при III степени; увеличивался соответственно ШДУ от 120–135º до 133–150º и до 141–155º и АтШГ – от 17–31º до 43–60º и до 52–64º, тогда как УВС уменьшался от 85–91º до 62–79º и до 58–74º.

В основном КТ- и МРТ-диагностика проводилась детям старше 6 лет. AASA , PASA и HASA (передний, задний и горизонтальный угловые сектора) соответственно уменьшались по сравнению с нормальными показателями по мере нарастания диспла-стических изменений в ТБС от 51–60º до 39–49º и до 27–39º, от 90–101º до 77–89º и до 73–83º, от 138–154º до 125–139º и до 117–129º. АтШГ, напротив, увеличивались от 13–27º в норме до 31–47º при умеренных и до 46–54º при выраженных признаках дисплазии.

ХАИ увеличивался от возрастной нормы в 2–9º до 17–26º с генерализованными дефектами хряща при умеренных диспластиче-ских изменениях и до 27–36º с тотальными дефектами хряща – при выраженных.

Снижались биоэлектрическая активность ягодичных мышц до 399–300 МВ при II степени дисплазии ТБС и менее 299 МВ при III, параллельно снижались и амплитуда М-ответа до 3–2 и менее периферических нервов нижних конечностей.

Изменялись стабилометрические параметры походки: ЦШ увеличивался от 1,2–1,3 сек до 1,4–1,5 сек при II степени дисплазии и до 1,5–1,7 сек при III; ПО от 61,6–62,7 % соответственно уменьшался до 57,7–61,5 % и до 52,2–57,8 %; КР также уменьшался от 1,0 до 0,9 и до 0,8.

После оперативного лечения (при умеренных диспластических изменениях – корригирующая межвертельная деторси-онно-варизирующая остеотомия с медиали-зацией; при выраженных – комбинированное хирургическое лечение: остеотомия таза в сочетании с корригирующей межвертельной деторсионно-варизирующей остеотомией) объективные показатели, характеризующие степень дисплазии ТБС, в основном приближались к возрастным нормам или соответствовали легкой степени дисплазии. Непосредственно сразу после операции было трудно оценить клинические симптомы (интенсивность боли, нарушение походки и движений в суставе) и биомеханические параметры походки, поэтому они оценивались через 6 месяцев после операции. У каждого больного для каждого исследуемого показателя определяли балл (от 1 до 3), затем все баллы суммировались, и определяли средний. Таким образом, определяли степень диспластических изменений ТБС до лечения, сразу после операции и через 6 месяцев (табл. 5).

Результат хирургического лечения оценивали по разности средних баллов до и через 6 месяцев после лечения. Разность баллов ниже 0,5 считали истинно отрицательным результатом (нет улучшения), 0,6–0,7 – ложноположительным, 0,8–0,9 – ложноотрицательным и больше 1,0 – истинно положительным результатом (есть улучшение).

Истинно положительный результат был отмечен у 129 детей, (улучшение есть), истинно отрицательный результат – у 7 (улучшения нет), ложноположительный – у одного, ложноотрицательный – у 6 пациентов. Таким образом, диагностическую эффективность способа комплексной оценки степени дисплазии ТБС можно определить по чувствительности ( Se ), специфичности ( Sp ) и общей надёжности ( R ), а долю ложноположительных примеров – по FPR.

Se = 129 / (129 + 6) × 100% = 95,6 %;

Sp = 7 / (7 + 1) × 100% = 87,5 %;

R = (129 + 6) / (129 + 6 + 7 + 1) × 100 % = 95,1 %; FPR = 100 – 87,5 = 12,5.

Таблица 5

Средние баллы параметров комплексной оценки состояния ТБС у детей с умеренными и выраженными диспластическими изменениями до операции, сразу после операции и через 6 месяцев

Степень дисплазии ТБС

До операции

После операции

Через 6 месяцев

re co

S g

и S

о co m о H p. g £

E 05

О 05 P

DP

P e-

P 5 re

CD

U

re co

S g

и S

m о

E 05

о 05 P

DP

1 §

5 S

re co

m о

о 05 P

Dp

1 § gs

и

II

27,26

15,9

1,71

8,5

12,3

0,69

10,3

16,4

0,63

III

44,6

18,2

2,45

11,99

13,6

1,47

21,03

17,1

1,23

Общ

35,9

17,1

2,08

10,2

12,95

1,06

15,66

16,75

0,93

При определении коэффициента константности ( Сс ) коррелировали результаты исследования, полученные разными экспериментаторами, выявили прямую сильную связь (r = 0,85). Общий средний результат хирургического лечения оценивали по величине среднего эффекта ( Ef ) сразу после операции и спустя 6 месяцев, который составил до операции 2,08 ± 1,3, сразу после операции – 1,06 ± 0,4, средний эффект хирургического лечения оценивался в 0,8 балла, общий средний балл через 6 месяцев после операции составил 0,93 ± 0,3. Таким образом, средний хирургический эффект через 6 месяцев определялся не менее 0,9, что расценивалось как показатель сильной эффективности диагностической оценки.

Обсуждение

Проведённая комплексная оценка дис-пластических изменений в ТБС позволила осуществить многокритериальный анализ с использованием современных методов диагностики, стандартных для данной патологии [9–11]. Так, помимо традиционного клинического и рентгенологического метода были использованы данные КТ/МРТ, детализирующие состояние как костных, так и хрящевых структур сустава с реконструкцией его геометрии. Кроме того, с помощью электрофизиологического и биомеханического методов оценивали состояние всей нижней конечности и возможности постурального баланса у ребенка на фоне дисплазии [12, 13].

Любой диагностический способ перед тем, как он начинает использоваться в практических целях, должен быть протестирован на объективные операционные характеристики: чувствительность, специфичность, точность и валидность [14], что соответствует принятым в настоящее время теории доказательности в медицине [15]. С помощью различных статистических инструментов ортопед может грамотно обосновать применение того или иного метода определения степени тяжести ортопедического заболевания, к примеру, ДТС.

Заключение

Разработанная комплексная оценка степени диспластических изменений тазобедренного сустава у детей демонстрировала высокую чувствительность ( Se = 95,6 %), достаточную специфичность ( Sp = 87,5 %), высокую общую надёжность ( R = 95,1 %) и валидность ( Сr = 0,89; Cs = 0,86; Cc = 0,85) по совокупности статистических критериев, что является значимым доказательством её жизнеспособности.

Персонифицированный выбор метода лечения, продиктованный полученными данными способа комплексной оценки также показал высокую эффективность (средний эффект результата хирургического лечения через 6 месяцев после операции составлял 0,9).

Учитывая современные реалии и развитие стратегий доказательности в медицине, необходимо широко внедрять модели статистической проверки гипотез и критерии, которые способны подтвердить результаты любого клинического исследования в ортопедии.

Список литературы Диагностическая эффективность способа комплексной оценки степени диспластических изменений тазобедренного сустава у детей

  • Rubashkin S.A., Sertakova A.V., Dohov M.M. i dr. Degenerativnye zabolevaniya tazobedrennyh sustavov u detej // Ortopediya, travmatologiya i vosstanovitel'naya hirurgiya detskogo vozrasta. - 2018. - № 6 (3). - 78-86. DOI: 10.17816/PTORS6378-86
  • Dorman S., Perry D. Hip disorders in childhood // Surgery (Oxford). - 2017. - No 35 (1). - 33-38. 10.1016/j. mpsur.2016.10.009 DOI: 10.1016/j.mpsur.2016.10.009
  • Abdulhaeva Sh.R., Mirzoeva Z.A., Nazirova N.K. i dr. Rannee vyyavlenie displazii tazobedrennyh sustavov u detej v praktike semejnogo vracha // Vestnik poslediplomnogo obrazovaniya v sfere zdravoohraneniya. - 2015. - № 1. - S. 5-9.
  • Shaw B.A., Segal L.S. Evaluation and Referral for Developmental Dysplasia of the Hip in Infants // Pediatrics. - 2016. - No 138 (6). - e20163107. 10.1542/ peds.2016-3107. DOI: 10.1542/peds.2016-3107
  • Woodacre T., Ball T., Cox P. Epidemiology of developmental dysplasia of the hip within the UK: refining the risk factors // J Child Orthop. - 2016. - No 10 (6). - 633-642. DOI: 10.1007/s11832-016-07985
  • Kotlarsky P., Haber R., Bialik V. et al. Developmental dysplasia of the hip: What has changed in the last 20 years? // World J Orthop. - 2015. - No 6 (11). - 886-901. 10.5312/wjo. v6.i11.886.
  • DOI: 10.5312/wjo.v6.i11.886
  • Shvachkina A.A., Nushtaeva O.V. Luchevaya diagnostika displazii tazobedrennyh sustavov u detej pervogo goda zhizni // Byulleten' medicinskih internet-konferencij. - 2017. - № 7 (5). - 742 s.
  • Kozhevnikov V.V., Osipov A.A., Grigoricheva L.G. i dr. Ul'trazvukovaya dopplerografiya tazobedrennogo sustava i korrekciya vyyavlennyh narushenij u detej s distroficheskimi izmeneniyami golovki bedrennoj kosti // Genij ortopedii. - 2015. - № 1. - S. 47-52.
  • Travmatologiya i ortopediya detskogo i podrostkovogo vozrasta. Klinicheskie rekomendacii / pod red. S.P. Mironova. - M.: GEOTAR-Media, 2017. - 416 s.
  • Zotkin V.V., Anisimova E.A., Bahteeva N.H. i dr. Izmenchivost' i svyazi parametrov, harakterizuyushchih displaziyu tazobedrennogo sustava u detej 4-7 let // Saratovskij nauchno-medicinskij zhurnal. - 2019. - № 15 (1). - S. 61-66.
  • Anisimova E.A., Muzurova L.V., Fomkina O.A. et al. Estimation of surgical treatment efficiency for young children with hip dysplasia based on X-ray anatomical data // Archiv euromedica. - 2019. - No 9 (1). - S. 134-136.
  • Dolganova T.I., Dolganov D.V., Menshchikova T.I. i dr. Diagnosticheskaya informativnost' medial'nogo smeshcheniya traektorii proekcii obshchego centra davleniya u detej i podrostkov pri hod'be // Rossijskij zhurnal biomekhaniki. - 2011. - № 2 (52). - S. 91-99.
  • Elektronejromiografiya: metodicheskie rekomendacii / E.G. Ippolitova, T.K. Verhozina. - Irkutsk, 2015. - 23 s.
  • Holmatova K.K., Har'kova O.A., Grzhibovskij A.M. Eksperimental'nye issledovaniya v medicine i zdravoohranenii: planirovanie, obrabotka dannyh, interpretaciya rezul'tatov // Ekologiya cheloveka. - 2016. - № 11. - S. 50-58.
  • Kolmatova K.K., Har'kova O.A., Grzhibovskij A.M. Klassifikaciya nauchnyh issledovanij v zdravoohranenii // Ekologiya cheloveka. - 2016. - № 1. - S. 57-64.
Еще
Статья научная