Использование параданных в анализе телефонных опросов

С момента первого использования компьютера в социальных обследованиях прошло уже более 60 лет1, и сегодня сложно себе представить исследования общественного мнения, проводимые без компьютерной техники. Если изначально компьютерные технологии пришли в опросный мир "с конца", то есть с обработки данных и проведения статистических расчетов при помощи перфокарт [Groves, 2011: 864], то сейчас повсеместно используются автоматизированные системы, будь то телефонное2 или личное интервью3. Применение технологии CATI — системы автоматизированного компьютерного телефонного интервью — позволяет осуществлять процесс сбора социологических данных с рядом преимуществ, недоступных при традиционных способах. Во-первых, снижается человеческий фактор, поскольку набор номера и дозвон не зависят напрямую от интервьюера. Во-вторых, снижается возможность ошибки при вводе ответов на вопросы анкеты, поскольку в системе предусмотрена моментальная проверка соответствия указанного и заданного значений. В-третьих, что немаловажно для заказчика, ускоряется сам процесс сбора информации, а также снижаются расходы. Есть и другие преимущества: автоматизация работы с базой телефонных номеров, автоматизация работы с базой анкет. Система фиксирует и другие данные, не связанные напрямую с ответами респондента: время звонка, попытки дозвона, продолжительность интервью, результат соединения, а также другую информацию, состав которой можно регулировать. Кроме того, сегодня осуществляется тотальная аудиозапись процесса дозвона, причем регистрация и запись могут быть произведены в каждом случае, когда была предпринята попытка соединения с респондентом, то есть как в результативных, так и не результативных интервью4. Получается, что, помимо самих заполненных анкет, мы получаем большой массив данных о процедуре и ходе опроса. Изначально эти данные считались своего рода "побочным" эффектом компьютеризированной технологии, и, ввиду новых возможностей, полученным благодаря CATI, остались в стороне.

Несколько лет потребовалось для того, чтобы понять и оценить дополнительные возможности, которые предоставляет CATI. Уже в 1993 году Пол Лавракас писал, что CATI потенциально содержит много типов статистических данных о продуктивности интервьюера, которые, в свою очередь, могут помочь супервайзерам принимать решения относительно их работы [Lavrakas, 1993:17]. Сама же компьютеризированная система, по его мнению, "не панацея, а инструмент", который при правильном использовании в подходящих для этого исследованиях улучшит качество получаемых данных.

Переломным стал 1998 год, когда на встрече американской статистической ассоциации5 в Далласе, Мик Купер предложил использовать эти автоматически сгенерированные и уже доступные для анализа данные для оценки эффективности и качества опроса, дав им название "paradata". На этой же конференции был представлен ряд схожих по тематике докладов, например, коллективный доклад Агентства исследований и политики в области здравоохранения6 о том, как влияет информация об интервьюере на его работу в системе CAPI [Potter, Edwards et al., 1998]. В том же году на 53-й конференции американских исследователей общественного мнения7 это обсуждение было продолжено: в ежегодном национальном опросе о здоровье8 на основе автоматически регистрируемых данных Сью Эллен Хансен, Мик Купер и Марек Фукс провели юзабилити-тест системы автоматизированного компьютерного интервью, сопровождающийся событийным кодированием9 [Hansen, Couper, Fucks, 1998]. При просмотре записей состоявшихся ин- тервью они регистрировали следующие данные: проблемы в прочтении текста, невыполнение заданий, потребность в дополнительной информации, обратную связь, комментарий, который вызывал смещение, любой другой комментарий или отклонение, проблемы в понимании вопроса, проблемы с ответами, перебивания, смех, тишину, проблемы в записи или вводе данных. Они обнаружили, что дизайн анкеты, например, формулировка вопроса заглавными буквами, вызывала разного рода затруднения в прочтении, что, в свою очередь, приводило к сбою в коммуникации между интервьюером и респондентом, равно как и заполнение карточки домохозяйства, комментарии к вопросам, ошибки в работе с компьютером. Это позволило им прийти к выводу, что юзабилити-тест, сопровождающийся событийным кодированием ("параданными") более эффективен, и что такого рода исследования необходимы на этапе пилотажа анкет. В частности, 4-5 юзабилити-тестов выявляют до 80% возможных серьёзных проблем, но для большей точности необходимо провести ещё около 10. Например, можно проводить несколько интервью в лаборатории и фиксировать их на видео, чтобы иметь возможность тщательно протестировать инструментарий [Hansen, Couper, Fucks, 1998: 933].

С этого момента исследования в области "параданных" набирают силу, а само понятие расширяется. Если изначально в него входили только данные, которые автоматически фиксируются компьютерной системой, то позже сюда же была включена информация об опросе, которую фиксирует сам интервьюер, а затем и данные, получаемые из других источников, например, аудиозаписи интервью. Так, в 2010 году Фроке Кройтер и Каролина Казас-Кордеро выделяют уже три типа параданных [Kreuter, Casas-Cordero, 2010]:

• 1)    Записи о вызове (call record data), включающие в себя дату и время звонка, результат соединения (неответ, отказ, квота, интервью, договоренность и др.). В системах CAPI и CATI эти данные регистрируются автоматически как для результативных, так и для нерезультативных соединений. Эти данные могут быть использованы, например, для оценки эффективности дизайна дозвона, прогнозирования неответов¹⁰ .

• 2)    Наблюдения интервьюера (interviewer observations), то есть то, что он фиксирует на стадии установления контакта с респондентом. Эти данные подходят для анализа отказов, выборки и т.д. Сюда же включены различные шкалы, заполняемые интервьюером, например, описание домохозяйства, дома, дворовой территории, того, с какими трудностями он сталкивался в работе, различные другие оценки¹¹.

• 3)    В компьютеризированных интервью существует третий тип данных — аудиозаписи взаимодействия между интервьюером и респондентом (audio-recordings of the interaction between interviewer and respondent). Например, в телефонных опросах характеристики голоса могут влиять на решения об участии в интервью¹². Также на основе аудиозаписей можно оценивать как целиком всю анкету, так и каждый её вопрос по отдельности. Тем не менее, анализ аудиозаписей — сложный и затратный процесс, который предпринимался только в малом числе методологических исследований¹³ .

Относительно второго типа параданных стоит добавить, что на сегодняшний день существуют различные примеры их сбора: в уже упомянутом ежегодном национальном опросе о здоровье, интервьюера просят оценить, состоит ли на данный момент, по его мнению, респондент в сексуальных отношениях с партнером противоположного пола, а также есть ли дети в домохозяйстве [Kreuter, Casas-Cordero, 2010: 4]. Также существуют специально разработанные шкалы оценки: например, PEDAKSI14, а также шкала IAS15.

Важно отметить, что в англоговорящем мире нет терминологической ясности относительно данного явления. В отечественных исследованиях "параданным" пока не уделяют должного внимания, потому перевод термина проблематичен. Мы нашли только одну работу, в которой подробно описано это понятие, переведенное автором как "параданные" [Сидоров, 2011]. На наш взгляд, в таком переводе есть значительные недостатки: приставка -пара (от греч. para — возле, около, при) — "первая часть сложных слов, имеющая значение рядом, около или указывающая на отклонение от чего-либо, например: парамагнитный, паранормальный" [Крысин, 1998: 507]. Потому велика возможность, что у читателя возникнут негативные ассоциации. Можно попробовать перевести по смыслу, например, "смежные данные", "сопутствующие данные". Такой вариант перевода более приятен для звучания, однако с точки зрения термина он менее удобен, и, кроме этого, при обращении к данному концепту более широкой аудитории, вполне вероятно, будет работать практика экономии речевых средств. Потому в данной статье мы будем использовать эти варианты как синонимы, оставив за собой право на дальнейшее решение.

Существует и смежное понятие — "метаданные", которое широко используется как в зарубежном, так и в отечественном научном мире. Потому видится необходимым определить эти термины, а также описать различия. Метаданные, по мнению Арофана Грегори и его коллег, это "данные о данных", которые используются в социологических исследованиях для того, чтобы обеспечить соотнесение получаемых данных с четкими описаниями и общепринятыми значениями на всех этапах исследования [Gregory, Heus, Ryssevik, 2009]. Для более точного понимания данного концепта, они выделяют следующие виды метаданных:

• —    структурные метаданные (о структуре данных: названия переменных, их вид и значения);

• —    описательные метаданные (о методологии исследования, выборке, способах измерения и т.д.);

• —    административные метаданные (информация, созданная в процессе управления данными);

• —    поведенческие метаданные, или "параданные" (информация о реакциях и поведении тех, кто работает с данными, а также о респондентах; то есть параданные об инструментарии).

Согласно такой типологии, параданные являются частью метаданных как более широкого понятия. Другую позицию представляет Фроке Кройтер: для понимания разницы между параданными и метаданными она предлагает провести аналогию с цифровой фотографией [Kreuter, 2013: 3]. Например, информация о том, когда (дата и время) была сделана фотография обычно автоматически добавляется фотокамерой в файл. Также фотограф может добавить информацию о типе фотокамеры, её оптике и времени выдержки. В ИТ-настройках эта информация носит название метаданных. Параданными в таком случае будут данные о том, каким образом фотограф получил конкретную фотографию: какие объективы менял, с каких ракурсов присматривался, как комментировал свои действия и так далее. В интервью хорошим примером параданных является опыт интервьюера.

Большинство авторов статей, посвященных параданным, сходятся в том, что параданные — это данные, сопутствующие процессу опроса16. Другие исследователи не зацикливаются на терминологии, а в большей мере проявляют интерес к самой концепции сбора сопутствующих данных, и приводят примеры того, как такого рода данные могут усовершенствовать процесс самого опроса17. Например, регистрация времени и результата соединения позволяет в будущем спроектировать механизм дозвона таким образом, чтобы добиться максимального числа успешных контактов, и, в идеале, снизить затраты. Так, в Американском национальном опросе о размере семьи18 на основе ежедневного изучения сопутствующих данных производится изменение дизайна опроса. На сегодняшний день это единственный известный нам пример анализа параданных в режиме реального времени, обычно они анализируются после окончания опроса. Некоторые компании понимают целесообразность использования параданных, например, в Европейском социальном исследовании19 открыто публикуются протоколы посещений респондентов, а параданные об Американском национальном электоральном опросе доступны для вторичного анализа при запросе [Kreuter, 2013: 8]. Конечно, здесь мы сталкиваемся с некоторыми этическими затруднениями: необобщенные параданные нарушают принцип анонимности респондента, потому необходимо разработать четкие требования к публикации материалов.

Другие исследователи, в частности Габриэль Дюран, Джулия Д'Арриго и Фиона Стил, больше озабочены тем, как анализировать параданные и представлять их результаты. Например, посредством такого рода анализа появляется возможность находить лучшие практики интервьюеров [Durrant, D'Arrigo, Steele, 2013], а также использовать эти данные для оценки эффективности их работы. На материалах поквартирного опроса они приводят многоуровневую аналитическую рамку, включающую в том числе пошаговую историю каждого обращения, которая используется для моделирования результата и последствий каждого обращения в будущем. Выстраивание нескольких уровней авторам необходимо для того, чтобы уйти от описательного анализа техник, а также регрессионных моделей, которые игнорируют иерархическую структуру данных. Кроме того, такой анализ позволяет обнаружить некоторые смещения, неявные в одноуровневых моделях, например, связанные с эффектом интервьюера. Они приходят к выводу, что информация об истории обращения играет ведущую роль в прогнозировании результата текущих обращений, а сами наблюдения, фиксируемые интервьюерами (например, о типе домохозяйства, дома, дворовой территории), оказываются полезными для расчета возможного уровня кооперации.

В 2008 году вышел доклад Франсуа Лафлама, в котором он представил результаты использования параданных в своей работе: "На протяжении нескольких последних лет национальное канадское статистическое агентство занимается пересмотром процесса сбора данных с целью оценки и контроля над текущими практиками и над проектами новых методик сбора данных, а также для того, чтобы определить стратегические возможности для развития. Параданные являются основой этих исследований, и в дальнейшей работе мы продолжим их активно использовать" [Laflamme, 2008]. Использование параданных позволило Канадскому статистическому агентству сократить время и затраты на проведение опросов, в том числе посредством активного управления самим процессом сбора данных. По мнению Лафлама, у параданных есть ряд неоспоримых преимуществ: во-первых, результаты исследования основаны на объективных эмпирических оценках процесса сбора информации, во-вторых, параданные позволяют проводить сравнительный анализ разного типа опросов, в-третьих, доступ к накопленным данным делает возможным выявление тенденций, а также оценку нововведений, и, наконец, в-четвертых, сбор параданных практически не увеличивает стоимость и не требует дополнительных усилий со стороны интервьюера. Конечно, анализ этих данных, а также хранение и формирование баз данных сопряжено с новыми существенными затратами, но такие вложения, как показывает Лафлам, оказываются оправданы.

Опыт канадских коллег на сегодняшний день является самым последовательным применением параданных. Стоит сказать, что помимо автоматически регистрируемых системой CATI данных, они добавили ещё несколько переменных [Laflamme, 2008], которые, на наш взгляд, представляют значительный интерес:

• 1)    Системное время, затраченное на то, чтобы установить контакт (Non-Interview System Time). В это время включены попытки наладить взаимодействие, зафиксировать отказ респондента от участия в исследовании, а также установить, что респондент не подходит по квоте.

• 2)    Системное время, потраченное на интервью (Interview System Time). В эту переменную входит только время, затраченное на само интервью (на заполнение анкеты).

• 3)    Общее системное время (Total System Time). Является суммой вышестоящих величин, то есть отражает общее время, потребовавшееся для результативных и нерезультативных соединений.

Эти переменные позволяют вычислить общую продуктивность опроса, а также спрогнозировать временные затраты для будущих исследований20.

Есть и определенные трудности, и методологические проблемы. Во-первых, поскольку параданные являются развивающейся областью, не сформированы общие критерии и стандарты сбора этих данных, их анализа и предоставления результатов. Новый тип данных требует создания новых методик и инструментов для анализа, и работы в этой области уже ведутся. Например, в Мичиганском институте социальных иссле-дований21 была разработана таблица индикаторов — система "dashboard", предоставляющая руководителям некоторый набор инструкций для принятия решений, но, как пишут Кройтер и Казас-Кордеро, есть ещё много возможностей для её улучшения [Kreuter, Casas-Cordero, 2010:10]. Потому на данном этапе развития этой области, на наш взгляд, необходимо максимально подробно фиксировать всю процедуру подготовки и анализа параданных.

Во-вторых, анализ смежных данных требует от исследователя времени и высокого уровня квалификации, а также возможности для эксперимента, что, в свою очередь, оказывается материально затратным. В-третьих, что в особой мере касается данных, собираемых интервьюерами, не все интервьюеры понимают и принимают необходимость фиксации своих наблюдений, что приводит или к большому числу пропусков, или к неточности или даже ошибкам в вводе данных. Также на это могут повлиять и условия работы: не все интервьюеры согла- сятся делать дополнительную работу за ту же плату, и не всегда в процессе опроса интервьюерам удобно (или просто есть время) фиксировать дополнительные сведения. Очевидно, что такого рода данные будут весьма субъективны и полностью зависеть от оценок интервьюеров, которые могут не совпадать по своим критериям. И, наконец, в-четвертых, не стоит забывать и о некоторых юридических и этических аспектах.

Пример анализа параданных в телефонном опросе

В апреле 2013 года Центром методологии федеративных исследований Института социального анализа и прогнозирования РАНХигС при Президенте РФ совместно с АНО "Социальная валидация" по заказу Благотворительного фонда "Ладога" в рамках проекта "Социальные риски пенсионного и предпенсионного возрастов: матрица угроз и возможностей для людей старшего возраста" проведен общероссийский телефонный опрос. Всего по стационарным и мобильным телефонам было опрошено 1602 человека старше 45 лет. Исполнителями исследования выступили два звонковых центра, территориально расположенные в Воронеже (Институт общественного мнения "Квалитас") и Томске (Маркетинговый центр "Контекст"). Всего в процессе сбора данных приняли участие 73 интервьюера. Полностью взятых интервью — 1602. По результатам работы лучшему интервьюеру была назначена премия в размере 5 тысяч рублей (это было своего рода методическим экспериментом, нужным, главным образом, для того, чтобы задача была решена до конца). Опрос проходил при помощи технологии ACATI, программное обеспечение — Survey Studio. Анализ сопутствующих данных применялся для оценки работы звонковых центров, а также для работы интервьюеров.

Звонковые центры

В процессе опроса регистрировались следующие параметры, которые мы будем использовать (в скобках приведено названии переменной из массива данных). Необходимо сразу отметить, что ни одна из этих переменных не связана с респондентом или конкретной анкетой, и идентификатор контакта необходим только на втором этапе анализа — при прослушивании аудиозаписей, а также проверке корректности заполнения анкеты.

Идентификатор респондента (ID) Идентификатор пользователя (UserID) Имя пользователя (UserName) Логин пользователя (UserLgIn) Звонковый центр (Partner)

Дата и время начала интервью (IVDate1)

Дата и время окончания интервью (IVDate2) Длительность интервью (сек.) (IVDur) Длительность звонка респонденту (сек.) (CallBDur) Результат соединения (Q1001) Результат дозвона (Res) Аудиозапись интервью

Всего было установлено 8809 соединений, то есть именно столько раз звонок был "отправлен" на интервьюера (то есть не было технической недоступности), когда ему приходилось принимать то или иное решение. 4515 соединений приходится воронежский call-центр, 4294 — на сибирский.

В переменной Q1001 (Табл.1) интервьюер был должен фиксировать результат соединения (имелось в виду именно то, когда респондент брал трубку и мог потенциально стать участником): 1) согласие на проведение интервью 2) отказ от интервью 3) другое. Другое также записывалось интервьюером (переменной Q1001_3). Важно отметить, что перед опросом интервьюеры прошли инструктаж, в котором было указано, что считать

"другим": поскольку опрос проводился только среди людей старше 45-ти лет, то респондент мог не подойти по квоте (в том числе, к телефону мог подойти ребенок), в домохозяйстве могло не оказаться респондента, удовлетворяющего критериям отбора, респондент мог не говорить по-русски или не быть гражданином РФ, мог быть в роуминге, мог иметь проблемы с речью или слухом, что делало интервью невозможным. Также сюда относились случаи, когда интервьюер попадал на автоответчик, в организацию (то есть телефон был рабочим, например, прокуратура, больница, магазин, правительство и др.), систему оповещения, факс, или же те случаи, когда респондент вёл себя не адекватно (ругался матом, предположительно, был пьян, имел психические расстройства, что также делало процесс интервью невозможным). Если же респондент ссылался на занятость, нежелание участвовать в опросе, то интервьюер должен был зафиксировать отказ. Как показал анализ (даже до прослушивания интервью), некоторые интервьюеры воспользовались возможностью снизить свой процент отказов, перенеся часть отказов в категорию "невозможно провести интервью". Стоит сразу сказать, что такая фиксация дозвона была экспериментальной, эффективность её не была подтверждена.

Поскольку переменная Q1001 не позволяла во многих случаях точно определить, чем же закончилось соединение (например, при прерванном интервью, или респондент соглашался на интервью, но не проходил по квоте — тогда у него стояло согласие на участие, но интервью не состоялось; или же не было отмечено согласие, а интервью было), то мы посчитали необходимым уже после завершения сбора данных ввести новую переменную — "результат дозвона". Она должна была фиксировать (на основе других данных анкеты), что в итоге произошло, и имела следующие значения: 1 — полное интервью, 2 — неполное (прерванное) интервью, 3 — отказ, 4 — тестовое интервью, 5 — квота, 6 — отказ второго респондента (отобранного), 7 — не установлен контакт с человеком старше 45 лет, 8 — невозможно провести интервью, 9 — нет ответа на вопрос о возрасте, 10 — не отмечено согласие, 11 — другое. Распределения по этой переменной приведены в Табл.2. Важно отметить, что фиксация результата дозвона интервьюером является сложным и не решенным до конца методическим вопросом, который не входит в задачи данной статьи. Это отдельная большая работа, потому на ошибках репрезентации, связанных с фиксацией достижимости и неответов, мы останавливаться не будем, а сосредоточимся только на ошибках измерения. Конечно, мы понимаем, что это вопросы не должны и не могут анализироваться изолированно друг от друга.

С точки зрения оценки работы интервьюера и контроля идеальной ситуацией было бы, если бы после завершения каждого соединения интервьюер самостоятельно отмечал (или был отмечен) один из следующих кодов: полностью состоявшееся интервью, прерванное интервью (респондент отказался участвовать дальше или бросил трубку), отказ, квота, отправлено на перезвон (если сейчас говорить не удобно или нужного респондента нет дома — с указанием причины), невозможно

Табл.1. Распределения по переменной "результат соединения

		Частота	Процент	Валидный процент	Накопленный процент
	Согласие	3783	42,9	44,7	44,7
	Отказ	4184	47,5	49,5	94,2
Валидные	Другое (что именно?)	487	5,5	5,8	100,0
	Итого	8454	96,0	100,0
Пропущенные	Системные пропущенные	355	4,0
Итого		8809	100,0

провести интервью (автоответчик, не гражданин РФ, в роуминге, не говорит по-русски и др. — с указанием причины), другое (указание, что именно), а также технические моменты (тестовое интервью и др.).

Из Табл.2. видно, что в нашем исследовании на 1602 полностью взятых интервью пришлось 301 прерванное. То есть от начатых интервью, если исходить только из этих двух переменных (1602 + 301 = 1903), до конца было доведено 84%. Таким образом, если смотреть по всем интервьюерам, среднее соотношение прерванных интервью к полностью взятым составляет 16% на 84%. Та же ситуация и с отказами: соотношение отказов (4184 + 161 = 4345) и полностью взятых интервью (1602) — 73% к 27%. В дальнейшем мы увидим, что если брать только интервьюеров с 30 и более интер- вью, процентное соотношение изменится в более "приятную" для исследователя сторону.

Не подошли по возрасту 1292 респондента, в общем с отказами, прерванными и полными интервью мы получаем 7540 соединений. На другие случаи приходится ещё 1269 соединений (14% от общего числа), рассмотрим их более подробно. В двух случаях мы имеем тестовые интервью, которыми можно пренебречь. В 487 случаях — "не установлен контакт с человеком старше 45 лет" — имеется в виду ситуация, когда интервьюер отметил в анкете, что в домохозяйстве есть человек, который может стать респондентом в данном исследовании, но контакт с ним установлен не был. Это могло произойти по ряду причин: контакт не отправлен на перезвон (это ошибка интервьюера), при повторном перезвоне никто не взял трубку, были набраны все анкеты и перезвон не происходил и т.д. Очень важно, чтобы предоставленная база данных располага- ла сведениями о том, сколько раз осуществлялся перезвон на данный номер, в какие сроки эти перезвоны проводились, чем закончились попытки установить повторное соединение. Для исследователя важно понимать, с какого раза был осуществлен дозвон до респондента, а также, что произошло с номерами, отправленными на перезвон. Эта тема остается за рамками нашего анализа, но обговорить её здесь мы обязаны, поскольку в данном случае, помимо оценки достижимости, у нас тоже возникает возможность контролировать работу и звонкового центра (например, в вопросах технической достижимости), и каждого интервьюера.

Важнейшие показатели в нашем исследовании — "не отмечено согласие" (355 значений), то есть не отмеченный ответ на первый вопрос анкеты, и "нет ответа на вопрос о возрасте" (197 значений), которые привели к системным пропускам в базе данных. Эти показатели напрямую связаны с оценкой качества работы интервьюеров, поскольку могут говорить о некорректном заполнении анкеты. В базе таких значений 355. Любопытно, что именно в этих показателях звонковые центры демонстрируют значительные различия: так называемых "мис-сингов" у воронежского центра значительно больше. Эти показатели можно сравнивать и по строке, поскольку по количеству полностью взятых интервью оба звонковых центра показывают схожие результаты (796 и 806, то есть 49,7% против 50,3%). Итак, в Табл.2. показано: в Воронежском звонковом центре не отмечен возраст 124 раза по сравнению с 73 в Сибирском (на 51 раз больше, разница в 26%), не отмечено согласие — 206 раз по сравнению с 149 (больше на 57 раз, разница в 16%). Это совпадение не случайно, и, по всей видимости, в звонковых центрах по-разному фиксировались результаты дозвона, были даны различные инструкции интервьюерам, при-

Табл.2. Распределения по переменной "результат дозвона" по звонковым центрам, частота

Результат дозвона	Звонковый центр				Итого, частоты
	Воронежский		Сибирский
	Частоты	% по строке	Частоты	% по строке
полное интервью	796	49,7	806	50,3	1602
прерванное интервью	157	52,1	144	47,9	301
отказ	2226 0	53,2 0	1958	46,7	4184
тестовое интервью			2	100	2
в семье нет человека старше 45 лет	601	46,5	691	53,5	1292
отказ человека старше 45 лет	105	65,2	56	34,8	161
не установлен контакт с человеком старше 45 лет	81	69,8	35	30,2	116
невозможно провести интервью	161	33,1	326	66,9	487
не отмечено согласие	206	58	149	42	355
нет ответа на вопрос о возрасте	124	63	73	37	197
другой результат	58	51,8	54	48,2	112

няты разные практики работы с анкетой. Это очень важный результат, поскольку с обоими звонковыми центрами был проведен инструктаж, где объяснялись требования. Очевидно, что такого инструктажа было не достаточно, и разработка стандартов требований к звонковым центрам становится необходимой. Подтвердится это и дальнейшими изложениями.

Интересно и сильное различие в показателе "не установлен контакт с человеком старше 45-ти лет": 81 раз в Воронежском и 35 раз в Сибирском, то есть разница в 40%, и причину таких расхождений нужно найти.

Процент отказов у воронежского центра также выше, как у первого респондента (на 6,5%), так и у второго (на 30,4%). Но здесь важно учесть и показатель "невозможно провести интервью": в воронежском звонковом центре 161 раз, а в сибирском в два раза больше — 326 (на 33,8% выше). Поскольку это закрытие подразумевало последующую открытую кодировку при- чин, посмотрим на те ответы, которые дали интервьюеры в Воронежском call-центре: большинство из них не подходят по возрастной квоте, не являются гражданами РФ и не говорят по-русски, не слышат, попадают на телефон организации или офиса и др. Есть и интересные случаи: "вредная тётя", "по её словам она слишком стара, чтобы отвечать на вопросы", "не адекват", "уже принимала участие" и "усыпляет ребенка". Пожалуй, все варианты кроме "не адекват" должны быть отнесены к отказам. Теперь посмотрим на сибирский звонковый центр. Сразу бросается в глаза большое число ошибок, набивок на английском. "Бесплатно не хочет отвечать", "болит горло", "болеет", "маленький ребенок" и другое — всего почти 30 случаев, когда должны были записывать отказ. Мы видим, что, несмотря на разъяснения интервьюерам, что означает невозможность провести интервью, многие из них воспользовались возможностью уменьшить число отказов, списав их на "невозможность" провести интервью. Если рассматривать показатели невозможности и отказа вместе, то оба звонковых центра демонстрируют относительно схожие результаты: 2492 раза Воронежский и 2340 раз Сибирский. Все это приводит к необходимости унификации требований к кодировке несостоявшихся интервью, к разработке этих требований, а также к работе с интервьюерами по разъяснению. Также на данном этапе важно отметить, что такой сравнительный анализ двух звонковых центров оказывается полезен, но для окончательных выводов он не достаточен.

Интервьюеры

Посмотрим теперь на показатели интервьюеров. Предварительный анализ показал, что принципиальным для оценки качества работы является большое число интервью, взятых од- ним интервьюером, поскольку именно в такой ситуации мы имеем достаточное количество данных для анализа, в том числе, статистического. Мы решили сделать пороговым значением 30 интервью22. Кроме того, мы обнаружили, что существует реальная необходимость вводить переменную интервьюера, обозначающую не просто рабочее место или номер компьютера, за которых работал интервьюер, а его имя и фамилию. В таком случае, во-первых, удобнее работать с данными, где интервьюер предстает не как обезличенная величина, а как реальный человек, и, во-вторых, появляется возможность проводить сравнительный анализ работы одного и того же интервьюера в разных проектах (т.к. кодировки в зависимости от проекта могут отличаться). Существует и третий важный момент: при проведении инструктажа или тренинга у исследователя появляется возможность лично поговорить с интервьюером, минуя полевой отдел и непосредственно супервайзеров. То есть анализ работы интервьюе ра, помимо непосредственно звонкового центра, может проводить сам заказчик. Это возможно только при фиксации имени и фамилии, поскольку, учитывая большую текучесть кадров в звонковых центрах, под одним логином-паролем могут выступать несколько человек даже в рамках одного проекта. Кроме того, они могут путать присвоенные им номера, при сдачи смены забывать выйти из своего профиля и так далее.

Для демонстрации возможностей анализа показателей интервьюеров нет смысла приводить таблицы по обоим звонковым центрам, потому ограничимся подробным описанием только Сибирского (поскольку там работало меньше интервьюеров). Вообще, для звонковых центров характерна достаточно большая "текучка" кадров, и этим во многом осложняется контроль качества выполняемых ими работ. Только в данном проекте, сбор данных для которого проходил всего 7 дней, работали 73 интервьюера. Конечно, не все они работали 7 дней, более того, поскольку работа посменная, вряд ли они работали две смены подряд. В этой связи мы решили добавить переменную "количество рабочих дней", подсчитать которую не является проблемой. В данных, получаемых посредством CATI фиксируются дата и время всех соединений. Это опять-таки пример использования параданных для дополнительных задач исследования, и в описываемом случае мы осознали эту задачу уже в процессе анализа данных. В Табл. 3 в последнем столбце приведены показатели по числу рабочих дней для интервьюеров. Мы выбрали интервьюеров, взявших 30 и более интервью. Таким образом, из первого звонкового-центра в анализ попали только 12 интервьюеров из 22 ("выпали" 10 интервьюеров (К20, К22 — по 3 интервью, К07 — 5 интервью, К15 — 7 интервью, К06 — 8 интервью, К13 — 16 интервью, К16 — 17 интервью, К21 — 22 интервью, К12 — 23 интервью, К19 — 24

Табл.3. Данные по количеству интервью на каждого интервьюера, Сибирский звонковый центр

		полное интервью		прерванное интервью		отказ		Количество рабочих дней
		Частоты	% по строке	Частоты	% по строке	Частоты	% по строке
1	КОЗ	57	22,90%	10	4,00%	94	37,80%	5
2	К06	8	12,50%	1	1,60%	41	64,10%	2
3	К07	5	13,50%	2	5,40%	24	64,90%	1
4	К08	61	17,30%	7	2,00%	204	57,80%	7
5	К09	45	25,10%	6	3,40%	31	17,30%	4
6	К10	39	16,10%	6	2,50%	173	71,50%	6
7	KI 2	23	12,20%	7	3,70%	105	55,90%	5
8	K13	16	14,80%	1	0,90%	55	50,90%	3
9	K14	55	25,70%	2	0,90%	82	38,30%	7
10	K15	7	6,90%	8	7,90%	50	49,50%	4
11	K16	17	12,70%	2	1,50%	85	63,40%	7
12	KI 7	89	22,10%	12	3,00%	141	35,00%	6
13	K18	54	16,90%	16	5,00%	154	48,10%	5
14	K19	24	14,00%	7	4,10%	85	49,40%	4
15	K20	3	20,00%	1	6,70%	9	60,00%	1
16	K21	22	12,70%	2	1,20%	109	63,00%	4
17	K22	3	9,10%	4	12,10%	17	51,50%	1
18	K24	104	24,60%	12	2,80%	184	43,60%	7
19	K25	52	19,50%	6	2,20%	89	33,30%	7
20	K26	56	17,00%	13	3,90%	126	38,20%	6
21	K27	34	22,10%	10	6,50%	41	26,60%	5
22	K30	32	23,50%	9	6,60%	59	43,40%	2

интервью). Если просуммировать общее число интервью, приходящееся на этих интервьюеров, то 128 интервью этого звонкового центра не подходят для детального статистического анализа.

Мы видим, что в сибирском звонковом центре 5 интервьюеров работали по проекту каждый день, 3 интервьюера — работали 6 дней, 4 интервьюера работали 5 дней, столько же — 4 дня, всего один интервьюер работал 3 дня, два интервьюера — два дня, и, наконец, 3 интервьюера работали 1 день. Анализируемый звонковый центр не очень большой, может, именно с этим связано то, что большинство интервьюеров работали более трех дней. Интересным в данном случае становится различие между результатами интервьюеров, работающих равное количество дней. Так, интервьюеры К15 и К9 оба работают 4 дня, но их результаты по полностью завершенным интервью кардинально различаются: 7 и 45 интервью соответственно. Для того, чтобы понять эти различия, необходимо детально изучить часы работы в системе у данных интервьюеров.

Приведем число рабочих часов для интервьюера К15, а также число соединений, которые "принял" этот интервьюер в указанный временной отрезок:

• 1)    17 апреля 16:12-16:42 (7 соединений, 1 интервью) 30 минут

• 2)    19 апреля 15:26 — 20:58 (42 соединения, 2 интервью) 5 часов 32 минуты

• 3)    20 апреля 15:21 — 20:39 (38 соединений, 3 интервью) 5 часов 18 минут

• 4)    21 апреля 18:05 — 20:14 (14 соединений, 1 интервью) 2 часа 9 минут

Мы видим, что в первый день интервьюер проработал всего 30 минут, а за четыре дня работы он находился за компью- тером 13 часов и 29 минут. За это время на него было отправлено 101 соединение, из которых он смог заполнить 7 анкет. Судя по таблице, у данного интервьюера также рекордное число прерванных интервью — 8, то есть на одно больше, чем полностью состоявшихся. Эти показатели не очень хорошие, потому записи его интервью, особенно прерванных, необходимо прослушать. Обычно для адекватного представления об интервьюере достаточно прослушать три полных интервью, и одно-два прерванных.

Теперь сравним его с показателями интервьюера К09:

• 1)    17 апреля 16:35 — 20:51 (49 соединений, 4 интервью) 4 часа 16 минут

• 2)    18 апреля 13:52 — 20:55 (42 соединения, 6 интервью) 7 часов 3 минуты

• 3)    19 апреля 08:15 — 14:57 (37 соединений, 14 интервью) 6 часов 42 минуты

• 4)    23 апреля 10:22 — 20:55 (51 соединение, 21 интервью) 10 часов 33 минуты

Данный интервьюер всего провел за работой 28 часов 34 минуты, за это время на него было направлено 179 соединений. Из них результативным интервью завершились 45. То есть этот интервьюер работал в среднем в два раза больше предыдущего, также пропорционально и количество соединений. Кроме того, у данного интервьюера всего 6 прерванных интервью. Даже по самым грубым подсчетам очевидно, насколько выше результативность данного интервьюера. Тем не менее, это не означает, что аудиозаписи его интервью не стоит слушать.

На основе двух этих примеров мы приходим к пониманию того, что только число рабочих дней, по сути, ничего не объясняет, и появляется необходимость анализировать количество рабочих часов. Так мы можем сформировать ещё один критерий оценки эффективности работы интервьюера и то требование, которые необходимо предъявить звонковому центру: фиксация количества уникальных и общих часов работы каждого интервьюера (имеется в виду по каждому дню и в целом). Звонковые центры располагают такой информацией, так как фиксируют время работы интервьюеров и компьютеры, за которыми они сидят. Важно записывать не только количество часов, но и дату, и время, так как результативность дозвона во многом зависит от этого фактора.

Во втором звонковом центре ситуация оказалась куда более критической — более 30 интервью взяли всего 8 интервьюеров из 51, что, вероятно, связано с тем, что этот звонковый центр значительно больше предыдущего. В общей сложности, мы упускаем из анализа 128+462=590 интервью по данному проекту, что, исходя их результативных 1602, составляет более трети данных (37%). Конечно, их можно и нужно прослушивать, но это скорее кейсы, нежели данные, по которым можно вести статистику. Потому в дальнейших исследованиях видится необходимым минимизировать количество "случайных" интервьюеров, и сформировать этот как одно из требований для звонковых центров.

Табл.4. Данные по лучшим 20 интервьюерам

	полное интервью		прерванное интервью		отказ
	Частоты	% по строке	Частоты	% по строке	Частоты	% по строке
коз	57	22,9%	10	4,0%	94	37,8%
К08	61	17,3%	7	2,0%	204	57,8%
К09	45	25,1%	6	3,4%	31	17,3%
К1О	39	16,1%	6	2,5%	173	71,5%
К14	55	25,7%	2	,9%	82	38,3%
К17	89	22,1%	12	3,0%	141	35,0%
К18	54	16,9%	16	5,0%	154	48,1%
К24	104	24,6%	12	2,8%	184	43,6%
К25	52	19,5%	6	2,2%	89	33,3%
К26	56	17,0%	13	3,9%	126	38,2%
К27	34	22,1%	10	6,5%	41	26,6%
КЗО	32	23,5%	9	6,6%	59	43,4%
A-l	49	22,6%	5	2,3%	83	38,2%
А-2	60	21,1%	16	5,6%	111	39,1%
Г-1	33	22,4%	4	2,7%	61	41,5%
Л-1	31	18,0%	10	5,8%	63	36,6%
Н-2	65	26,1%	5	2,0%	91	36,5%
П-2	33	22,1%	2	1,3%	75	50,3%
4-1	31	18,5%	10	6,0%	82	48,8%
Щ-2	32	18,8%	6	3,5%	78	45,9%

Итак, для детального анализа у нас осталось 20 интервьюеров из обоих звонковых центров. Сведем их показатели в одну таблицу (Табл. 4). Теперь сравним индивидуальные значения со средними и исключим ещё несколько интервьюеров. Максимальное число отказов — 71,5% и 57,8% наблюдается у интервьюеров К10 и К08 соответственно. Кроме того, у многих интервьюеров низкая результативность по начатым интервью, другими словами, много прерванных. Это интервьюеры: К27 (взято 34, прерванных 10, процент законченных от начатых: 77%), К30 (32 взято, прервано 9, закончено 78%), А-2 (16, 60), Л-1 (31, 10 — 76% завершено), Ч-1 (31, 10 — 76% завершено). Таким образом, у нас остаётся 13 интервьюеров с лучшими пока-зателями23. Именно эти интервьюеры и составляют тот "костяк", на который стоит ориентироваться в дальнейшем и отбирать их для своих проектов, потому необходимо прослушать аудиозаписи их интервью. Для более точного представления о работе этих интервьюеров были прослушаны для каждого интервьюера: 3 аудиозаписи полностью состоявшихся интервью (с одновременной проверкой корректности заполнения анкеты), одно прерванное интервью, несколько отказов. Фиксировались и оценивались коммуникативные качества интервьюера, его эффективность, вежливость и некоторые другие качества, о которых нужно говорить более подробно. Конечно, такая оценка полностью субъективна, потому необходимо, чтобы эту работу проводило несколько человек, а сами записи отбирались случайным образом. Кроме того, можно также оценивать работу интервьюеров по ряду критериев, например, предложенных Энн Картон и Гиртом Лузвельдтом: 1) то, как заполнена информация в закрытых вопросах, 2) то, как часто встречаются варианты "затрудняюсь ответить", 3) то, как подробно заполнена информация в открытых вопросах [Carton, Loosveldt,1998]. Оставим этот вопрос для дальнейших рассуждений.

Выводы

В социальных обследованиях, проводимых при помощи автоматизированного телефонного интервью, параданные предоставляют новые возможности измерения, оценки и проверки собираемых данных, позволяют анализировать особенности функционирования метода с точки зрения получаемой информации, а также с точки зрения взаимодействия между интервьюером и респондентом. Кройтер и Казас-Кордеро также пишут о том, что сегодня все больше исследовательских компаний понимают возможные преимущества смежных данных, что отражается в специализированных секциях на международных конференциях, например конференции "International Workshop on Household Survey Nonresponse", проводимой Европейской ассоциацией исследователей общественного мнения под руководством Роберта Гроувза и Ларса Лайберга, ежегодных конференциях Американской ассоциации исследователей общественного мнения , на встречах статистов Joint Statistical Meetings, заседаниях Международного института статистики , а также конференциях, организованных Евростатом [Kreuter, Casas-Cordero, 2010].

В перспективе в анализ можно включать любой вид информации, которая будет регистрироваться. Например, канадские коллеги разработали и ввели в эксплуатацию систему интеграции данных и планирования производства "DIPP" [Laflamme, 2008]. Эта система накапливает и анализирует три типа данных: файлы CATI опросов, файлы CAPI опросов, а также административную и финансовую информацию по каждому интервьюеру в каждом проекте. Регистрируются его имя, фамилия, возраст, статус, виды интервью, опыт, проекты, в которых он принял участие, задачи, которые он выполнял, часы работы (в том числе, сколько он всего отработал в системе CATI), а также стоимость работы в CATI/CAPI опросах. По заявлению Франсуа Лафлама, только за пять лет работы к концу 2008 года система DIPP включала около 60 миллионов записей операций и 9 миллионов административных записей о 722 этапах исследований (например, месячный опрос состоит из 12 этапов), которые представляют собой данные о 80 исследованиях. Конечно, такой уровень работы с параданными на сегодняшний день в нашей стране находится в далекой перспективе, но, на наш взгляд, перспективе достижимой, поскольку уже очевидны те новые возможности, которые открывает анализ смежных данных как с точки зрения оценки работы звонкового центра и, в частности, интервьюеров, так и с точки зрения общего понимания процесса сбора социологических данных.