Реализация исследований на заказ: о проблеме противоречия между логикой социологического исследования и сложившихся практик их проведения

Важным этапом в отношениях государства и социологии стало внедрение практики исследований в реализацию государственной и муниципальной политики. Показатели на их основе активно вводятся в качестве критериев оценки эффективности реализации той или иной программы, становятся отчетными. Это приводит к росту числа исследований, а также к гораздо большей известности опросной практики. Другой вопрос, как это сказалось на качестве работ и на репутации профессионального сообщества в регионах.

Проблемы взаимодействия заказчиков и исполнителей в исследовательской сфере неоднократно поднимались в рамках статей и дискуссий, в особенности, организованных Ассоциацией "Группа 7/89" [См., напр.: 3]. Нам бы хотелось остановиться на диспропорции во взаимоотношениях заказчика и исследователя, которая часто приводит к проблемам валидности. Отчасти речь идет не только о госзаказе, но и о иных практиках, например, организации исследований силами специальных отделов органов власти с использованием подрядчика только для части работ (например, инструментарий готовится заказчиком). Вероятно, описываемые проблемы не специфичны для этих акторов, но, во-первых, госзаказчик поставлен в особую ситуацию торгов, которая сама по себе приводит к ряду трудностей, во-вторых, большая часть информации, имеющейся в распоряжении автора, касается именно таких исследований.

В самом общем виде, как нам кажется, проблема состоит в рассогласовании, противоречии между логикой социологического исследования и тех практик, который сложились на рынке исследований для госзаказчика. Или подчас в подмене исследовательской логики административно-управленческой. В основе статьи лежит опыт нескольких представителей исследовательских компаний, работающих в России, специалистов, работающих на основе субподряда с исследовательскими компаниями, специалистов, отвечающих в государственных учреждениях за заказ и взаимодействие с исследовательскими организациями, а также собственные наблюдения автора. Целью не является тотальная критика или обобщение выводов на всю сферу (для чего у автора явно недостаточно материалов), но демонстрация и анализ нескольких противоречивых ситуаций, характерных для многих региональных исследований (так как с реализацией федеральных автор также знаком не достаточно).

Первый аспект (он в наименьшей степени специфичен для ситуации госзаказа, а, скорее, является общим местом) — каждая сторона оперирует цепочкой фреймов (фрейм заказчика, социолога, продукта), которые предписывает соответствующие нормы поведения. В ряде ситуаций заказчик воспринимает некоторые вопросы как проблемы управленческие, а они являются проблемами методологическими и методическими.

Не секрет, что социологическое исследование в глазах не-социолога — это почти исключительно опрос. Это приводит к упрощенному видению исследовательской практики и вмешательству со стороны заказчика. Отсутствует четкая и разделяемая обеими сторонами граница, отделяющая те области, где происходит учет нужд клиента от "профессиональной кухни". Причем подход, при котором заказчик, уверенный в простоте процедуры, участвует в формировании инструментария, противоречит и логике поллстерской практики. Ведь она не сводится к задаванию произвольных вопросов, но предполагает знание того, как задать валидные относительно поставленных задач, однозначно понимаемые вопросы. Об исследованиях, где задачей ставится не выяснение мнений по отдельным вопросам или получение информации о намерениях, а решение более комплексной проблемы, не стоит и говорить. Мониторинговое наблюдение со стандартным набором вопросов составляет, пожалуй, исключение — набор переменный действительно заранее известен.

При этом бывает сложно получить ответ на вопрос о том, что интересует заказчика, ответы на какие вопросы, решение каких проблем он стремится получить, заказывая исследование. Вместо проблемы (которая идет первой, как указано в любом учебнике по эмпирическим исследованиям) он формулирует, по сути, гипотезу, пользуясь популяризованными понятиями из социальных наук. Иногда это выражается в том, что поставленная задача не ясна ни исполнителю, ни заказчику. Как, например, в случае, когда одной из задач исследования отношения к употреблению наркотических средств ставился "анализ ценностных установок на употребление наркотиков".

Далее, главные параметры продукта с точки зрения заказчика — это сколько человек было опрошено и как именно звучали вопросы. Это не дает, во-первых, перейти от размера выборки к точности как параметру исследования, что было рекомендовано, например, рабочей группой "Открытое мнение" [5]. Если исследование становится дороже, необходимо достаточное основание, которым может быть число опрошенных, но не может стать эфемерная точность. Во-вторых, эта особенность восприятия ограничивает в применении тестовой традиции и приводит к попыткам измерить латентную переменную напрямую, используя простые опросные средства. Сложно судить, насколько распространена такая позиция, но один из исполнителей, часто работающий с госзаказчиками, говорил, что, даже понимая несовершенство привычной методики изучения этно-контактной ситуации, легче воспроизвести ее, снова замерить уровень толерантности с использованием шкалы Богардуса, чем доказывать адекватность новой. Здесь нужно еще иметь в виду другое измерение проблемы — изменение методики или использование более сложных методик расчета показателя мо- жет составить трудности для государственных учреждений, у которых социологическая информация является элементом отчетности.

При таком упрощенном понимании исследования, понимание роли исследователя, однако, отличается. Его часто вынуждают находиться в роли социального технолога, разрабатывающего рекомендации на основе не комплексного исследования, а проведенного опроса общественного мнения.

Инструментарий исследования — это, в первую очередь, выборка и анкета. При этом иногда требуется программа исследования. Достаточно противоречива ситуация, в которой вмешательство происходит на стадии формулирования технического задания, когда в качестве задач прописываются конкретные переменные, само собой разумеющиеся, с точки зрения заказчика. Например, в исследовании, предметом которого являлась социально-политическая ситуация, в качестве задач в техническом задании ставилось измерение показателей экономического оптимизма населения, уровня доверия к ряду институтов и некоторые другие переменные (был дан очень детальный перечень). При такой детализации ясно, что в основе технического задания уже заложено некоторое системное видение предмета исследования. В этом случае вызывает вопрос требование технического задания разработать программу исследования, включающую теоретико-методологическую часть. Что касается результатов работы, то здесь применяется шаблон, устоявшийся относительно отчета по НИР — с выделением гипотез, выводами и рекомендациями. Отсюда появляются гипотезы, сформулированные на основе прописанных заказчиком задач, и больше похожие на ставки, например: "Число удовлетворенных работой N будет больше в сравнении с предыдущим замером".

Об этом аспекте чаще говорят как о недостатке компетентности у заказчика. Но можно ли винить людей в недостатке компетентности в чужой профессиональной области? И нет ли здесь вины самих социологов-прикладников?

Второй аспект — ситуация, в которую поставлен заказчик экспертного продукта, для оценки которого нет единых стандартов.

С одной стороны, заказчик не может определять дизайн будущего исследования, особенно, если оно не является типовым, проводящимся в мониторинговом режиме, так как для этого ему необходимо самостоятельно перейти от проблемы управленческой к проблеме исследовательской, целям и задачам, типу требующихся данных, методике их получения, объему выборки.

Но если речь идет о торгах, то, не определяя всего вышеназванного, он не гарантирован от некомпетентных или злонамеренных действий исполнителя. Ведь в этой сфере нет объективных требований, поэтому даже в судебном порядке разрешение споров является большой проблемой [См., напр.: 2]. Поэтому прописать все максимально четко и детализировано считается правильным и профессиональным подходом.

С другой стороны, заказчик в любом случае поставлен в ситуацию, когда он должен принять и утвердить профессиональный продукт в виде программы исследования, оценить его адекватность в качестве инструмента для получения ответа на первоначальный вопрос с достаточной степенью надежности. Это при том, что часть информации исполнитель обычно не стремится слишком афишировать, например, когда речь идет о погрешности в квотированной выборке. Например, в случае выявления ошибок в инструменте, в судебной практике принято апеллировать к тому, что этап работ был принят заказчиком.

Из-за этой ситуации постоянного перехода границы возникает несколько проблем валидности, обусловленных самой структурой отношений заказчика и исполнителя. Они связаны, во-первых, с неадекватностью дизайна исследования, во вторых, с неадекватностью инструментального решения по- ставленной в исследовании цели и задачам. Нельзя судить, насколько они часты, но, по опыту наших информантов их можно считать вполне типичными.

• 1.    Недостаточный объем выборки для представления данных в разрезе интересующих заказчика групп. При этом получение соответствующей информации выносится одной из задач в техническом задании. Например, при региональной выборке в 1200 человек, одной из задач было "получение рейтинга телеканала в разрезе региона, муниципальных образований и основных социально-демографических и профессиональных групп" . По результатам сбора данных Заказчик просил сделать таблицы распределения ответов на все вопросы в разрезе даже явно ненаполненных групп (некоторые профессиональные группы насчитывали 10-15 человек).

• 2.    Неадекватность метода сбора информации поставленным задачам. Приведем два примера. В первом случае на основе фокус-групп предлагалось спрогнозировать риски в области этно-конфессиональных отношений. Метод фокус-группы был выбран потому, что проводившиеся ранее опросы не удовлетворили заказчика, описания были сухими, а выводы тривиальными. Специалист по данной проблематике объяснил заказчику, что на основе данных фокус-групп полноценного прогноза построить нельзя, встретив понимание. Однако менять что-то было уже поздно — техническое задание написано, договор заключен.

• 3.    Привнесение в инструментарий административно-юридической логики. Логика муниципального исследования [cм., напр.: 4], разворачивающаяся от потребности человека к институциональному способу ее удовлетворения, подчас оказывается нарушенной. Исследовательские компании и аналитиков иногда ставят в ситуации, когда они должны предъявлять респондентам формулировки, отражающие разделение сфер ответственности между учреждениями и организациями (" Оцените, пожалуйста, качество услуг по водоснабжению, предоставляемых N в Вашем городе", "Оцените, пожалуйста, работу правоохранительных органов по защите жителей вашего города от экстремистских и террористических организаций?" ), в то время как рядовые горожане чаще всего не видят административных перегородок. Изменить что-либо иногда нельзя, так как соответствующие формулировки закреплены в протоколах и актах.

• 4.    Попытка возложить на респондента, с одной стороны,

Другой пример — не учтенные отличия телефонного опроса от маршрутного. Респондентам предлагалось по телефону ответить на 50 или 60 вопросов, часть из которых предполагала выбор одного или нескольких вариантов из достаточно солидного перечня (зачитывался перечень проблем из 15 или 20 позиций, после чего предлагалось выбрать 5 наиболее острых). Метод телефонного опроса был выбран, вероятнее всего (мнения заказчика по этому поводу получить не удастся), из экономии, а перечень вопросов взят из предыдущего исследования, проведенного с помощью маршрутного опроса.

Наверное, к этому же пункту можно отнести ситуации, в которых число поставленных задач противоречит методическим рекомендациям к проведению опросов. Хотя, всем интуитивно ясно, что даже более высокая стоимость анкеты не даст интервьюеру возможности удерживать внимание респондента при поквартирном опросе в течение часа, иногда проблема, видимо, возникает. Итог — большое число оборванных интервью и отказов. Пример приводит один из наших информантов: "Объять необъятное. За один опрос подайте им электоральную ситуацию в смысле проблем, ожиданий, социальной напряженности; оценку сделанного депутатами за пятилетний срок, узнаваемость депутатов. Предлагаю два этапа … Нет, так дороже. Итог: 90 переменных, 14 открытых вопросов, каждый из которых я потом обрабатываю … При этом — … непонимание, чего это я там ковыряюсь, если я анкеты уже три дня назад как собрала?!".

управленческие, с другой — исследовательские задачи, преувеличение компетентности респондентов и возможностей их рефлексии. Типичный пример — это попытка получить наиболее эффективный способ решения проблемы обратившись к "общественному мнению". В отчетах, где одной из задач значится определение на основе полученных данных наиболее эффективных средств профилактики наркомании в молодежной среде, можно увидеть распределение ответов молодежи на вопрос: "Что, на Ваш взгляд, нужно делать, чтобы…".

Здесь также должен стоять вопрос о целесообразности проведения исследования по указанной проблематике в принципе. В управленческой практике существует немало ситуаций, когда рядовые респонденты не смогут помочь выбрать правильное направление работы. Но соблазн опереться на популярную практику велик. В качестве примера можно привести следующую задачу в мониторинговом исследовании наркотизации населения: "Анализ эффективности ранее принятых мер противодействия незаконному распространению оборота наркотиков …" .

Конечно, все перечисленные проблемы могут возникать и исключительно из-за исполнителя, но это отдельная тема. Также интересна проблема интерпретации результатов исследований заказчиком (она пересекается с часто поднимаемой темой журналистской интерпретации, но не сводится к ней).

В результате полученные материалы подчас заказчика не удовлетворяют, в адрес социологии вообще звучат упреки: "Что она может дать, кроме наукообразного оформления банальностей?".

Также эта ситуация с вмешательством и подменой исследовательской стратегии административно-управленческой обусловливает обратное влияние логики заказчика на профессиональную практику и шире — на общественные отношения. В том числе — через дальнейшее использование материалов в презентации (а ведь целью исследования часто является презентация, к которой социологическое исследование добавляет научной респектабельности). Происходит закрепление этой логики на практике и постоянное ее воспроизведение. Частный пример для иллюстрации — проблемы "засилья мигрантов" в административном смысле не существовало, пока соответствующий опрос не выявил, что проблемой обеспокоено 10, 15, 20% опрошенных. Но для этого заказчик в начале про- блематизировал группу с определенной точки зрения и поставил исследовательские задачи, воплотившиеся в инструментарии. На эту особенность опросов обратил внимание П. Бурдье: опрос предполагает некоторый консенсус относительно значимости проблемы и точки зрения на нее (проблематизируе-мой стороны объекта). В нашем примере обеспокоенность людей превращается в одностороннюю оценку проблематизиру-емой группы, а не, например, принимающей среды. Затем через сообщения СМИ и доклады происходит ее легализация в публичном дискурсе и закрепление. Проблема не поднимается, пока она не является проблемой административной. И поднимается она в административной логике.

***

В качестве метода контроля качества не раз предлагалась внешняя экспертиза. Но также не раз отмечалось, что ее проведение в неконфликтной ситуации практически невозможно без желания заказчика [См., напр.: 3]. Указанные проблемы, нам кажется, говорят о том, что экспертиза или, скорее, некая форма институциализированной консультации нужна не постфактум, а на стадии формулирования заказчиком потребности.