Нужен ли хорошему социологу внешний аудит качества?



Нужен ли хорошему социологу внешний аудит качества?

Результаты эксперимента по проведению независимой                  Николай Соколов, Дмитрий Гавра, СПбГУ экспертизы исследовательского проекта                            Игорь Задорин, исследовательская группа ЦИРКОН

Развитие процессов стандартизации и методик управления качеством в прикладных исследованиях является одной из насущных задач российского социологического сообщества. Отечественный рынок социологических, маркетинговых и родственных им исследований энергично растёт, и его общий объём приближается по различным оценкам уже к десятку миллиардов рублей в год1. За последние несколько лет многократно возросли расходы государственных органов различных уровней на приобретение социологической информации, что сделало госзаказ на исследования одним из главных сегментов российского социологического рынка. Растущий объем прикладных социологических исследований, выполняемых для органов государственного управления, позволяет говорить о переходе от разового (индивидуального) к "массовому", индустриальному производству социологической информации в интересах госзаказчиков. Естественно, в таких условиях всегда возникает необходимость в унификации (стандартизации) требований, предъявляемых к продукции, и исследовательские продукты не являются исключением. Однако до сих пор деятельность по проведению социологических и родственных им исследований в Российской Федерации не лицензируется и не сертифицируется, отраслевые стандарты практически отсутствуют, а независимый аудит качества работы исследовательских компаний — явление чрезвычайно редкое. С учётом того, что современная социальная наука сама по себе является мультипарадигмальной (одно и тоже явление совершенно по разному объясняется представителями различных школ и подходов), отличить квалифицированного исследователя от шарлатана, надёжную информацию от дезинформации, а грамотно выполненные процедуры от их имитации, оказывается весьма непросто.

Особенно уязвима в этом отношении позиция внешнего потребителя, который, как правило, не владеет достаточным объёмом специальных знаний, чтобы разобраться в тонкостях разногласий внутри социологического цеха, и фактически оказывается заложником исполнителей. Проблема усугубляется тем, что результаты применения социологической информации, как правило, непосредственно не наблюдаемы и проявляются порой через много лет. Растет число судебных исков заказчиков и исполнителей к друг другу. Однако суды затрудняются принимать какие-либо решения в отсутствии признанных требований к качеству исследования и его конечному продукту, нет нормативов — нет вердикта. Вот почему неизбежной и ближайшей перспективой представляется всплеск общественной дискуссии о качестве социологической информации2, а следом за ней — инициированный институциональными и крупнейшими коммерческими заказчиками бум стандартизации и внедрения обязательных инструментов управления качеством, который может не только потрясти российский исследовательский рынок, но и серьёзно ограничить нынешнюю "исследовательскую вольницу".

Одним из методов управления качеством и контроля качества прикладных исследований, который признан и получил распространение в других отраслях науки, выступает внешняя (независимая) экспертиза качества исследовательского проекта. Проведение такой экспертизы сторонней организацией, имеющей хорошую репутацию в профессиональном сообществе, позволяет не только повысить уровень доверия потребителя к исследовательскому продукту, но и дать толчок развитию исследовательских технологий. Ведь такая экспертиза всегда представляет "другой", сторонний взгляд на внутренние аспекты работы исследовательской компании, позволяет по-новому подойти к ранее казавшимся очевидными решениям. А это чрезвычайно важно для отрасли, базовыми чертами которой являются мультипара-дигмальность и альтернативные технологические практики. В этой связи весьма полезным является участие социологов в муль-тидисциплинарных исследовательских проектах, позволяющее вплотную соприкоснуться с культурой управления качеством, которая сформировалась в естественнонаучных отраслях. Эта культура подразумевает не только активное применение как внутренних, так и внешних процедур контроля качества, но и обязывает упоминать эти процедуры в публикациях по итогам иссле-дования3.

Лаборатория — Центр социологических исследований факультета социологии СПбГУ уже почти десять лет разрабатывает методику экспертной оценки качества социологических исследований и проводит независимые экспертизы качества исследовательских проектов. Первые выполненные в этой области работы носили "конфликтный" характер — они изначально имели своей целью проверить претензии к качеству исследования (как правило, со стороны заказчика). Задачи этих экспертиз были относительно просты — проверялись отдельные, обычно очевидные с самого начала аспекты. Однако по мере накопления опыта и проработки методики сформировалось представление о возможности комплексной, всесторонней, а точнее даже — интегральной оценки качества социологического исследования. Такая оценка интересна, прежде всего, тем, что позволяет сравнивать между собой разные проекты и исследовательские организации. Более того, такая экспертиза может проводиться с целью подтверждения качества исследовательского проекта, его соответствия определенным нормативам, стандартам. Таким образом, эта процедура может быть использована при конструировании входных барьеров, защищающих отраслевой рынок от недостаточно компетентных игроков, да и просто жуликов.

Вместе с тем, возможность и целесообразность "бесконфликтной" экспертизы в публичных и приватных дискуссиях неоднократно подвергалась некоторыми коллегами сомнению. Их ключевой аргумент заключался в том, что, если к исследованию нет претензий потребителей, то предмет экспертизы оказывается ничтожен. Опровергнуть этот тезис, равно как и понять прин- ципы применения внешней экспертизы качества в социологических исследованиях возможно только опытным путем. Экспериментальные работы требуются и для проработки методики оценки (скорее, даже множества возможных методических решений), и для выработки приемлемых для рынка и профессионального сообщества правил выполнения этой процедуры. Причем существенным требованием к условиям такого эксперимента является, как ни странно, высокое ожидаемое качество оцениваемого проекта. Ведь сверхзадача экспериментаторов заключается в проверке пригодности методики именно для подтверждения (а не опровержения, как в случае "конфликтных" экспертиз) качества исследования, а также в поиске ответа на вопрос — приносит ли пользу участие в подобной процедуре исследователю, который заранее уверен в качестве своего продукта.

Первый полномасштабный эксперимент по внешней комплексной оценке качества исследовательского проекта стал результатом сотрудничества факультета социологии СПбГУ и Исследовательской группы ЦИРКОН. Для оценки был выбран проект "Третий сектор" в Российской Федерации: оценка влиятельности", выполненный АНО "Социологическая мастерская Задорина" (группа ЦИРКОН) в 2007-2008 гг. Следует отметить достаточно высокий общественно-политический статус выбранного для экспертизы проекта — это исследование проводилось в рамках подготовки ежегодного доклада Общественной Палаты Российской Федерации о состоянии гражданского общества в России. На момент проведения экспертизы проект был полностью завершен и одобрен грантодателем. Основные результаты были включены в Доклад Общественной палаты Российской Федерации "О состоянии гражданского общества в Российской Федерации в 2007 г."4, а также опубликованы на сайте исследовательской группы ЦИР-КОН5. Таким образом, выбранное исследование практически идеально подходило показанным выше условиям эксперимента.

Сотрудничество СПбГУ и ЦИРКОН в рамках данного эксперимента было полностью инициативным и некоммерческим. Согласно предварительной договоренности, исследовательская группа ЦИРКОН предоставляла материалы проекта, а факультет социологии СПбГУ проводил их оценку. Но, несмотря на кажущуюся простоту задачи, стороны потратили несколько осенних месяцев 2008г. на скрупулезную проработку Договора на выполнение этой работы. Тщательность, с которой стороны подошли к созданию этого документа, объясняется, с одной стороны, пионерским характером предмета контракта, а с другой — ответственностью, которую ощущали составители. Ведь некоторые выработанные ими формулировки "рискуют" со временем стать стандартными для таких экспертиз. В этой связи имеет смысл представить некоторые детали соглашения.

Характер работ был определен как пробный (экспериментальный), направленный на решение научно-методических задач и изучение организационно-технических возможностей для проведения внешней оценки качества социологического исследования. Стороны не преследовали коммерческих целей и действовали безвозмездно.

Существенным вопросом при организации экспертизы является идентификация эмпирического объекта оценки. В данном случае факультет социологии СПбГУ не предъявлял каких-либо изначальных требований к информации, на основании которой предстояло выполнить экспертизу. Полномочия и ответственность по этому поводу были закреплены за группой ЦИРКОН, которая самостоятельно и единолично определяла перечень и объ-

ём исследовательских документов, передаваемых для анализа. При этом предусматривалось предоставление, как полных версий, так и фрагментов отдельных документов.

Другой важнейший вопрос — методика экспертизы. В этой сфере факультет социологии СПбГУ получил право самостоятельно и единолично выбирать методику оценки качества, разрабатывать инструментарий, определять состав экспертов и форму их участия в проекте, а также и формат итогового Заключения об оценке качества. Конечно, подобные "вольности" определялись экспериментальным характером работ, в ходе которых были получены убедительные аргументы в пользу стандартизации процедур, причем применительно к комплексам "документ — методика оценки".

Отдельный и очень серьезный вопрос — использование результатов экспертизы и обеспечение необходимого уровня конфиденциальности. В рамках нашего эксперимента было установлено, что все переданные для оценки материалы, равно как и представленные в Заключении результаты оценки являются открытыми. Использование последних также практически ограничено лишь требованием упоминать организации — участников эксперимента и авторов итогового документа. Безусловно, такой свободный режим опять-таки дозволен на стадии экспериментов — при широком внедрении экспертизы в исследовательскую практику потребуется выработать правила, защищающие стороны от некорректного и нецелевого использования информации, которой обмениваются участники процесса. Особенно это относится к ситуациям, когда внешняя экспертиза сопровождает исследование в ходе его выполнения. И это непростая задача — ведь главная цель внешней экспертизы в том, чтобы получить публичный продукт, позволяющий сравнивать исследовательские компании между собой и определять соответствие отраслевым стандартам.

Итак, Договор был подписан, и АНО "Социологическая мастерская Задорина" передала факультету социологии СПбГУ пакет исследовательской документации по проекту — всего 24 единицы. Забегая вперед, сообщим, что уже в процессе проведения экспертизы были дополнительно предоставлены еще 3 документа, а после её окончания (!) — еще 2. Все материалы были переданы в электронном виде в форматах MS Word, Excel, Power Point, Adobe Acrobat, SPSS. Какие же материалы оказались доступны экспертам? Это:

• •    "Концепция социологического исследования" — программный документ, созданный на стадии подготовки заявки на финансирование;

• •    инструментарий исследования — анкеты для опросов представителей НКО, органов власти и бизнеса, вопросник всероссийского опроса населения, гайд экспертного интервью, инструкции и комментарии к ним (всего 10 ед.);

• •    первичные материалы исследования — 4 массива данных опросов, 3 стенограммы экспертных интервью (в качестве примера), организационно-методический отчёт по полевому этапу;

• •    аналитические отчёты — отдельно по опросам представителей НКО, власти и бизнеса, опросу населения и опросу экспертов;

• •    презентация результатов исследования и краткое аналитическое резюме;

• •    матрицы сопряженности, содержащие результаты статистической обработки данных опросов (3 таблицы);

• •    2 письма руководителям отобранных для опроса организаций за подписями руководителей компании ЦИРКОН и Общественной палаты РФ.

К сожалению, два последних документа (письма поддержки) оказались в распоряжении экспертов уже после завершения работы. В результате итоговая оценка качества по критерию "этика исследования" оказалась ниже, чем она могла быть. Этот пример демонстрирует необходимость стандартизации не только процедуры оценки качества (в данном случае речь идет об оценке определенных параметров путем анализа определенных документов), но и самой исследовательской практики в части номенклатуры и содержания, по крайней мере, некоторых основных документов.

Как проводилась оценка качества исследования? Авторы данной экспертизы интерпретировали качество как валидность исследовательского продукта в её исходном (от английского valid) понимании, т.е. как его пригодность, применимость для целей, заявленных в программных документах проекта. Соответственно, основная задача оценки качества исследования состоит в проверке этого исследования на наличие оснований для того, чтобы считать его результаты негодными или ограниченно годными для использования.

Важно заметить, что, во-первых, качество в такой интерпретации — это не дискретная и, тем более, не дихотомическая переменная. Напротив, речь идет о непрерывной величине, т.е. о мере или степени, в которой исследовательский продукт можно признать качественным (годным). Во-вторых, такая интерпретация качества де-факто подразумевает сравнение реального исследования с определенным идеалом и определение потерь качества, которые были допущены в конкретном проекте. Следовательно, даже от добросовестно выполненного исследования не стоит ожидать идеального качества (абсолютной пригодности), а нужно определить, какие ограничения должны учитываться при использовании его результатов. Разумеется, если потери качества превышают некоторое критическое значение, ограничение на применение данного продукта становится абсолютным, т.е. он должен быть признан совершенно ни для чего не годным. Обратим внимание, что предложенная модель качества опирается на идеал и фактически игнорирует норму — наиболее распространенные и одобряемые профессиональным большинством практики работы.

Следующее важное замечание относительно нашей методики состоит в необходимости учитывать технологическую природу объекта оценки. Качество технологии в целом и технологического продукта складывается из качества технологических элементов и этапов. С учётом сказанного выше это означает, что потери качества на каждом этапе, в каждом звене технологической цепи вызывает снижение годности итогового продукта. Поэтому, с одной стороны, для получения общей оценки качества необходимо рассматривать все технологические элементы, т.к. "прокол" даже в одном из них может свести на "нет" все усилия исследователей. (Например, если интервьюеры фальсифицируют опросные листы, качество инструментария, выборки, обработки и т.д. уже не имеет значения) С другой стороны, влияние, как отдельных технологических элементов, так и отдельных технологических ошибок на общую оценку качества различно. Следовательно, общая оценка не может быть просто суммой или средним арифметическим из оценок по отдельным позициям, а должна быть взвешенной.

Наконец, последнее существенное методическое замечание касается источника, в котором возможно обнаружить необходимый для оценки эталон. К сожалению, практикующие социологи сегодня лишены возможности опираться на общепризнанные, "канонические" тексты, представляющие идеальные технологические решения исследовательских задач. Напротив, методический дискурс современной социологии — это бесконечный спор по самому широкому спектру проблем. В этих условиях единственным источником представлений об идеальном и нор- мальном качестве может служить только само профессиональное социологическое сообщество, его коллективное сознание. Именно на него в лице специализированного сознания экспертов и опирается методика нашего эксперимента. Если идеал или норматив де-факто отсутствуют в документально фиксированной форме, то единственный способ оценить качество состоит в организации дискуссии между оценщиками с перспективой достижения некоторой компромиссной оценки.

Интерактивный формат оказался, таким образом, оптимальным для организации работ по экспертизе. Причем необходимо было обеспечить взаимодействие по двум направлениям — внутри экспертной группы и между экспертами и исполнителями экспертируемого проекта. Для понимания реальных ограничений этой работы следует напомнить, что выполнялась она в экспериментальном режиме и безвозмездно, в связи с чем некоторые процедуры были скорее смоделированы, чем выполнены в полном объёме. Так, в данном случае отсутствовала возможность организовать экспертный опрос с привлечением внешних по отношению к СПбГУ специалистов. Подобная процедура хорошо зарекомендовала себя в ходе выполненных ранее "конфликтных" экспертиз — она позволяет моделировать профессиональную среду и получать оценки, как представителей академической науки, так и практикующих социологов, как методологов, так и менеджеров и т.д. Однако в данном случае функции экспертов были возложены только на сотрудников университета — в СПбГУ была сформирована рабочая группа, в состав которой были включены три ведущих специалиста, занимающиеся проблемами качества социологических исследований, имеющие высокий уровень методической подготовки и опыт руководства эмпирическими исследовательскими проектами.

Эксперты консолидировано определили перечень технологических элементов, оценку качества которых необходимо было произвести. При этом члены рабочей группы стремились не столько отразить специфику объекта оценки, сколько воспроизвести классическую, общераспространенную структуру процедуры эмпирической диагностики социальной реальности, как им она (структура) представляется. В результате предметом оценки стали следующие компоненты исследования:

• 1)    интерпретация проблемной ситуации и постановка исследовательской задачи;

• 2)    выбор объекта, предварительный системный анализ объекта;

• 3)    гипотезы исследования;

• 4)    выбор методов;

• 5)    инструментальные решения;

• 6)    выборки;

• 7)    организация исследования;

• 8)   полевые процедуры;

• 9)   этика исследования;

• 10)    менеджмент данных;

• 11)    аналитические решения;

• 12)    отчетные материалы.

По результатам первоначального ознакомления с представленными материалами эксперты сформулировали 14 вопросов к исполнителям социологического исследования, в т.ч. по концепции исследования — 3 вопроса, по опросу представителей НКО, власти и бизнеса — 6 вопросов, по опросу населения — 4 вопроса, по опросу экспертов — 1 вопрос. На все вопросы экспертов исполнители социологического исследования представили развёрнутые, аргументированные ответы и комментарии.

Ориентируясь на представленный выше перечень технологических элементов, эксперты поодиночке проанализировали исследовательскую документацию, ответы и комментарии исполнителей, определили собственную позицию по каждому компоненту исследования и сформулировали замечания относительно технологических недостатков, которые, по их мнению, ведут к потерям качества проекта в целом. При этом каждый эксперт самостоятельно определял объем знакомства с полученными мате- риалами и критерии оценки каждого технологического элемента. В процессе оценки эксперты использовали 10-балльную шкалу, в которой максимальный балл 10 соответствует идеальному технологическому решению, у которого не удалось выявить признаки потери качества.

Дальнейшая процедура включала в себя обсуждение внутри экспертной группы и выработку согласованных оценок по отдельным компонентам исследования, а также интегральной. Поскольку, предположительно, разные компоненты исследования имеют разное влияние на качество проекта в целом, а объем накопленных экспериментальных данных недостаточен для корректного введения соответствующих весов, было принято решение отказаться на этом этапе от идеи расчёта средних и интегральной оценок качества и определить их произвольно — путём согласования мнения экспертов. Таким образом, были получены оценки десяти технологических элементов (оценка гипотез и полевых процедур не была выполнена, т.к. эксперты сочли предоставленную информацию о них недостаточной), обобщенные оценки трёх компонентов проекта (опрос представителей НКО, власти и бизнеса, опрос населения, опрос экспертов), а также интегральная оценка качества исследования в целом. Кроме того, по всем элементам, оценка которых была снижена на 2 и более баллов от максимально возможной, эксперты представили обоснование.

Резюмируя выше сказанное, можно сформулировать принятую концепцию экспертизы, являющуюся по сути ответами на 5 принципиальных вопросов любой экспертизы (оценки):

• 1.    Что в целом оценивается? Объект оценки — конкретное исследование группы ЦИРКОН.

• 2.    Что оценивается в объекте? Предмет (или параметры) оценки — 12 компонентов процесса и конечного продукта конкретного исследования, проведенного группой ЦИРКОН.

• 3.    Кто оценивает? Субъект оценки — экспертная группа специалистов факультета социологии СПбГУ.

• 4.    Как оцениваются параметры? Метод оценки — индивидуальное оценивание экспертами 12 компонентов по 10-ти балльной шкале с последующим групповым обсуждением и вынесением согласованных оценок.

• 5.    На основе чего выставляются оценки? Критерии оценки (точка отсчета) — оценивание на основе принятого экспертами представления об идеальном продукте.

Надо сказать, что по всем ключевым вопросам экспертизы могли бы быть приняты и иные решения (оценивание по другому набору параметров, другим составом экспертов, другим методом и на основе других критериев). Поэтому принятый, в конце концов, вариант экспертизы является скорее прецедентным, чем эталонным. Авторы работы как раз предполагают критическое обсуждение выбранного подхода как одного из возможных.

После завершения экспертизы и знакомства исполнителей с текстом Заключения участники эксперимента продолжили обсуждение её результатов. В частности, исполнителями были подготовлены развернутые комментарии к замечаниям экспертов.

Не имея здесь возможности представить читателю описанную дискуссию в полном объёме, мы приводим лишь некоторые, характерные, на наш взгляд, фрагменты, Заметим, что в тексте приведены вопросы экспертов и ответы ЦИРКОН, сформулированные как в период до вынесения заключения, так и после него.

Первая группа фрагментов воспроизводит довольно бурный спор относительно объекта исследования, его теоретической (системной) модели, положенной в основу проектирования инструментария. (Обращаем внимание еще раз — ниже приводятся лишь отдельные характерные фрагменты обсуждения!).

• •    Вопрос экспертов.

Почему авторы исследования не обращаются к типологии общественных и некоммерческих организаций и инициативных групп, а также их стратификации с точки зрения ресурсного и организационного потенциала? НКО оцениваются в общем и целом, а это то же самое, что оценить российский бизнес или российскую власть в целом. Возможно, отсюда происходит и ключевой вывод исследования "взаимодействие есть, а влияния (серьезного, значительного и т.п.) нет" — из-за отсутствия конкретной сегментации НКО, иерархии проблематики и поля их деятельности данные исследования не позволяют наблюдать влиятельность общественных организаций там, где она, возможно, существует.

• •    Ответ исполнителей.

Действительно, авторы сознательно не стратифицировали НКО по видам деятельности и иным признакам. Исследование носило пилотный характер и предполагало выявление отношения к "нерасчлененному" объекту. Нам до сих пор представляется невозможным в рамках одного исследования, реализуемого в ситуации ограниченных ресурсов (временных, финансовых и пр.), измерять представления об организациях разного типа, даже если это и кажется разумным. Фактически это означало бы многократное расширение инструментария (повтор основных вопросов анкеты для каждого типа НКО). Перед авторами была поставлена задача, исследовать влиятельность сектора в целом. При этом, даже если бы оказалось, что влияние есть в отдельных сегментах, это на вряд ли поставило под сомнение тезис об отсутствии влияния третьего сектора в целом.

• •    З амечание экспертов — фрагмент обоснования снижения оценки по позиции "Предварительный системный анализ объекта".

Недостаточно обоснованной в рассматриваемых методических документах представляется гипотеза разработчиков программы исследования о том, что возможна оценка влиятельности организаций "третьего сектора" как одного нерас-члененного целого. Эта гипотеза фактически ставит в один ряд принципиально разные НКО — от правозащитных организаций до клубов по интересам. Между тем, из ряда известных отечественных и зарубежных работ по проблемам третьего сектора известно, что последний обладает сложной разветвленной структурой, разные организации имеют отличающийся друг от друга функционал, по-разному взаимодействуют с институтами власти и бизнеса и т.д. и т.п. В этой связи достаточно приблизительной представляется имплицитно заложенная в методические документы гипотеза о том, что возможна постановка вопроса об интегральной оценке влиятельности третьего сектора в целом. Из этой гипотезы вытекают такие, например, вопросы к представителям органов власти: "Оцените, пожалуйста, влияние некоммерческого сектора РФ на формирование органов власти, принятие управленческих решений и т.п.". Информант обладает приблизительным пониманием того, что такое категория "некоммерческий сектор РФ". В листе экспертного опроса не расшифровывается понимание этой категории. Сама категория представляется крайне неоднозначно эмпирически операционализуемой. В инструментарии исследования не предусмотрен контроль понимания информантом базовой категории. В результате ответ на этот вопрос не может в полной мере рассматриваться как надежный.

• •    Комментарий исполнителей (возражение!):

В экспертном Заключении совершенно справедливо говорится, что авторы исследования исходили из гипотезы о том, "что возможна постановка вопроса об интегральной оценке влиятельности третьего сектора в целом". Однако мы не можем согласиться с тем, что такая гипотеза является необоснованной и "приблизительной". В этом мы опираемся на опыт как давно осуществляемых международных проектов (типа CIVICUS), так и проектов по оценке (фактически интегральной индексации) развития гражданского общества, реализуемых российскими коллегами (заметим, что объект "гражданское общество" обладает еще более "сложной разветвленной структурой, разные организации имеют отличающийся друг от друга функционал, по-разному взаимодействую с институтами власти и бизнеса и т.д. и т.п.".

Мы уже писали в ответах на предварительные вопросы, что попытка "расчленить" объект привела бы к многократному увеличению объема инструментария (в соответствии с количеством отдельных сегментов "третьего сектора"). Но это технические сложности. Более серьезные содержательные проблемы возникают в связи с тем, что правильная расчлененность объекта оценки не уменьшает, а как раз создает дополнительные трудности для респондента. Опыт наших исследований свидетельствует о том, что для очень многих респондентов из числа представителей бизнеса и власти (не говоря уже про население) НКО-сектор есть плохо стратифицированный объект, и НКО разной направленности ("правозащитные организации" или "клубы по интересам") сливаются в одно нерас-члененное целое. К сожалению, теоретическая правильность разделения объекта оценки сталкивается здесь с отсутствием такого разделения в головах респондентов. Для респондентов оценка влияния сектора в целом была более адекватной, чем оценка влияния его отдельных секторов, которая требовала бы от них знаний совсем иного характера.

Как видим, в данном вопросе экспертам и исполнителям так и не удалось "договориться" — стороны остались каждая при своем мнении, полагая позицию оппонента в большей или меньшей степени ошибочной.

Следующая группа фрагментов, с которой мы предлагаем познакомиться читателю, развивает тему эмпирического объекта исследования в контексте обсуждения выборки.

• •    Вопрос экспертов.

Каким образом была определена структура выборочной совокупности опроса представителей НКО, власти и бизнеса? Позиционируют ли авторы исследования данную выборку как репрезентативную? Если "да", то для какой именно генеральной совокупности и по каким параметрам? Если "нет", то как следует интерпретировать приведенные в отчёте одномерные распределения и средние оценки?

• •    Ответ исполнителей.

Ни одна из выборок (НКО, органы власти, бизнес-предприя-тия), строго говоря, не является репрезентативной для соответствующей генеральной совокупности. Выборочная совокупность НКО представляет собой случайную выборку из Базы Данных ОП РФ, в которую входят все организации, подававшие заявки на гранты ОП (на момент проведения исследования около 4000 организаций). Именно эти "активные" (в смысле проектной активности) организации образуют генеральную совокупность объекта исследования. При таком определении выборочная совокупность (будучи случайной) репрезентирует генеральную совокупность БД ОП РФ по всем параметрам. Полноценная интерпретация одномерных распределений и средних оценок допустима только с учетом понимания механизма формирования выборочной совокупности объектов. Мы полагали (и полагаем сейчас), что для решения задачи исследования данный подход обеспечивал сбор достаточно валидной информации.

• •    Замечания экспертов — фрагмент обоснования снижения оценки по позиции "Выборка".

• "    регионы должны представлять все федеральные округа РФ;

• "    должны быть представлены регионы с разным уровнем экономического развития (ВРП на душу населения) и разным уровнем жизни населения (доля населения с доходом ниже прожиточного минимума).

Для отобранных таким образом регионов составлялся список НКО из БД ОП РФ. Список был упорядочен случайным образом. Полевые сотрудники начинали работу с первой в списке организации и двигались по списку "сверху вниз". Последовательно проводился опрос во всех организациях, давших на это согласие. Одновременно с движением по списку "сверху вниз" осуществлялся контроль за соблюдением квотных ограничений (5 квотных позиций по организационно-правовой форме НКО). Квоты задавались в соответствии с данными Регистрационной палаты. В случае если следующая по списку организация относилась к уже выработанной квоте (это уточнялось при обращении), она пропускалась.

Заметно, что в вопросе качества выборок взаимопонимание экспертов и исполнителей существенно выше, чем в случае интерпретации объекта. Хотя определенные существенные разногласия все равно остаются, например, это касается проблемы операциональной редукции опять-таки объекта — некоммерческих организаций. Кроме того, обратим внимание на одну любопытную деталь: потребовалось два цикла интеракции "эксперты — исполнители" для того, чтобы прояснить "некоторые "подробности"" реального размещения выборки. Господство в отечественной исследовательской практике "устной традиции" (при которой существенные технологические моменты не только не протоколируются, но и рефлексируются "не сразу") является серьезным препятствием для внешней оценки качества.

Надо сказать, что по поводу отдельных выводов экспертизы исполнитель проекта и эксперты так не нашли общего языка. Камнем преткновения стал вопрос о том, зависят ли природа и параметры качества исследования от характера проекта. Авторы данной статьи — оппоненты в приведенной выше дискуссии — разумеется отдают себе отчет в том, что дискурс оценки качества, в значительной степени новый для отечественного профессионального сообщества, и не так прост, как может показаться стороннему наблюдателю или не очень квалифицированному заказчику. Он должен выстраиваться по крайней мере с учетом того, что эмпирические исследования развиваются в двух, увы, редко пересекающихся руслах — академическом и прикладном. И вполне понятно, что степень строгости подхода к оценке качества в академическом дискурсе может быть выше. В ряде случаев в прикладных условиях пороги качества имплицитно или эксплицитно задает и даже лимитирует заказчик. В таких проектах выбор методики исследования (фактически задающей его качество) зачастую осуществляется не по содержательным основаниям, а в силу выделенного бюджета времени и денег. Однако понимание этого факта не отвергает той истины, что и в академическом, и в прикладном исследовательском потоках категория качества имеет одну природу и функционирует по одним законам . И в этом авторы едины. А вот параметры оценки качества, равно как диапазоны валидности/невалидности можно и нужно варьировать.

Теперь самое время напомнить читателю, что выше приведены фрагменты дискуссии, посвященные только двум из 12 компонентов технологического процесса и конечного продукта исследования, которые составляли предмет оценки. На наш взгляд, эти примеры являются достаточно типичными для того, чтобы дать представление о проделанной в рамках эксперимента работе. По результатам этой работы было подготовлено и направлено в адрес АНО "Социологическая мастерская Задорина" официальное "Заключение об оценке качества (экспертизе)". Общий объем Заключения вместе с Приложениями составил более 1 печатного листа. В данном документе была описана процедура экспертизы, воспроизведена история интеракции между экспертами и исполнителями исследования (вопросы, ответы, замечания) и сформулирован общий вывод, который состоит в следующем:

Социологическое исследование "Третий сектор" в Российской Федерации: оценка влиятельности", выполненное АНО "Социологическая мастерская Задорина", в целом соответствует критериям качества, принятым в современной эмпирической социологии. Результаты исследования могут быть использованы для анализа ситуации и принятия решений в сфере регулирования отношений между организациями третьего сектора, государством и бизнесом в современной России.

Заметим, что, по мнению экспертов, интегральная оценка качества данного исследования является хорошей и существенно превышает среднюю ожидаемую для отрасли в целом. В то же время в ходе публичных презентаций и кулуарных обсуждений результатов нашего эксперимента мы, неожиданно для себя, столкнулись с искаженным (а иногда и просто превратным) восприятием использованной десятибалльной шкалы оценки. Поэтому, не имя возможности представить читателю полную версию Заключения, мы воздерживаемся от публикации количественной оценки качества. К тому же, как уже было сказано выше, такая оценка имеет смысл, прежде всего, как инструмент сравнения. А сравнивать пока не с чем.

Каковы же выводы и уроки проведенного эксперимента? Прежде всего, он убедительно продемонстрировал возможность и практическую полезность выполнения внешней (независимой) оценки качества исследовательского проекта. Разумеется, эффект такой процедуры может быть существенно выше в случае её выполнения на этапе подготовки и реализации исследования, т.к. большинство выявленных в ходе независимой экспертизы недочётов могли быть устранены с незначительными затратами ресурсов. Однако и в апостериорном варианте результаты экспертизы, несомненно, будут полезны для совершенствования исследовательского процесса и, надеемся, найдут своё воплощение в последующих проектах Исследовательской группы "ЦИРКОН".

В то же время проведённый эксперимент позволил выявить ряд важных аспектов процедуры внешней экспертизы качества.

Во-первых, это необходимость соблюдения конфиденциальности и защиты коммерчески значимой информации, что особенно важно в случае, если внешняя экспертиза сопровождает ещё незавершённое исследование. В то же время чрезвычайно важным является и вопрос об открытости (публикации) результатов экспертизы отдельных общественно-значимых исследований, особенно тех, что проведены на деньги налогоплательщиков.

Во-вторых, необходимо установить достаточно жёсткую связь между оцениваемыми параметрами качества исследовательского проекта и материалами, на основании которых производится оценка. В противном случае оценка качества может быть снижена только потому, что по тем или иным причинам определённый документ не будет рассмотрен экспертами. Практический вывод из этого состоит в том, что внедрение экспертизы потребует стандартизации исследовательской документации по номенклатуре и содержанию , по крайней мере, в том минимальном объеме, который потребуется для осуществления базового объёма экспертизы.

В-третьих, мультипарадигмальность социологии как науки и широкое распространение альтернативных технологических практик является серьёзным препятствием для широкого внедрения процедур внешней оценки качества. Высокую вариативность профессионального социологического знания, в частности, можно наблюдать в ходе экспертных опросов — практически по любой проблеме, касающейся качества исследования, находятся специалисты, подход которых сильно отличается от позиции "большинства". А нередки ситуации, когда группы специалистов не могут убедить друг друга и остаются каждая на своих позициях. Следовательно, определение меры качества исследовательского продукта — это, прежде всего, поиск компромисса, задающего допустимые пределы погрешностей в реализации существующих технологических возможностей.

Есть ли у внешнего аудита качества перспектива превращения из экспериментальной, экзотической для социологического сообщества процедуры в рутинную, привычную или даже обязательную? Мы полагаем, что положительный ответ на этот вопрос возможен в рамках доктрины " ограниченной стандартизации ", которая подразумевает внедрение отдельных, рамочных процедур управления качеством (в т.ч. и независимой экспертизы) в пределах определённых сегментов профессионального сообщества. На начальном этапе внедрения этот процесс, скорее всего, будет преимущественно добровольным. Однако в последствии присоединение к признанным механизмам подтверждения качества и использование отраслевых стандартов должно стать признаком хорошего тона, а возможно, и основанием для сертификации исследовательской продукции.