Для формирования доказательной базы по делам, в частности, связанным с нарушением законодательства о рекламе антимонопольный орган использует разные виды массовых опросов. Мировой опыт применения в правовом поле этого метода исследования достаточно давний. Однако российский антимонопольный орган, не выдерживая норм и стандартов качества проведения опроса, допускает многочисленные ошибки и нивелирует таким образом его результаты.
Довольно известно так называемое «цветочное дело». Инициатором обращения в антимонопольную службу стал Департамент архитектуры, градостроительства и землепользования Южно-Сахалинска, который счел рекламный слоган цветочного магазина «Нет цветов – нет секса» неэтичным и оскорбительным. Ссылаясь на ч. 6 ст. 5 Закона о рекламе[1] и письмо ФАС России[2], территориальный надзорный орган инициировал проведение количественного онлайн-опроса. Размещенную на сайте Комиссии УФАС по Сахалинской области (далее – Сахалинское УФАС) анкету заполнили 20 человек. Из них 16 респондентов ответили утвердительно на вопрос о том, имеется ли в рекламе непристойное выражение, и 4 – отрицательно. При этом отсутствовали процедуры рекрутинга респондентов, представления о проектируемой и описание реализованной выборки, пилотная проверка вопросов. Из процедур социологического опроса была соблюдена только одна: респондентам предоставили возможность выбрать ответ из предложенных вариантов.
Объясняя решение, представители УФАС ссылались на письмо антимонопольного органа, согласно которому «для признания рекламы неэтичной не требуется получение единогласного мнения или мнения абсолютного большинства потребителей рекламы, достаточно установить наличие значимого количества людей, воспринимающих рекламу как неэтичную»[3]. Значимым числом они посчитали 16 человек из 20 опрошенных. При этом не объяснялось, почему эти 16 составляют «значимое количество людей».
Несколько месяцев назад я попытался прояснить позицию ФАС России, поинтересовался надежностью проведенного исследования и выразил просьбу описать формирование выборки. Полученный, весьма лаконичный, ответ отметал какую-либо возможность профессиональной дискуссии, в отличие от судебной:
ФАС России рассмотрел Ваше обращение относительно решения Сахалинского УФАС России, принятого по итогам рассмотрения дела по факту распространения рекламы цветочного бутика «Клумба» следующего содержания: «Нет цветов – нет секса», и сообщает: Антимонопольный орган вправе при рассмотрении дела по признакам нарушения законодательства о рекламе оценивать любые имеющиеся в деле доказательства и на их основе принимать решение о наличии или отсутствии в рекламе нарушения законодательства. Согласно части 1 статьи 37 Федерального закона «О рекламе» решение, предписание антимонопольного органа могут быть оспорены в суде или арбитражном суде в течение трех месяцев со дня вынесения решения, выдачи предписания. Таким образом, ФАС России не имеет оснований для пересмотра решений территориальных органов, принятых по итогам рассмотрения дела по признакам нарушения законодательства о рекламе.
Ошибки в проведенном опросе
Тем, кто знаком с основами выборочных исследований, очевидны грубые нарушения, допущенные для генерализации вывода и «установления значимого количества людей»[4].
Во-первых, любое выборочное исследование, репрезентирующее некоторую целевую группу (в данном случае потребителей указанной рекламы), должно отражать ее состав. Поскольку опрос проходил на веб-ресурсе Сахалинского УФАС, основа выборки – посетители сайта. Вовсе не очевидно, что социально-демографические характеристики пользователей Интернета и конкретно данного сайта совпадают с характеристиками «потребителей рекламы». Так или иначе, этот вопрос нужно было исследовать, определить связанные с ним ошибки и провести корректное редактирование выборки.
Во-вторых, в любой выборке содержится ошибка, связанная с самим фактом отбора из некоторой генеральной совокупности ограниченного числа объектов. Для случайной выборки ошибка рассчитывается по весьма простой формуле[5]. Задача исследователя – используя все возможные средства, добиться приближения спроектированной выборки к случайной.
В-третьих, не все, кто попадает в основу выборки, участвуют в опросе. Большинство игнорируют вопросы исследования. И это характерно для любых видов опросов: личных, телефонных, онлайн. Возникающие смещения принято называть ошибками неответов. Для их оценки в онлайн-исследовании определяется количество уникальных посещений сайта за период размещения анкеты и социально-демографические характеристики посетителей. Интернет-среда при правильном администрировании сайта позволяет получить гораздо больше информации о неответивших, чем в других видах опросов. Благодаря этому более взвешенно оцениваются риски смещений, к примеру риск того, что среди отвечающих будут преобладать мотивированные сторонники крайних точек зрения.
В-четвертых, респонденты, отвечающие на поставленные вопросы, могут по-разному их понимать, интерпретировать, иметь личные мотивы заполнения анкеты, приводящие к существенным искажениям выносимых оценок. Такой вид ошибок называют ошибками измерения. Для их оценки проводится когнитивное тестирование анкеты и анализ возможного спектра понимания, интерпретации, поиска релевантной информации и вынесения суждения по каждому задаваемому вопросу. Как правило, новички в проведении опросов не различают те вопросы, которые стоят перед ними самими, и те, что следует поместить в анкету. Термины, которые использует исследователь (в нашем случае надзорный орган), почти всегда отличаются от обиходных слов. Поэтому в методологии социальных исследований операционализация, или перевод исследовательских вопросов в анкетные, признана одной из сложнейших задач, решение которой всегда связано с ошибками. Если исследователь сделал вид, что таких ошибок нет, это означает, что он автоматически сфабриковал полевой материал, приписав ему собственные различения.
Если исследователь ограничивается лишь констатацией количественных показателей, не обосновывая измерение и нивелирование каждого типа ошибок, его суждения не считаются аргументированными и не отличаются от слухов и домыслов. Столь жесткую формулировку поддерживают ведущие экспертные организации, занимающиеся методологией проведения массовых опросов, в частности Американская ассоциация исследователей общественного мнения[6].
«Цветочное дело» интересно прежде всего как иллюстрация принятой практики обоснования выносимых решений и постановлений.
В начале 2014 г. Вадим Новиков провел обзор судебных дел, инициированных различным региональными управлениями ФАС России с привлечением в качестве аргументации опросных методов[7]. Как и в «цветочном деле», ни в одном из приведенных случаев не оказалось хотя бы частичного описания методологии опроса. Предлагаемая в суде аргументация была однородной, методическая информация не раскрывалась. При строгом разборе подобные обоснования не выдерживают критики и могут быть легко опровергнуты.
Качество опросов
Уровень проведенных опросов нельзя объяснить особенностями подходов региональных чиновников. Стандарты задает федеральный орган, в чем несложно убедиться. Например, рассмотрим опрос, посвященный оценке Плана деятельности ФАС России на 2013–2018 гг. (см. рисунок 1).
Рис. 1. Анкета, подготовленная ФАС России
Анкета состоит из двух вопросов. Как вы оцениваете уровень своей информированности о Плане деятельности ФАС России на 2013–2018 гг.? Варианты ответов: достаточно информирован; информирован, но хотелось бы больше информации; информирован недостаточно. Считаете ли вы План деятельности эффективным инструментом реализации цели по защите и развитию конкуренции на товарных и финансовых рынках? Варианты ответов: да, это эффективный инструмент; да, но требуется его ежегодная корректировка, учитывающая изменения в экономике, законодательстве и другие внешние факторы; существуют и другие эффективные инструменты.
В этой очень короткой анкете допущено семь грубейших ошибок, которые создают риск смещений в ответах:
1) смешение исследовательского вопроса и анкетных формулировок;
2) несоответствие вопросной конструкции предлагаемым ответам;
3) совмещение нескольких оснований в выделении вариантов ответа;
4) смещение предлагаемых вариантов ответа в положительную сторону (в ответах на второй вопрос другие вовсе не предусмотрены);
5) отсутствие проверочных вопросов о знании предлагаемого к оценке документа;
6) отсутствие вариантов ответа, фиксирующих незнание или отказ от ответа (что в оценочных исследованиях чрезвычайно важный параметр);
7) отказ от вопросов, диагностирующих социальный статус и компетентность респондента.
Понятно, что о более тонком тестировании инструмента на предмет того, как заданный респондентам вопрос воспринимается разными социальными группами, не может идти речи. Выяснение мнений – довольно сложная процедура, предполагающая отбор со стороны компетентности, уточнение мотивов оценок и т.д. Для такого рода процедур можно использовать технику постадийного развертывания вопроса. А) Фильтрующий вопрос, предназначенный для отсеивания некомпетентных. Б) Прямой вопрос, выявляющий общую направленность мнения, обычно такого типа: «Что вы думаете по поводу?..» или «Каково Ваше мнение о достоинствах и недостатках… (такого-то общественного действия, высказывания, документа…)?. В) Дихотомический вопрос, уточняющий общую направленность: «Если брать в целом, Вы одобряете или осуждаете; согласны или не согласны; Вам нравится или не нравится?..» Г) Уточнение основания оценки или мнения, которое обычно вводится фразой: «Если в основном Вы не согласны с тем, что… не могли бы Вы пояснить свою мысль?», или «Если Вы одобряете… чем это можно было бы объяснить?», или «Итак, Вы высказались за или против того-то. Пожалуйста, объясните свое мнение…». Д) Последний вопрос – определение интенсивности мнения. «В какой степени Вы уверены в своем суждении?» или «Насколько Вы уверены в своей оценке?». И далее следует шкала интенсивности мнения[8].
Эти многолетней давности рекомендации по составлению вопросов о мнениях и оценках помогают выявить наивность и беспомощность попыток ФАС России провести оценку своей деятельности или создать доказательную базу для юридических дел. Причем социологическая практика не стоит на месте: многое из предлагаемого В.А. Ядовым многократно уточнялось, сужались границы эффективного применения тех или иных рекомендаций, предлагались иные подходы по трансформации вопросов[9].
Обращаясь к анкетам антимонопольного органа, невольно попадаешь в прошлое – эпоху провалов электоральных прогнозов 1930–1940-х гг., основанных на «соломенных» выборках по принципу «кто ответит». Формально заимствовав мировой опыт применения массовых опросов в правовом поле[10], чиновники не рассмотрели содержание новаций: правила, нормы, стандарты качества. Причина, на мой взгляд, кроется в том, что мировоззрение застряло в первых десятилетиях прошлого, а не нынешнего века. На наш взгляд, было бы разумно обратиться к становлению методологии массовых опросов, разрабатываемому инструментарию по организации выборки и тестированию вопросов, тогда появится шанс понять и реконструировать позицию.
Дмитрий Рогозин,
директор Центра методологии
федеративных исследований
Института социального анализа
и прогнозирования РАНХиГС при Президенте РФ
Источник: журнал Конкуренция и право
