Экономист Вадим Новиков и социолог Екатерина Ходжаева о доказательной силе онлайн-опросов. Онлайн-опросы дешевы, просты и удобны. Поэтому их используют практически повсеместно: они увеличивают аудиторию сайта, позволяют привлечь и даже развлечь посетителей. Очевидно, впрочем, что большинство онлайн-опросов несерьезны. Это просто игрушки – без соблюдения строгих профессиональных процедур они не позволяют действительно выявить общественное мнение или провести полезное для дела маркетинговое исследование.
Государственные органы не остались в стороне от этого тренда, особенно наиболее открытые вроде Федеральной антимонопольной службы. Она поддерживает контакт с посетителями федерального и региональных сайтов вопросами типа «Как вы оцениваете сайт управления X?». Однако в отличие от радиостанции или газеты ФАС использует результаты опросов не только чтобы вовлечь и развлечь. Полученные данные становятся аргументом при принятии решений и доказательствами, которые кладутся в основу решения ФАС по рекламному или антимонопольному делу, а затем используются в судебном разбирательстве.
Публичная критика использования онлайн-опросов в практике ФАС началась год назад со статьи «Нет методологии – нет опроса», которую написал ведущий эксперт по методическому аудиту социологических исследований Дмитрий Рогозин. Поводом к публикации послужило решение комиссии Сахалинского УФАС по поводу рекламы «Нет цветов – нет секса». В онлайн-опросе c целью выявить в рекламе «непристойное выражение» приняли участие 20 человек, и отрицательное мнение о рекламе 16 из них было использовано как единственное (!) доказательство. В ответе ФАС на личное обращение социолога с предложением обсудить методику опроса отвергалась возможность профессиональной дискуссии. Приемлемой формой обсуждения методических аспектов онлайн-опросов руководством службы была признана только судебная перспектива обжалования конкретного решения.
Разбор очевидных эксцессов вроде сахалинского опроса имеет ценность, однако важно понимать и общую картину. Для оценки практики онлайн-опросов ФАС нами была собрана база всех 274 вопросов, которые находились на сайтах территориальных управлений ФАС по состоянию на апрель 2016 г.
Оказалось, что лишь пятая часть вопросов относительно безобидна для граждан и бизнеса: они касаются деятельности управлений ФАС, источников информации об антимонопольном законодательстве и т.п. Все остальные вопросы заданы по конкретным поводам и по своей направленности предназначены для использования в решениях по делам, которые рассматривает ведомство.
Почти половина опросов касается контроля ФАС за исполнением законодательства о рекламе. В основном тут задаются вопросы, в которых пользователей просят дать интерпретацию информации – что изображено, является ли это рекламой, является ли это оскорбительной рекламой, – или же просьбы оценить воздействие, которое на опрашиваемых оказывает та или иная информация. И наконец, около четверти задаваемых региональными управлениями вопросов можно условно отнести к разряду квазимаркетинговых исследований.
Лишь незначительная часть формулировок отвечает профессиональным стандартам. Нередко задаются так называемые наводящие на желаемый ответ вопросы, или варианты ответов содержат по большей части негативные подсказки. Зачастую вопросы формулируются так, как будто организаторы верят, что пользователи сети понимают без разъяснений, что значит «ненадлежащая реклама», а также могут оценить, побуждает ли тот или иной образ к неназванным «противоправным действиям».
Обычно опросы ФАС критикуют за «малые выборки», как в упомянутом деле о рекламе цветочного магазина. Однако далеко не каждый опрос предполагает минимальное число респондентов: среднее число участников составляет 566 человек. Но при этом в половине случаев число опрошенных не превышало 59 интернет-пользователей. Это означает, что в регионах есть неоднозначные примеры чрезвычайно массового отклика. Скажем, опрос о схожести двух бензоколонок привлек более 12 000 жителей Амурской области. Возникает вопрос: кто были эти люди, в течение месяца ответившие на вопрос о бензоколонках в Благовещенске? Важно понять, что проблема репрезентативности связана не только с численностью опрошенных, но и со систематическим смещением выборки: средний ответивший может оказаться совсем не похожим на среднего россиянина. Подозрительно большие выборки, возможно, отражают не мнения рядовых граждан, а размеры административных ресурсов конкурирующих (уже в пространстве онлайн-опросов) компаний. А возможно, подключены даже и автоматические способы накрутки ответов, от которых опросы ФАС толком не имеют защиты. Однако в текстах решений комиссии ФАС качество и смещение выборки никак не оцениваются, как, впрочем, и ее размер – представительность выборки не считается значимой для принятия решения.
В качестве примера, как происходит систематическое смещение выборки, можно привести онлайн-опрос Пермского УФАС. Получив жалобу представителей РПЦ на баннерную рекламу «Иисус спаситель! Лучшее, что с Вами может случиться», сотрудники службы попросили оценить пользователей сети, направлена ли эта информация «на достижение общественно полезных целей». И, по сообщениям местной прессы, в первые дни большинство отвечало отрицательно. Но представители протестантских объединений не остались в стороне и в течение месяца мобилизовали сторонников так, чтобы нивелировать возможные претензии ФАС. В итоге 2174 человека (61% ответивших) не поддержали позицию православной общественности. Опрос оказался не независимым инструментом фиксации общественного мнения, а «полем сражения» религиозных групп.
Опросные технологии в сети развиваются благодаря их дешевизне, быстроте и удобству. Однако одно дело – «играть» в социолога, имитируя опрос для развлечения аудитории, другое – действительно проводить серьезное исследование. В последнем случае требуется соблюдать профессиональные стандарты: как минимум учитывать требования репрезентативности выборки, не предлагать наводящих вопросов и несбалансированных вариантов ответов. Без этих стандартов просто не обойтись, когда результаты опроса используются для наложения штрафа или других государственных санкций. Многие игрушки опасны в руках неподготовленного и мы знаем, что пиротехника может причинить реальный вред. «Игрушечные» опросы не менее опасны и их нельзя использовать при принятии решений. Когда штраф платят не фантиками, требуется полная определенность: опрос — не игра, игра — не опрос.
Авторы – старший научный сотрудник РАНХиГС при президенте РФ, член экспертного совета при правительстве; научный сотрудник Института проблем правоприменения при Европейском университете в Санкт-Петербурге. Авторы благодарят Александра Салиту за вклад в создание базы данных.
Источник: Ведомости
