Умение правильно задать вопросы, а значит, корректно собрать информацию – одна из ключевых составляющих результативного исследования. Здесь в силу вступает принцип GIGO (англ. garbage in, garbage out, “мусор на входе – мусор на выходе”) – если в ходе опроса были допущены ошибки, то результаты исследования будут содержать искаженные выводы. 

Уже более 5 лет мы разрабатываем систему Oprosso для проведения онлайн-исследований и хотели бы рассмотреть ниже смысловую сторону составления вопросов и то, какие могут быть подводные камни.

На что стоит обращать внимание при проектировании онлайн-опроса?

Если анализировать путь, который проходит пользователь, отвечая на вопросы, можно выделить пять точек исследования, на которые стоит обратить внимание при разработке анкеты: аффилиация исследователя, понимание вопроса, припоминание, ответ, усталость от исследования. 

1) Аффилиация исследователя

В ходе исследования возможно непреднамеренное влияние компании, проводящей исследование, или тематики, заданной в опроснике на ответы респондента. Респонденты, отвечая на вопросы, стараются соответствовать интересам исследователя и давать важную в заданном контексте информацию, что ведет к искажению информации. 

Например, респондентов просили объяснить причины конкретного события, о котором они читали. Когда в шапке вопросника было заглавие «Институт исследований личности», респонденты фокусировались на личностных переменных, когда тот же вопросник был с заголовком Института социальных исследований — на социальных.

Рекомендация: проанализируйте, может ли профиль вашей компании или заголовок исследования привести к искажению контекста и, соответственно, ответов респондента, если да, то рассмотрите возможность отправки исследования от другого лица, либо скорректировать формулировку темы.

2) Понимание вопроса

Интерпретация вопроса респондентами относительно того, что имел в виду исследователь, является одной из основных проблем. В дело вступает закон письменной речи Майерса: “Всё, что может быть понято неправильно, будет понято неправильно”. На что стоит обратить внимание:

• Формулировка вопроса. Даже самая простая формулировка без контекста может восприниматься респондентами по-разному. Например, “Увлекаетесь ли вы чтением?”, для кого-то будет означать чтение книг, для кого-то журналов, а для кого-то ленты в социальных сетях. Слишком широкая или, наоборот, узкая формулировка может вызывать у респондентов абсолютно разные ассоциации.
• Сложные слова. Старайтесь не использовать профессиональную терминологию, сленг и не часто используемые слова из русского языка. Как исключение, это исследование экспертов или конкретного сегмента, для которого данная лексика является понятной.
• Непонятная инструкция. Если не указать на доступность множественного выбора при ответе или поставить в вопрос больше одного утверждения, можно сбить респондента с ответа.
• Непродуманный сценарий. Нарушение логической последовательности в расположении вопросов искажает контекст и, соответственно, ответ на вопрос.

Рекомендация: проведите пилотное тестирование на небольшой выборке, подобной той, на которой будет проводиться исследование, соберите комментарии от респондентов, исключите вопросы, по которым нельзя получить релевантную информацию, измените формулировки, которые вызвали затруднения.

3) Припоминание

Когда респондент понял, что именно у него спрашивают, ему необходимо вспомнить требуемую информацию. Припоминание – когнитивный процесс поиска информации в памяти.

В онлайн-опросах нередко используют вопросы, относящиеся к автобиографической памяти и касающиеся частоты использования конкретных услуг, продуктов и сервисов. От респондента ожидают, что он поймет, о каком именно поведении их спрашивают, проанализирует указанный период, извлечет и подсчитает все случаи интересующего поведения. В реальности такое вряд ли произойдет, поэтому необходимо учитывать ряд факторов.

• Притупление памяти. Со временем даже какое-то яркое событие меркнет, и чем раньше оно было, тем меньше шансов, что его вспомнят сразу. Например, если респондент попал в неприятную ситуацию несколько дней назад, его воспоминая будут подробнее, чем когда мы спросим его об этом же событии через несколько недель.
• Единичное vs частое. Эпизоды частых действий могут быть неразличимыми для извлечения из памяти, так как сливаются один с другим, при этом что-то единичное, вспоминается точнее.
• Организация памяти. Автобиографичная память организуется не по типам поведения, например, “управление автомобилем”, “прием пищи”, а по продолжительным периодам (“жил за границей”), внутри которых уже более короткие периоды (“первая работа”), ниже обобщенные события (“в течение этого времени я часто ссорился с женой”) и еще глубже отдельные яркие события (“конкретная сильная ссора”). Результат воспоминаний будет зависеть от того, с какой точки мы начинаем поиск, и отчасти может быть случаен.

Рекомендация: постарайтесь помочь респонденту точнее понять период времени, который вы хотите исследовать, используя логическую последовательность вопросов и соответствующие поисковые сигналы, указав длительность временного периода, разбив вопрос о “использовании общественного транспорта” на несколько о использовании метро, электрички и автобуса и т.п.

4) Решение об ответе

На этом этапе респонденты формулируют ответ и сопоставляют его с заданием в вопросе. Проблемы могут возникнуть, если при ответе нужно быть невероятно точным или у респондента проблемы с соотношением своего ответа с предоставленными опциями.

• Тип вопроса. Принятие решения об ответе неразрывно связано с тем, правильно ли выбран тип вопроса. Ответы на открытые вопросы чаще могут требовать пояснений при расшифровке, а наличие списка ответов в закрытом вопросе снижает вероятность того, что респонденты сообщат о том, что в список не попало, даже если такой функционал предоставлен открытым вариантом “Другой”, посчитав, что исследователю это неинтересно.
• Не нашел свой ответ. Исследователь может ограничить респондента теми ответами, которые подходят ему и, соответственно, спровоцировать на ответ-отписку, либо прекращение прохождение опроса.
• Социальное одобрение. Респондент может дать социально-одобряемый ответ на вопросы, вызывающие опасения, которые относятся к желательному или нежелательному поведению, однако, в онлайн-опросах это проявляется чуть меньше, чем при личных интервью.

Рекомендации: определите, какие данные вам необходимо получить в результате исследования и сопоставьте их с существующими типами вопросов. В конструкторе опросов Oprosso для использования доступно более 7 базовых и 9 расширенных типов вопросов. Помимо, вопросов с выпадающим списком, можно проводить парные сравнения объектов, проводить ранжирование предложенных ответов в определенном порядке, предлагать распределить карточки по категориям, использовать метод Кано и семантический дифференциал. Убедитесь, что в вопросах с предопределенными вариантами, нет перекосов в желаемые ответы и предоставлены оптимальные формулировки.

5) Усталость от исследования

По мере прохождения опросов респондент может испытывать усталость, что повышает вероятность ответов не по существу, проблем при расшифровке, либо ведет к выходу из исследования.

Рекомендации: постарайтесь оставить в исследовании только те вопросы, ответы на которые смогут принести практическую пользу при анализе. Настройте сценарий опроса так, чтобы уточняющие вопросы демонстрировались только тем, кто дал требующий уточнения вопрос.

Чек-лист

Существует много нюансов, влияющих на успешность онлайн опроса, надеемся, что собранный нами материал, сделает ваш путь хоть немного, но легче. Подведем итог, собрав основные шаги при подготовке онлайн-опроса:

• Определите, что хотите получить от результатов исследования
• Посмотрите существующие опросы по интересующей вас теме
• Составьте первый вариант онлайн-опроса и сценарий его прохождения
• Выберите корректные типы отображения вопросов и ответов
• Проведите пилотное тестирование на небольшой выборке
• Соберите комментарии и внесите корректировки в вопросы, ответы и сценарий в точках возникновения затруднений
• Используйте опыт, приобретенный при проектировании вопросника, для планирования последующих исследований

А если вам интересно узнать подробнее о продуктах Oprosso, предлагаем вам записаться на демонстрацию, наш менеджер подробно расскажет о доступных инструментах и покажет, как пользоваться сервисом.

Источники:

С. Садмен, Н. Брэдбери: Как правильно задавать вопросы: введение в проектирование опросного иструмента. Перевод с английского А.А. Виницкой. 2002 г.

Н. Шварц, Д. Ойзерман: Как задавать вопросы о поведении в оценочных исследованиях. Социологический журнал №1/2. 2004 г.

K. Olson, J. Smyth, A. Ganshert: The Effects of Respondent and Question Characteristics on Respondent Answering Behaviors in Telephone Interviews. 2018