«Градусні» опитування: чому вони можуть дати викривлені результати?

Колись ходили чутки, що одна з провідних на той час компаній, яка конкурувала з КМІС, розробили ідеальну вибірку для України: розрахувала необхідну кількість точок опитування та відібрала відповідну кількість сіл і містечок.

А далі, кажуть, усі наступні опитування багато років проводили в одних і тих самих населених пунктах.

Чому? Бо можна було суттєво зекономити.

У цих селах обрали відповідальних людей і навчили їх проводити інтерв’ю – тобто бути інтерв’юерами.

А якщо міняти села, то виникають витрати на транспорт або навчання нових інтерв’юерів.

Таким чином, ця компанія могла б суттєво здешивити опитування, або ж суттєво збільшити прибутковість своїх опитувань для себе.

Нині щось віддалено схоже відбувається з різноманітними онлайн-панелями та їхніми похідними.

Поділюся своїми міркуваннями про них, з огляду на свій досвід проведення великої кількості складних досліджень і роки спостереження за панельними дослідженнями в телеметрії.

Що найголовніше в будь-якому опитуванні? Забезпечити репрезентативний відбір учасників до дослідження.

І тут неважливо, яким чином буде вимірюватися той чи інший феномен – за допомогою сайту чи мобільного застосунка.

Тож як можна отримати репрезентативних учасників і як насправді це роблять онлайн-панелі, і «Градус» зокрема? (Ви можете зайти на сайт «Градус» та інсталювати собі програму і пройти верифікацію, щоб відчути справжній процес, я вже зареєструвався та верифікувався з трьох різних телефонів.).

Основну кількість онлайн-панелі складають добровольці.

Їх можна розділити на дві категорії :.

Активісти – люди які хочуть ділитися своїми думками і бути впливовими.

Вірю, що, прочитавши цю статтю, 200-250 із вас таки підуть і стануть «градусниками», щоб залишитися і впливати на показники опитувань.

«Бюджетники» – люди які будуть проходити опитування і мріяти брати в них участь якнайчастіше, щоб отримати свою винагороду – наприклад, оплату за мобільний зв’язок.

Можемо легко уявити теми, для вивчення яких не важливо, чи будуть опитуватися добровольці, чи складно підібрані та переконані для відповіді на запитання люди.

Проте, якщо вам дійсно цікавий більш-менш реальний розподіл відповідей серед широкого загалу людей, це може бути проблемою.

Для розуміння ситуації уявіть, що в піплметричну панель (це панель для вимірювання рейтингів каналів та обсягів споживання реклами) людей би набирали аналогічним чином.

А далі б піплметри роздавали всім охочим з урахуванням контрольних параметрів.

Чи довіряли б ви таким даними, що таке вимірювання відображає смаки всієї України?.

Друге велике застереження щодо простих опитувань, які можуть бути технологічними, чи панельних опитувань – це обсяг реальної панелі в підрядника та навантаження на цю панель.

Ви не єдині, хто замовляє проведення дослідження в компанії-власника онлайн-панелі, і в компанії з ростом її популярності виникає необхідність проведення більше ніж трьох-чотирьох досліджень на місяць.

Це означає, що учасників панелі будуть усе частіше викликати для участі в дослідженнях, особливо якщо вони потрапляють у квоту чи в параметр важкодоступних.

Отже, з одного боку, люди можуть стомлюватися і відповідати, не обдумуючи питання, а з іншого боку – ставати більш освіченими в усіх темах, починати задумуватися над питанням, яке їм ставлять.

В обох випадках ми ризикуємо отримати відповіді, які лише відображають думки панелістів і не є відсотком тих чи інших думок серед суспільства загалом.

Далі це за собою може тягнути хибні висновки та думки людей про людей.

Це не означає, що такі дослідження не потрібні.

Вони чудові для отримання відповідей на прості запитання – наприклад, що б ви хотіли отримати на день народження або яка ваша улюблена страва.

Якщо ви думаєте, що в дослідженні достатньо, щоб вибірка відповідала таким контрольним параметрам, як стать, вік, регіон і розмір населеного пункту, – то цього недостатньо.

Це все працює лише, якщо учасники дослідження відібрані випадковим чином без перекосів у бік добровольців, чи родичів, чи будь-якого іншого штучного параметру.

Поговорімо про плюси технологічних досліджень.

Уявімо собі що у вас є тема, яка нечуттєва до добровольців.

Тоді використання технологічних інструментів відкриває деякі переваги, але за кожною з них стоять і великі недоліки.

Наприклад, тестування відео та зображень.

Насправді технологічні дослідження корисні для тестування телевізійних продуктів, рекламних роликів та політичних промов.

Але чи можемо ми в такому разі контролювати, на відміну від класичних опитувань, чи дійсно учасник опитування звертає увагу на екран, а не чекає питання та варіантів відповідні на нього, щоб відповісти?.

Чи, наприклад, використання довгого списку варіантів відповіді.

Можна змусити учасника опитування ознайомитися з довгим списком альтернатив, але чи прочитає він усі? А можна використовувати дихотомічну шкалу і бути впевненим, що респондент почув і подумав про кожну з альтернатив.

Швидкість дослідження.

Ви можете думати і навіть переконати себе, що використання онлайн-опитувань та опитувань у застосунках – це швидше, ніж, наприклад, телефонні опитування.

Але поверну вас до реальності – при телефонному опитуванні ваш час залежить лише від кількості інтерв’юерів, і загалом за день реально робити до 800 коротких інтерв’ю штатом у 15 інтерв’юерів.

І тут є перевага, що ви можете телефонувати на випадкові номери, які ніколи не закінчуються, тобто процес опитування не спиняється.

А що ви матимете в онлайн-опитуваннях? У перші години, коли ви розіслати запрошення до участі в опитуванні, у вас дійсно буде багато охочих з тих, кого ви відібрали взяти участь в опитуванні, і це будуть активні учасники.

Далі теми будуть спадати, оператор панелі буде стимулювати учасників – наприклад, пропонувати вищу винагороду.

Як наслідок, якість учасників із часом погіршуватиметься.

При малих обсяг панелістів у певній контрольній групі виникне необхідність опитувати тих, хто недавно відповідав і брав участь в іншому проєкті.

У результаті середній час зрівняється.

Важливо, що результати онлайн-опитування будуть носити попередній характер, бо дані наприкінці проєкту потрібно буде зважити і проконтролювати.

Тому в реальних умовах економії по часу у вас не буде.

Ціна дослідження.

Усе дуже індивідуально, але якщо порівняти пропозиції, то сильно зекономити на онлайн-опитуванні вам не вдасться, а ризики, які ви отримаєте, не співмірні.

Насамкінець – про ризики.

На відміну від телефонного опитування, де запитання ставить інтерв’юер, у мобільному застосунку респондент може відволікатися від питання, не читати питання, вибирати відповіді навмання.

Що гірше — він може «гуглити» відповіді або шукати інформацію про феномен чи продукт, про який його запитують.

Отже, це ставить обмеження на використання такої методики для вивчення знання.

Наприклад, якщо ви хочете дізнатися, чи респондент знає чи не знаю ведучу чи ведучого.

Крім того, респондент може дати відповідати на запитання іншим людям, які його оточують (і мають інші характеристики).

Якщо респондент братиме участь у багатьох різних опитуваннях, він стане «навченим» і буде знати більше лише тому, що йому ставили певні запитання на теми, про які він раніше, можливо, і не думав.

Крім того, є ризики, що частина панелістів «підсяде» на такі процеси і заведе собі декілька акаунтів для поповнення всіх своїх мобільних телефонів.

Це найцікавіший момент.

Його на озброєння можуть узяти російські ботоферми та конкуренти.

Якщо хтось почне масово реєструватися в системі як потенційні панелісти – є ризики, що в певний момент він зможе маніпулювати результатами.

Й отримані відповіді будуть видаватися за думки українців, а фактично це будуть маніпулятивні відповіді.

Або інший варіант.

Наприклад, якісь телеканали будуть тестувати свої пілоти.

А хтось уже зараз масово зареєструє людей з профілями цільової аудиторії того чи іншого каналу.

І під час опитування ці учасники панелі на хороші продукти казатимуть, що вони погані, і навпаки.

У результаті канал, який проводив це дослідження, в ефірі матиме просідання показників.

Я веду до того, що опитувати випадкових людей – це все-таки в рази краще, ніж добровольців з атиповою мотивацію.

Спонсорський логотип.

Це найфантастичніша ідея.

Але ж ви знаєте, як працює гугл? Якщо у вас якийсь бренд чи телеканал почне в телефоні загадуватися частіше, то гугл чи фейсбук почне вам показувати цей бренд частіше в інших вікнах.

Тому коли буде наступне опитування, ви вже точно надивитеся в інтернеті цієї рекламі більше, ніж зазвичай, і можете дати викривлені результати.

Онлайн-мобільні панелі – це технологічність збору даних, але жодним чином не соціологічне дослідження.

Бо нівелюється така складова, як реальний відбір респондента до участі в дослідженні.

Треба зовсім по-іншому формувати та відбирати учасників опитування.

Ці панелі – це швидкий полінг на розважальні та легкі теми.

Перше питання, яке мають ставити замовники досліджень: звідки ваші респонденти – це добровольці чи набрані за всіма принципами випадковості респонденти? Друге – як часто вони беруть участь в інших опитуваннях? Чи отримують вони винагороду і заохочення за залучення нових респондетів (своїх друзів)?.

І поради для ЗМІ, які посилаються чи поширюють інформацію на основі цих «градусних» вимірювань.

Не забувайте вказувати, що вибірка покриває не всю Україну і цифри стосуються лише людей певного віку, які проживають у певних населених пунктах.

Зважайте, що такого роду опитування не покривають близько 60% населення України й отримані цифри мають багато обмежень.

У наступному матеріалі ми зі співавторкою піднімемо питання ротації телевізійних панелістів.

Чи не пов’язане падіння загального телеперегляду зі зростанням середнього часу участі панеліста в телевізійному дослідженні? Станом на початок 2020 року, тобто на шостий рік функціонування панелі, майже 24% сімей – це люди, які в панелі з першого дня.

Добре це чи погано – дискусійне питання, щодо якого ми незабаром спробуємо подискутувати.

Думки, висловлені в рубриці Column, передають виключно погляди самих авторів і можуть не збігатися з позицією редакції «Детектора медіа».

Тексти авторських колонок суб'єктивні та не претендують на всебічне висвітлення теми.