Авторы:

Джеф Сауро, доктор наук в области методов исследования и статистики
Джеймс Р. (Джим) Льюис, доктор наук в области экспериментальной психологии (психолингвистика)

Закон Кэмпбелла и индекс потребительской лояльности (NPS) | 27 июля, 2021

То, что данные – залог правильных решений стало прописной истиной. Но может ли их использование привести к плохим последствиям?

Вопрос гипотетический, но легко можно найти несколько ключевых показателей, отслеживание которых может привести к нежелательным результатам:

Своевременные вылеты: вылет рейсов строго по расписанию когда-то был ключевым показателем оперативности авиакомпаний. Возможно, вы были в самолете, который стоял в ожидании на взлетной полосе в течение часа. Безусловно, в таком случае вы опоздаете в пункт назначения, но вылет будет считаться своевременным, потому что самолет вовремя покинул выход на посадку.

Своевременное прибытие: следующий шаг - отслеживание своевременного прилета из-за проблемы со своевременными вылетами. Это же более важно, не так ли? Но и тут произошел казус. Теперь один и тот же перелет между теми же городами стал занимать больше времени, чем несколько десятилетий назад, несмотря на более современные технологии. В чем дело? Оказывается, авиакомпании увеличивают время рейса, чтобы улучшить показатели времени прилетов.

Уровень преступности: после длительного спада преступность в Соединенных Штатах начала расти. Усиленное давление на полицейские управления и муниципалитеты способствовало не фактическому падению уровня преступности, а занижению статистики.

Оценки за экзамены: тестирования, где зарплата учителей зависит от результатов, привели к тому, что в крупных школьных округах преподаватели систематически улучшали оценки за тесты учащимся.

Показатели выпускников средней школы: даже показатели выпускников средних школ и, казалось бы, благотворные образовательные реформы могут быть скомпрометированы.

Квартальная прибыль: руководители предприятий в условиях жесткого давления должны добиваться результатов. Акционеры ориентируются не на сомнительные внутренние показатели эффективности, а достижение или превышение квартальной прибыли, но даже эти показатели могут подвергаться искажению.

Индекс потребительской лояльности (Net Promoter Score) все чаще используется в качестве ключевого показателя эффективности бизнеса, и, как и в примерах выше, им можно манипулировать.

Согласно закону Кэмпбелла чем больше оказывается давление на достижение результата, тем больше вероятность искажения определяющего результат показателя.

Закон Кэмпбелла

Дональд Кэмпбелл - влиятельный психолог, известный своей широко цитируемой книгой об экспериментальном и квази-экспериментальном планировании. Если вы слышали фразу «натаскивание на тест», то вы знакомы с законом Кэмпбелла. Более формально в нем говорится: «Чем больше при принятия социальных решений основываются на любой количественный социальный показатель, тем больше он будет подвержен коррупционному давлению и тем больше он будет искажать социальные процессы, которые призван отслеживать.» (Это похоже на известное наблюдение экономиста Чарльза Гудхарта: «Когда мера становится целью, она перестает быть хорошей мерой».)

Закон Кэмпбелла был написан в эпоху, когда такие важные тестирования, как вступительные экзамены в ВУЗ, играли все большую роль в области образования. Но закон Кэмпбелла применим к любому важному показателю, включая индекс потребительской лояльности, уровень удовлетворенности клиентов, квартальная прибыль и т.д.

Когда заработная плата и продвижение по службе бесконтрольно привязаны к NPS, люди неизбежно сосредоточатся на улучшении показателей. Хорошо, если прогресс будет отражать действительное увеличение положительных отзывов (одного из показателей лояльности). Плохо, если рост показателей будет коррумпированным и не привязан к реальному настроению клиентов.

По мнению Сауро и Льюиса из закона Кэмпбелла можно сделать следующий вывод – работа на показатели приводит к недостоверной оценке. Без надлежащего контроля будут найдены способы искажать измерения в своих интересах. Такие манипуляции включают в себя изменение времени сбора данных, решение о том, кто будет и не будет опрошен, и поощрение положительных ответов респондентов.

Например, сотрудники крупного банка удалили адреса электронной почты, чтобы не получить низкий NPS в результате опросов клиентов.

Менее грубое нарушение также может исказить показатели. Например, я недавно получил электронное письмо от моего дилера после ремонта машины. Менеджер попросил меня пройти опрос удовлетворённости качеством обслуживания (здесь нет NPS, но те же возможности для манипуляций). Он также выделил и подчеркнул в письме, что им нужны самые высокие баллы:

В письме нет прямого указания, как мне необходимо отвечать на вопросы, но я определенно буду чувствовать себя неловко, если поставлю оценку меньше 10, учитывая, что это может повлиять на заработную плату, бонусы или, возможно, продолжение работы сотрудника в дилерском центре.

Как обойти закон Кэмпбелла?

Пока количественные показатели будут привязаны к «наказаниям», будет применяться закон Кэмпбелла. Так что с ними делать? Мы рассмотрели несколько возможных ответов на то, как можно использовать NPS и другие важные показатели компаний, которые подвержены влиянию и коррупции:

• Перестать измерять: некоторые считают, что нужно отказаться от NPS и других показателей, прекратить измерять желание клиентов рекомендовать.
• Поменять показатель: подумайте о переходе от NPS к удовлетворенности клиентов. Правда, это то же самое, что замена вступительных экзаменов в ВУЗах на ЕГЭ. Электронное письмо от моего дилерского центра показывает, насколько бесполезным может быть такой подход, поскольку те же самые проблемы просто переносятся на иную систему оценки.
• Игнорировать: некоторые просто игнорируют показатели. Однако оперативность авиакомпаний, количество выпускников, результаты тестов и статистика преступлений — есть масса примеров, где важна оценка параметров. NPS, удовлетворенность, потребительские усилия и другие метрики клиентов — это способы измерения отношения, которые, как показали исследования, имеют большое значение для удержания клиентов, прибыли и роста.
• Улучшить методику управления: реализовать способы снижения коррупции или возможности искажений данных.

Улучшение методики управления

Фред Райхельд прекрасно осознавал пагубные последствия закона Кэмпбелла. Поэтому крайне удивительно, читать его высказывание в статье WSJ 2019 года «Я даже не предполагал, как люди могут манипулировать показателями и подстраивать их для реализации своих эгоистичных целей».

В своей книге «Искренняя лояльность. Ключ к завоеванию клиентов на всю жизнь» Райхельд посвящает немало страниц определению способов предотвращения искажения NPS. 

В этой главе он описывает несколько способов сократить факторы влияния на NPS:

• разработайте процедуры аудита для выявления попыток «обмануть систему»;
• информируйте клиентов о возможностях подкупа или коррупции;
• привлекайте третьих лиц для сбора данных, чтобы предотвратить нежелательное вмешательство или влияние;
• используйте электронную почту, где клиенты могут быть непредвзятыми (лично или по телефону люди часто не хотят обидеть);
• создайте прозрачную систему оценки для всей компании (если что-то выглядит сомнительно, велика вероятность, это заметят)
• проводите нерегулярные временные опросы, чтобы уменьшить запланированные изменения в поведении.

Эффективность таких способов заслуживает отдельного изучения и, возможно, станет предметом отдельной статьи. Хорошая работа в компании безусловно заслуживает поощрения, но возникает вопрос, который стоит изучить, - не лучше ли отделить вознаграждение от субъективных показателей клиентов?  Ведь если эти показатели не искажены, они могут дать ценные предупреждающие знаки о проблемах в обслуживании клиентов.

Заключение

Резюмируя, согласно закону Кэмпбелла, чем больше вы опираетесь на показатель для принятия важных решений, тем больше он становится подвержен манипуляциям, искажая то, что вы намеревались измерить. Закон Кэмпбелла распространяется на такие области как образование, правоохранительная структура и бизнес. Он влияет на результаты тестирования, уровень преступности, NPS и уровень удовлетворенности клиентов. Возможно, последствия закона Кэмпбелла, скорее всего, никогда не удастся устранить, но их можно смягчить, используя стратегии, минимизирующие воздействие искажающих факторов.

Оригинал статьи: https://measuringu.com/campells-law-and-nps/