На момент написания этой книги сайт Amazon.com продавал подобные наушники за 329 долларов. Мы сомневаемся, что большинство читателей решили бы заплатить полную цену, поэтому давайте предположим, что средний ответ составил 249 долларов. Многие люди могли бы предложить что-то близкое к этому, но не совсем 249. Некоторые назвали бы 274 доллара, другие – 221, некоторые – намного выше (скажем, 351 доллар), а другие – намного ниже (возможно, 156 долларов). График этих предложений может выглядеть как колоколообразная кривая, пик которой сосредоточен около 249 долларов, а все более крупные или мелкие ставки становятся менее распространенными. Но какой бы разумной ни казалась такая схема, на самом деле это стало бы убедительным доказательством того, что данные являются поддельными. Модель в форме колокола кажется правдоподобной только в том случае, если вы не спрашиваете, как люди на самом деле ответили бы на подобный вопрос [25].
Мы обсуждали, как фокусники извлекают выгоду из общих тенденций того, что думают и выбирают люди, – например, какие игральные карты они, скорее всего, выберут. Подумайте о сумме, которую вы были готовы заплатить. Держите ее в своем уме. Мы почти уверены, что она была кратна 10 долларам. Нет? Тогда она, должно быть, кратна 5 долларам. Верно? Лишь немногие люди дают такие точные ответы, как 221 или 249 долларов. Большинство округляет до значений, подобных 220 или 250 долларам. Чем дороже продукт, тем выше доля ставок, кратных 5 или 10 долларам (или даже большим приращениям, таким как 100 или 1000 долларов). Но даже за футболку гораздо меньше людей сказали бы 9 или 16 долларов, чем 10 или 15 [26].
В 2013 году ученый-бихевиорист Ури Симонсон объяснил, как он обнаружил неправдоподобные закономерности в данных в работе Смистерса. Он просмотрел материалы исследования и увидел, что они не показывают обычного избытка ставок, кратных 5 долларам. Вместо этого ставки в размере 5 долларов были не более вероятны, чем ставки в 6 или 9 долларов. Фактически структура данных соответствовала тому, что можно было бы ожидать, если бы люди с равной вероятностью выбрали любое число – 1, 4, 5, 19 и т. д. – по всему диапазону, закономерность, известная как равномерное распределение. При равной вероятности всех ответов вы найдете ответы, кратные 5, только в одной пятой случаев, что было именно тем, о чем сообщал Смистерс [27].
Затем Симонсон сам провел аналогичное исследование и обнаружил, что более 50 % его участников сделали ставки, кратные 5 долларам. Он также изучил множество других опубликованных исследований готовности платить за аналогичные товары, и во всех них по меньшей мере 50 % заявок были кратны 5. Что касается несколько более дорогих товаров, то кратны 5 были 90 % ставок. Ответы в исследовании Смистерса не соответствовали той схеме, которую мы должны были ожидать, что наводило на мысль о манипуляции данными. Прежде чем опубликовать свои собственные выводы, Симонсон предоставил их работодателю Смистерса – Роттердамскому университету Эразма, который провел тщательное расследование, приведшее к обвинениям в ненадлежащем научном поведении (и к отзыву соответствующих статей) [28].
Как фальшивые выводы Смистерса вообще попали в научную литературу? Ранее мы наблюдали, как мошенническое исследование Дидерика Стапеля не было подвержено критике, потому что его результаты соответствовали ожиданиям исследователей. Мы не знаем, заметили ли рецензенты и редакторы рукописей Смистерса их аномалии, но Симонсон был первым, кто задал очевидные вопросы: «Могу ли я получить исходные данные? Как они выглядят? Совпадают ли их закономерности с результатами аналогичных исследований?» С каждым новым вопросом он приближался к истинному пониманию того, что на самом деле сделал Смистерс.
Ирония в данном случае заключается в том, что «изучайте свои исходные данные» – одно из первых правил, которому учат ученых, когда они начинают проводить оригинальные исследования. (Дэн проповедует важность построения графиков данных на своем вводном занятии по статистике.)
Прежде чем вычислять статистику, которая скажет, «сработал» ли эксперимент, мы должны посмотреть, как распределены числа, насколько зашумлены или сглажены линии и есть ли наблюдения, указывающие на потенциальные недостатки в наших методах.
До того как появились компьютеры, исследователи записывали все свои данные в лабораторные блокноты и производили все вычисления вручную, поэтому они обязательно имели определенную степень близости к своим числам. Сегодня программное обеспечение собирает данные и вычисляет статистику, устраняя многие ошибки транскрипции. Но поскольку мы стали более далеки от данных, лежащих в основе наших исследований, замечать аномалии и задавать вопросы еще важнее. Этот процесс должен быть коллективной ответственностью всех, кто просматривает, одобряет такую информацию и действует на ее основе, будь то в науке, правительстве или бизнесе.
ВЫПОЛНЕНИЕ РАБОТЫ
Ури Симонсон зашел так далеко, что сделал компьютерное моделирование исследований Дирка Смистерса и сам повторил эксперименты, чтобы убедиться, что паттерн, кратный 5 долларам, был достаточно надежным, чтобы рассматривать его отсутствие как показатель недостоверности результатов. Он проделал огромный объем работы, несмотря на то что на карту было поставлено совсем немного. Наука в целом и широкая общественность получают пользу от такого рода работы, но отдельный исследователь часто нет. Как отметил сам Симонсон в беседе с Эдом Йонгом: «Всем нравится тот факт, что разоблачители существуют, но они никому не нравятся» [29].
Энергичная детективная работа Симонсона резко контрастирует с недостаточными усилиями, которые прилагают многие люди, даже когда на карту поставлено гораздо больше. Убедительная иллюстрация может быть взята из мира управления деньгами. Речь пойдет о Гае Спайере – последователе Уоррена Баффета и его философии поиска недооцененных активов, которые в долгосрочной перспективе должны достичь своей надлежащей стоимости. В начале своей инвестиционной карьеры Спайер думал, что нашел неограненный драгоценный камень в виде компании под названием Farmer Mac, которая покупала у банков ипотечные кредиты на фермы. Farmer Mac была поддерживаемой правительством США компанией, такой же, как Freddie Mac и Fannie Mae, которые покупали ипотечные кредиты на жилье. Баффет и другие опытные инвесторы владели акциями Freddie и Fannie. Спайер купил акции Farmer и взволнованно рассказал некоторым своим друзьям из хедж-фондов о своем открытии,