Проверка цифр и исследований: как не поверить в красивые проценты

Проценты — это косметика для мозга. Видите “+30%”, “в 2 раза”, “97% людей” — и рука сама тянется верить. А потом выясняется, что “в 2 раза” — это с 1 до 2, “97%” — это опрос подписчиков в телеграм-канале, а “исследование” — презентация отдела продаж.

Навык проверки цифр нужен не статистикам. Он нужен всем, кто принимает решения: в работе, в бизнесе, в маркетинге, в продукте и даже в бытовых вопросах.

Правило №1: процент без базы — не цифра

Первый вопрос к любой “красивой” статистике: от чего считали?
Если базы сравнения нет — цифра ничего не объясняет.

“Конверсия выросла на 30%” без контекста может означать всё что угодно — от косметического улучшения до реально сильного эффекта. Пока вы не видите базу, период и метрику — это просто украшение текста.

Почему “настоящее исследование” тоже может вводить в заблуждение

Даже без злого умысла статистика ломается типовыми способами:

измеряли не то, что вы думаете (“вовлечённость” вместо “продаж”);
выбрали удобный период (лучший месяц вместо среднего);
выборка не представляет реальность (маленькая/смещённая);
корреляцию выдали за причинность (“после” = “из-за”).

7 вопросов, которые вскрывают почти любую цифру

Кто проводил и кто платил? Заказчик влияет на формулировки и выбор метрик. Это не “плохо”, это факт.
Что именно измеряли? Нужна конкретная метрика: выручка, конверсия, CTR, время операции, доля ошибок.
С чем сравнивали? До/после, контрольная группа, рынок, конкуренты — какая база?
Какие абсолютные числа? Проценты без абсолютов часто скрывают мелкий масштаб эффекта.
Какая выборка? Сколько объектов, какой сегмент, география, тип аудитории. “1000 респондентов” без описания — дым.
Какой период? Неделя/месяц/год? Есть сезонность? Период “случайно удачный”?
Какая методика и ограничения? Опрос/эксперимент/анализ данных. Где это не работает? Какая погрешность?

Протокол проверки цифр за 5 минут

Шаг 1. Перепишите утверждение одной строкой.
“Метод X увеличивает конверсию на 30%”.

Шаг 2. Найдите первоисточник.
Отчёт/документ/публикация, где есть методика и данные, а не пересказ.

Шаг 3. Расшифруйте метрику и базу.
Что измеряли и с чем сравнивали.

Шаг 4. Проверьте масштаб: абсолюты, выборка, период.
Сколько данных и за какой срок. Это сразу показывает “вес” эффекта.

Шаг 5. Проверьте вывод: причинность не подменили корреляцией?
Если нет контроля — вывод “это из-за X” обычно слишком смелый.

Шаг 6. Сформулируйте честный вывод для себя.
“Похоже, работает в таких-то условиях” или “нужна проверка на наших данных”.

Типовые трюки, которые делают статистику “красивой”

Самые частые трюки — это относительные проценты без абсолютных чисел (например, “+200%” при росте с 1 до 3), подмена метрики (обещали рост продаж, а показывают клики или трафик), выбор удобного периода (берут лучший отрезок вместо среднего по времени), выбор удобной аудитории (считают только по “тёплым” пользователям, где эффект и так выше), и, наконец, громкие выводы без контроля, когда причинность заявляют уверенно, хотя сравнения или контрольной группы вообще нет.

Артефакт 1: чек-лист «Проверка цифр за 5 минут»

Есть первоисточник (отчёт/документ/публикация), а не пересказ?
Понятно, кто проводил и кто финансировал?
Понятно, что измеряли (метрика)?
Есть база сравнения (до/после/контроль/рынок)?
Есть абсолютные числа, не только проценты?
Понятна выборка (кто, сколько, где)?
Понятен период и сезонность?
Описана методика, а не только вывод?
Корреляцию не выдают за причинность?
Применимо к моим условиям или это “в среднем по больнице”?

Артефакт 2: карточка исследования

Поле	Заполнить
Источник	ссылка/название отчёта
Кто проводил / финансировал	организация, заказчик
Что измеряли	метрика (точно)
База сравнения	с чем сравнили
Выборка	кто/сколько/сегмент/гео
Период	даты, сезонность
Метод	опрос/эксперимент/анализ данных
Результат	цифры + абсолюты
Ограничения	где не работает / допущения
Вердикт	доверяю / частично / не доверяю
Что проверить у себя	1–2 действия

Цифры — полезный инструмент, но только если вы понимаете: что измеряли, с чем сравнивали, на каких данных и в каких условиях. В связке с оценкой источников и проверкой актуальности этот навык превращает “по данным исследования” из магической фразы в проверяемую информацию.