Проверка цифр и исследований: как не поверить в красивые проценты

Проценты — это косметика для мозга. Видите “+30%”, “в 2 раза”, “97% людей” — и рука сама тянется верить. А потом выясняется, что “в 2 раза” — это с 1 до 2, “97%” — это опрос подписчиков в телеграм-канале, а “исследование” — презентация отдела продаж.

Навык проверки цифр нужен не статистикам. Он нужен всем, кто принимает решения: в работе, в бизнесе, в маркетинге, в продукте и даже в бытовых вопросах.

Правило №1: процент без базы — не цифра

Первый вопрос к любой “красивой” статистике: от чего считали?
Если базы сравнения нет — цифра ничего не объясняет.

“Конверсия выросла на 30%” без контекста может означать всё что угодно — от косметического улучшения до реально сильного эффекта. Пока вы не видите базу, период и метрику — это просто украшение текста.

Почему “настоящее исследование” тоже может вводить в заблуждение

Даже без злого умысла статистика ломается типовыми способами:

• измеряли не то, что вы думаете (“вовлечённость” вместо “продаж”);
  
• выбрали удобный период (лучший месяц вместо среднего);
  
• выборка не представляет реальность (маленькая/смещённая);
  
• корреляцию выдали за причинность (“после” = “из-за”).

7 вопросов, которые вскрывают почти любую цифру

1. Кто проводил и кто платил? Заказчик влияет на формулировки и выбор метрик. Это не “плохо”, это факт.
2. Что именно измеряли? Нужна конкретная метрика: выручка, конверсия, CTR, время операции, доля ошибок.
3. С чем сравнивали? До/после, контрольная группа, рынок, конкуренты — какая база?
4. Какие абсолютные числа? Проценты без абсолютов часто скрывают мелкий масштаб эффекта.
5. Какая выборка? Сколько объектов, какой сегмент, география, тип аудитории. “1000 респондентов” без описания — дым.
6. Какой период? Неделя/месяц/год? Есть сезонность? Период “случайно удачный”?
7. Какая методика и ограничения? Опрос/эксперимент/анализ данных. Где это не работает? Какая погрешность?

Типовые трюки, которые делают статистику “красивой”

Самые частые трюки — это относительные проценты без абсолютных чисел (например, “+200%” при росте с 1 до 3), подмена метрики (обещали рост продаж, а показывают клики или трафик), выбор удобного периода (берут лучший отрезок вместо среднего по времени), выбор удобной аудитории (считают только по “тёплым” пользователям, где эффект и так выше), и, наконец, громкие выводы без контроля, когда причинность заявляют уверенно, хотя сравнения или контрольной группы вообще нет.