Как читать статистику, когда цифры маленькие

Зоя работает частным ветеринарным врачом и ведёт канал на триста сорок подписчиков. В марте она пришла к выводу, что нашла формулу: публикации с фотографиями животных дают вовлечённость двенадцать процентов против четырёх у остальных.

Разница втрое. Вывод очевиден — снимать больше животных.

За цифрами стояло следующее. Двенадцать процентов — это шесть реакций на пятьдесят просмотров. Четыре процента — две реакции на пятьдесят. Разница между шестью и двумя людьми.

В апреле она проверила ещё раз, уже на серии из четырёх публикаций. Разница исчезла полностью.

Что вы узнаете из статьи

• Почему проценты систематически обманывают на малых числах
• Пять показателей, которые считают в штуках
• Как отличить сигнал от случайного колебания
• Что смотреть раз в неделю, а что раз в квартал
• Три ловушки, в которые попадают при разборе

---

Что не так с процентами

Проблема не в самих процентах, а в том, что один человек весит слишком много.

При пятидесяти просмотрах каждый читатель — это два процента. Появился один дополнительный — «рост на пятьдесят процентов». Ушёл один — «падение на треть». Ни то ни другое ничего не значит, но выглядит внушительно и требует объяснения, которое вы обязательно придумаете.

Три следствия, которые стоит принять.

Проценты создают иллюзию точности там, где данных нет. Цифра «12,4 %» звучит как измерение, хотя за ней стоят шесть человек.

Проценты подталкивают к ложным выводам. Увидев трёхкратную разницу, вы начинаете перестраивать работу — как Зоя.

Проценты плохо сравниваются между периодами, потому что знаменатель постоянно меняется вместе с аудиторией.

Отдельно они врут после всплеска: широкий охват обрушивает все относительные показатели, хотя ничего не ухудшилось. Разбор такой ситуации есть в тексте про то, что делать после всплеска.

Простое правило: до тысячи регулярных просмотров считайте в штуках. Проценты начинают что-то значить, когда один человек перестаёт двигать картинку.

Пять показателей в штуках

Расположены по убыванию честности — от того, что прямо связано с деньгами, к тому, что связано слабее.

Обращения. Вопросы в личку, заявки, звонки со ссылкой на публикацию. Самый редкий и самый честный показатель. Растёт рывками, не гладко, и это нормально.

Сохранения. Человек отложил материал на будущее — значит, счёл его практически полезным. Лучший косвенный признак ценности.

Дочитывания. Показывают, что содержание удержало, а не только заголовок. Особенно полезны в сравнении: если материал открывают, но не дочитывают, проблема в тексте, а не в теме.

Содержательные ответы. Не реакции, а комментарии и сообщения по существу. Один ответ с уточняющим вопросом стоит двадцати одобрительных отметок.

Переходы по ссылкам. Показывают, что человек готов сделать шаг за пределы публикации.

Чего нет в этом списке. Охват — самый шумный показатель, зависящий от площадки сильнее, чем от вас. Прирост подписчиков — растёт и от розыгрышей, и от случайных пересылок. Реакции — самое дешёвое действие, доступное человеку, и потому самое малозначащее.

Зоя перешла на подсчёт в штуках и обнаружила другое: обращения приходили после материалов о том, когда везти животное срочно, а когда можно подождать. Фотографии на это не влияли никак.

Правило накопления

Главный вопрос при малых числах — где заканчивается случайность.

Три условия, при которых различие можно считать сигналом.

Условие первое: не меньше трёх-четырёх однотипных публикаций. Одна ничего не показывает, две могут совпасть.

Условие второе: разница кратная, а не процентная. При маленьких числах имеет смысл различать только сильные эффекты — в полтора-два раза и больше. Разницу в пятнадцать процентов вы просто не сможете отличить от шума.

Условие третье: сопоставимый период сравнения. Не декабрь против июля, а декабрь против декабря или четыре недели подряд.

Если хотя бы одно условие не выполнено, вывод делать рано. Механика превращения наблюдения в проверяемое утверждение разобрана в тексте про проверку форматов гипотезами.

Что делать, когда встроенная статистика показывает мало. Считать вручную в таблице из шести столбцов: дата, тип материала, тема, сохранения, ответы, обращения. Пятнадцать минут в неделю — и через три месяца у вас двенадцать строк, по которым видно больше, чем в любом встроенном разделе.

Валера, частный электрик, ведёт такую таблицу в заметках телефона. За полгода в ней накопилось двадцать шесть строк, и по ним видно то, что не показала бы никакая площадка: обращения идут почти исключительно после материалов про то, что нельзя делать самому.

Периодичность разбора

Смотреть на цифры каждый день вредно: вы видите шум и реагируете на него.

Раз в неделю, пятнадцать минут. Записать в таблицу цифры по вышедшим материалам. Не анализировать, просто зафиксировать. Анализ на недельном отрезке невозможен.

Раз в месяц, полчаса. Посмотреть, какие два-три материала заметно оторвались от остальных, и что у них общего. Отметить, если что-то повторяется второй месяц подряд.

Раз в квартал, полтора часа. Полный разбор: разложить материалы по типам, посчитать глубину по каждому типу, сравнить с предыдущим кварталом, решить, что менять. Это же тот момент, когда проверяются признаки того, что подход не работает.

Раз в год. Сравнить год с годом целиком — единственное сравнение, где сезонность не мешает.

Три ловушки самообмана

Ловушка первая: объяснение задним числом. Материал собрал больше обычного — и вы за минуту находите причину. Более длинный текст, более удачное время, более острая тема. Проблема в том, что объяснение находится всегда, независимо от результата. Защита одна: называть ожидаемый результат до публикации.

Ловушка вторая: выбор удобного показателя. Охваты упали, зато выросли сохранения — говорим о сохранениях. В следующем месяце наоборот. Так можно годами показывать рост при полном его отсутствии. Защита: список показателей фиксируется заранее и не меняется от периода к периоду.

Ловушка третья: сравнение с чужими цифрами. Средние по отрасли собираются по крупным каналам в других нишах. Разброс внутри одной сферы огромен, и ориентир из статьи в интернете скажет о вашем канале ровно ничего. Единственное корректное сравнение — с собой в сопоставимом периоде.

И общая для всех трёх защита: записывать выводы. Ловушки живут в памяти, а не в таблице.

Отчётность при малых числах

Со стороны исполнителя маленькие цифры — постоянный источник неудобных разговоров с клиентом.

Главный соблазн: показывать проценты, потому что они выглядят убедительнее. «Вовлечённость выросла на сорок процентов» звучит лучше, чем «стало на три ответа больше». Проблема в том, что при следующем колебании те же сорок процентов уйдут в минус, и объяснить это будет нечем.

Что показывать вместо этого:

Абсолютные числа по фиксированному списку показателей, одному и тому же из месяца в месяц.

Накопленный итог, а не только период: сколько всего материалов, сколько обращений за квартал, какие темы дали больше.

Список проверенных утверждений об аудитории — то, что выяснено за период и чего не знали до.

Что проговорить с клиентом до начала работы: первые три месяца цифры не показательны; список отслеживаемых показателей не меняется; охват не является целью работы; обращения растут рывками, а не линейно.

Отдельный честный момент. Если за квартал по всем пяти показателям нет движения, об этом нужно сказать прямо и предложить пересборку, а не искать показатель, который случайно вырос. Клиент, узнавший об этом от вас, остаётся. Клиент, догадавшийся сам через полгода, уходит.

---

Шесть ошибок при чтении статистики

Проценты на малой аудитории. Один человек создаёт видимость роста в полтора раза.

Вывод по одной публикации. Слишком много посторонних влияний.

Ежедневный просмотр цифр. Реакция на шум вместо работы.

Смена показателя от периода к периоду. Позволяет годами показывать несуществующий рост.

Сравнение с отраслевыми средними. Собраны по другим каналам и нишам.

Объяснение результата задним числом. Находится всегда, независимо от цифр.

---

Часто задаваемые вопросы

Почему проценты врут? Один человек весит слишком много.

Какой показатель самый честный? Обращения — вопросы и заявки.

Сколько данных нужно? Три-четыре однотипных публикации и три месяца.

Если площадка мало показывает? Считать вручную в таблице из шести столбцов.

Ориентироваться ли на средние по отрасли? Нет, только на себя в прошлом периоде.

---

Заключение

При небольшой аудитории проценты систематически обманывают: один читатель создаёт видимость роста в полтора раза, и под эту видимость всегда находится объяснение.

Считать нужно в штуках и по фиксированному списку: обращения, сохранения, дочитывания, содержательные ответы, переходы. Охват, прирост подписчиков и реакции в этот список не входят — они шумят сильнее, чем говорят.

Сигналом различие становится при трёх условиях: серия из трёх-четырёх однотипных публикаций, кратная разница и сопоставимый период сравнения. Всё, что не выполняет эти условия, — шум.

Смотреть цифры стоит раз в неделю без анализа, разбирать раз в месяц, пересобирать раз в квартал. Ежедневный просмотр даёт реакцию на случайные колебания и ничего больше.

И три ловушки, от которых спасает только письменная фиксация: объяснение задним числом, выбор удобного показателя и сравнение с чужими цифрами.

Таблицу с цифрами полезно держать рядом с планом публикаций — тогда квартальный разбор начинается с готовых данных, а не с восстановления памяти. Подробнее о платформе: dobro-code.ru.