Гипотезы вместо угадывания: как проверять форматы

Ксения ведёт канал детского центра второй год. За это время она перепробовала многое: видео, карусели, длинные тексты, короткие, опросы, прямые эфиры.

Если спросить, что из этого работает, она ответит уверенно: «Видео заходит, тексты не очень».

Если спросить, откуда это известно, выяснится следующее. Видео она выкладывала в основном осенью, в разгар набора групп. Тексты — летом, когда все на дачах. Сравнивались не форматы, а сезоны.

Два года работы дали ей не знание, а убеждение. И убеждение это, скорее всего, неверное.

Что вы узнаете из статьи

• Почему «давайте попробуем» не превращается в знание
• Как выглядит формулировка, из которой можно сделать вывод
• Что проверяемо при небольшой аудитории, а что нет
• Сколько ждать и на чём считать результат
• Как вести таблицу проверок

---

Почему «попробуем» ничего не даёт

Обычная схема выглядит так: возникает идея, её пробуют, смотрят на цифры, делают вывод. Кажется разумной, но ломается в трёх местах.

Не назван показатель заранее. Материал вышел, охват средний, зато четыре человека написали в личку. Хорошо это или плохо? Ответ зависит от того, что вы считали успехом — а вы этого не решали, и теперь подберёте объяснение под то, что получилось.

Не отделены посторонние влияния. Сезон, день недели, конкретная тема, случайный репост в чужом чате. Одна публикация несёт в себе столько помех, что вывод из неё не следует.

Результат нигде не записан. Через полгода та же идея кажется свежей, и всё повторяется заново.

Именно поэтому многолетний опыт часто не превращается в понимание: пробовали много, знают мало. И на этапе, когда становится ясно, что пора пересобирать подход, опереться оказывается не на что.

Как выглядит проверяемая формулировка

Рабочая гипотеза состоит из четырёх частей и умещается в одно предложение.

Что меняем — что ожидаем — на чём смотрим — какой порог.

Плохо: «Попробуем публиковать больше видео».

Хорошо: «Если четыре разбора ошибок выйдут в виде коротких видео вместо текста, сохранений станет заметно больше, чем у текстовых разборов за тот же период; смотрю на сохранения в штуках; считаю подтверждённой при полуторакратной разнице».

Длинно и неудобно — зато через месяц у вас будет ответ, а не впечатление.

Три требования к формулировке.

Меняется одно. Если вы одновременно перешли на видео и сменили тему, причину не установить.

Показатель назван до публикации. Это единственная защита от подгонки объяснений.

Порог назван числом. «Стало лучше» — не результат. Полуторакратная разница — результат.

Павел, владелец небольшой типографии, добавил к этому свою привычку: перед проверкой он пишет одной строкой, что будет делать при подтверждении и что при опровержении. Если ответ в обоих случаях одинаковый, проверка не нужна.

Что проверяемо, а что нет

Ограничение простое: чем меньше аудитория, тем крупнее должно быть изменение.

Проверяется при трёхстах подписчиках:

• Тип материала: разбор ошибки против показа процесса
• Тема: одно направление против другого
• Длина: короткая заметка против развёрнутого текста
• Наличие или отсутствие фотографий
• Вопрос в конце против его отсутствия

Не проверяется при трёхстах подписчиках:

• Оттенки заголовков и формулировок
• Время публикации с разницей в час-два
• Цвет и оформление обложки материала
• Количество эмодзи
• Порядок абзацев

Причина в том, что различия в несколько процентов на маленькой аудитории неотличимы от случайного колебания. Проверять их можно, но выводы будут выдуманными.

Отдельная категория — то, что проверять не нужно вообще. Есть вещи, известные заранее: приветственный пост не работает, ссылка без повода не даёт переходов, ежедневный ритм не выдерживается. Тратить на них цикл проверки — потерять месяц.

Сроки и показатели

Минимум на одну проверку — три-четыре однотипных публикации. Одна ничего не доказывает, две могут совпасть случайно.

Срок — месяц-полтора. Меньше не даст накопления, больше размывает картину сезонными сдвигами.

Сравнивать нужно с сопоставимым периодом, а не с предыдущим месяцем. Ошибка Ксении была именно тут: осень против лета.

Показатели по убыванию полезности:

Обращения в личку — самый честный, но редкий сигнал.

Сохранения — показывают, что материал сочли полезным на будущее.

Дочитывания — говорят о содержании, а не о заголовке.

Ответы и комментарии по существу — не реакции, а содержательные.

Охват — самый шумный показатель, зависящий от площадки сильнее, чем от вас.

Считать всё это стоит в штуках, а не в процентах, — про причины есть отдельный разбор какие показатели вообще считать.

Таблица проверок

Достаточно шести столбцов в любой таблице или заметке.

Что даёт эта таблица. Через год у вас двенадцать-пятнадцать строк, и это не мнения, а проверенные утверждения о вашей аудитории. Ни в одной статье в интернете такого списка про ваш конкретный случай нет и быть не может.

Правило одной проверки за раз. При двух параллельных изменениях причина становится неопределимой. Одна проверка в месяц — двенадцать в год, этого более чем достаточно.

Отрицательные результаты записывать обязательно. Они экономят время, когда та же идея снова покажется свежей.

Как это устроено на стороне подрядчика

Со стороны исполнителя таблица проверок — самый сильный аргумент в разговоре с клиентом и самая недооценённая часть работы.

Почему она важнее отчётов. Отчёт показывает, что было сделано. Таблица показывает, что выяснено. Клиент, видящий накопленный список проверенных утверждений о своей аудитории, воспринимает работу как накопление актива, а не как расход.

Что зафиксировать в договорённостях: одна проверка в цикл, длительность цикла, кто формулирует гипотезу и кто утверждает порог, что происходит при неподтверждении.

Главный риск — соблазн подгонки. Когда гипотеза не подтвердилась, велико искушение переформулировать её задним числом под полученный результат. Защита от этого одна: формулировка и порог фиксируются письменно до публикации, желательно в переписке с клиентом.

Что честно сказать клиенту заранее: примерно половина проверок не подтверждается, и это нормальный ход работы, а не провал. Если ожидание — «каждый эксперимент должен улучшать показатели», проверки быстро превратятся в имитацию.

И отдельно про передачу дел. Таблица проверок — то немногое, что при смене подрядчика остаётся у клиента как реальный актив. Её стоит вести в общем доступе с самого начала.

---

Шесть ошибок при проверке форматов

Показатель назван после публикации. Гарантирует подгонку объяснения.

Одна публикация как доказательство. Слишком много помех.

Сравнение разных сезонов. Сравниваются не форматы, а месяцы.

Две проверки одновременно. Причина результата неопределима.

Проверка мелочей на малой аудитории. Выводы выдуманные.

Отсутствие записи. Через полгода всё повторяется заново.

---

Часто задаваемые вопросы

Можно ли проверять при трёхстах подписчиках? Можно, но только крупные изменения.

Сколько публикаций на проверку? Три-четыре однотипных.

Что считать результатом? Заранее названный показатель и порог.

Сколько проверок вести сразу? Одну.

Что делать с неподтвердившейся? Записать — отрицательный результат тоже знание.

---

Заключение

Многолетний опыт не превращается в понимание сам собой. Ксения два года пробовала форматы и получила убеждение, построенное на сравнении осени с летом.

Разница между «попробуем» и проверкой — в трёх вещах: показатель назван до публикации, меняется что-то одно, результат записан числом с заранее объявленным порогом.

При небольшой аудитории проверяются только крупные изменения — тип материала, тема, длина, наличие фотографий. Оттенки заголовков и время выхода на трёхстах подписчиках дают шум, а не данные.

Одна проверка занимает три-четыре однотипных публикации и месяц-полтора, сравнивается с сопоставимым периодом, а не с предыдущим месяцем.

Итог всей этой работы — таблица из шести столбцов, в которой через год накапливается двенадцать-пятнадцать проверенных утверждений о вашей конкретной аудитории. Такого списка нет ни в одной статье, потому что он только ваш.

План публикаций и результаты проверок удобно держать рядом — тогда очередная проверка начинается не с восстановления памяти, а с выбора следующей гипотезы. Подробнее о платформе: dobro-code.ru.