Три девицы под окном. iaas saas paas

Посредственные метрики — не оправдание

Главная мысль этого текста не в том, чтобы оправдать посредственные метрики, но скорее обозначить суровую реальность ситуации. Существует разительный контраст между предпринимателями, которые заботятся о своих продуктах, и целевой аудиторией, которой все равно, сколько усилий в это вложено. В результате люди не регистрируются, и даже если они это делают, они не пользуются продуктом или не получают положительный опыт использования. Это очень тяжело.

Но даже если средние показатели продукта не радуют, отрасли нужны единороги. Так, я говорю, что 30% DAU/MAU — это хороший показатель, но если вы сравните это с 70% Whatsapp, то поймете, в чем разница между хорошими и превосходными показателями. Конечно, всем хочется выйти на превосходный уровень, потому что индустрия технологий сконцентрирована на превосходных продуктах.

Плюс в том, что даже если эти проценты кажутся маленькими, превосходные компании были построены на нескольких процентах здесь или там. Как много платных подписок вы получите, убедив 2-3% своих пользователей заплатить? Кучу подписок. Или кто создал многомиллионный рекламный бизнес на основе небольшого процента пользователей, которые кликают по объявлениям? Все владельцы рекламных бизнесов. Так что это может работать, но пока ваш продукт масштабируется и быстро растет, ваши метрики могут выглядеть сумбурно. И пока это так, продолжайте работать над ними.

Коротко о главном

Метрики продукта — это метрики, которые дают оценку, насколько продукт успешно продаётся на рынке и нравится ли аудитории. Также они нужны, чтобы разобраться, почему продукт начинает терять клиентов или, напротив, резко становится востребованным. Потом найти закономерности и через них улучшить бизнес-стратегию.
Продуктовые метрики бывают внутренними и внешними. Внутренние помогают оценить работу команды компании. Внешние — какой у продукта потенциал в будущем.
Работать с метриками можно по разным методикам. Например, иерархия и пирамида метрик.
Упростить задачу можно с помощью фреймворков — AARRR, HEART, PULSE.
При выборе метрик нужно хорошо понимать свой продукт: определиться, на какой стадии жизненного цикла он находится, какие метрики для него ключевые и какие цели должен продукт достичь, чтобы компания получила профит.

Источник фото на тизере: Eugene Tkachenko on Unsplash

API

Консультант раздела: Дмитрий Антипов, менеджер продукта OMNICOMM

«Продуктовые метрики необходимо выбирать так, чтобы повысить ценность от использования сервиса для клиента. Для продуктов API клиентом является разработчик

Но важно помнить, что предоставляемые данные предназначены для конечного пользователя.

Выбор метрик зависит от задач бизнеса. Например, ключевая метрика в транзакционном бизнесе (онлайн-платежи) — скорость отклика. Для банковских переводов важна безопасность, в телематике — скорость сбора данных с транспортных средств и выгрузка отчетов. При разработке API нужно уточнить у заказчика, как планируется монетизировать API, и согласовать, какие метрики следует отслеживать в первую очередь.

Ключевые критерии любого качественного сервиса API — это скорость предоставления данных, простота интеграции для сторонних разработчиков и невысокая стоимость владения».1. API calls — общее количество вызовов API за заданный период времени. Необходимо понимать количество вызовов по каждому методу для планирования нагрузки на инфраструктуру.2. Failure rate — количество неудачных вызовов API. Метрика даёт понимание, насколько выросло число неудачных вызовов одного из микросервисов. Возможно, появился баг, или микросервис почему-то стал слишком популярным. На примере OMNICOMM: после добавления информации о температурном режиме в рефрижераторе пользователи из ритейла стали запрашивать метод «Состояние ТС» каждый час. Другой пример: после того, как службы, управляющие автопарком в аэропорту, подключились к API, количество вызовов метода «Местоположение ТС» кратно возросло.

Как рассчитать: Failure rate = количество неудачных вызовов / общее количество вызовов

Support tickets — количество обращений в службу поддержки, возникших в результате проблем с API. Обращения важно разделять на консультации и инциденты. Все ошибки на продуктовой площадке должны отлавливать автотесты и мониторинг

Количество багов, точнее, их отсутствие, также считается показателем бизнеса в целом и может быть использовано в KPI.

4. Response time — время ответа сервиса на запрос клиента. Изменения в сервисе могут ухудшить качество его работы. Кроме того, разработчик может написать неоптимальный запрос к базе данных или перегрузить микросервис.

Как рассчитать: разница между временем вызова и временем получения ответа. Эталонное время можно получить при нагрузочном тестировании.

5. Количество запросов в единицу времени.

E-commerce

Консультант раздела: Наталия Балдыгина, product owner KUPIVIP

«В электронной коммерции можно придумать множество метрик: визиты, глубина просмотра, время на сайте, процент пользователей, которые добавляют товары в корзину, и так далее. Но набор ключевых составляется в зависимости от стратегии и целей конкретного бизнеса. В любом случае, основной метрикой для большинства продуктов будет количество денег, которое он приносит».1. Visits — количество сессий на сайте.

Хотя любой бизнес хочет, чтобы показатель визитов рос, сам по себе он вряд ли поможет в принятии продуктовых решений. Цель бизнеса — увеличить Visits to sale conversion — процент посетителей, совершивших покупку, то есть отношение заказов к визитам.

2. Orders — количество заказов за определенный период времени, и Average order value — средняя денежная стоимость одного заказа, «средний чек».

Обе метрики напрямую влияют на прибыльность компании. На метрики можно повлиять с помощью доработок продукта. Это могут быть как элементы промоактивностей, так и upsell на любом шаге пользовательского пути.

Как рассчитать: AOV = доход от заказов / количество заказов

Кейс про выход на новый рынок

В первом кейсе речь идет о некогда популярном мессенджере, который со временем был забыт. Одна компания решила его перекупить и реанимировать с помощью выхода на рынки новых стран. Перед аналитиками поставили задачу выбрать подходящую страну, потому что выйти сразу на несколько рынков не позволял бюджет.

Мы рассмотрели 29 потенциальных стран и собрали разные данные:

Узнали CPI (cost per install) по каждой конкретной стране — стоимость одной установки.
Выяснили факторы оттока.
Оценили факторы, которые влияют на виральность приложения.

Под виральностью в этом кейсе я подразумеваю вот что: если пользователю нравится мессенджер, он пригласит в него друзей и родственников. То есть новые пользователи придут в продукт, а платить за них не придется.

На отток влияет состояние рынка в целом: если 70–80% пользователей уже сидят в определенном мессенджере, наивно полагать, что все эти люди легко придут к нам. Поэтому мы учитывали сегментацию и монополизацию рынка.

После анализа открытых данных мы построили матрицу принятия решений и выяснили, что оптимальный вариант по объему рынка и эффективному CPI — это Бразилия. Мессенджер вышел на бразильский рынок, и там действительно случился бурный рост. Этому кейсу уже 4–5 лет.

Принять правильное решение помогла метрика «эффективный CPI». По сути, это некоторая оценка, аппроксимация. Мы не знали, какой в точности будет цена привлеченного пользователя, но мы могли это оценить и попробовать предсказать. Такая оценка представляет собой отношение двух коэффициентов: фактора оттока и фактора виральности. Фактор оттока увеличивает цену лида, а фактор виральности — уменьшает. Поэтому первый стоит в числителе, а второй — в знаменателе.

По оси Y — цена одного лида, по оси X — эффективный CPI

Немного поясню, по какой формуле мы считали эти факторы. Для оттока мы использовали 9 факторов, для виральности — 6. Мы их измерили, возвели в квадраты, сложили, извлекли квадратный корень и получили итоговую оценку. Это как некоторый аналог расстояния в многомерном пространстве, измерениями которого являются разные факторы.

NSM (метрика «полярной звезды»)

Показатель основной ценности продукта для пользователей, по которому также можно понять, зарабатывает ли компания. С его помощью нельзя измерить, была ли эффективна новая фича и хорошо ли работает определённый этап в пути клиента. Он выступает в качестве основного индикатора продукта в долгосрочном периоде.

Например, для онлайн-магазина такой метрикой часто является LTV. А для онлайн-сервиса, который монетизируется за счёт рекламы, — MAU и количество активных пользователей в день. У Facebook это средняя длина сессии, а у Medium — доля дочитанных статей.

Не всегда метрика «полярной звезды» очевидна. Чтобы выбрать её правильно, нужно понимать, чем вы ценны для клиентов и на чём зарабатываете

Если ваш сервис отвечает за электронный документооборот, то для вас будет важно, каким количеством документов компания обменивается с вашей помощью.

Case study

Я работаю над успешной платформой для sales-менеджеров. Мы с командой создавали фичу, которая позволила в рамках этого продукта назначать встречи с потенциальными клиентами. Всем знакома ситуация, когда предлагаешь созвон: «Давай в понедельник в 14:00», а в ответ получаешь: «Нет, давай во вторник в 15:00». А дальше: «Нет, вторник мне не подходит, давай в среду» — и так до бесконечности, пока клиент не «отвалится». Наша цель — решить эту проблему. Фича заключалась в том, что sales-менеджер открывает свой календарь, просматривает график, выбирает несколько опций и вставляет их в письмо. Потенциальный клиент получает это письмо, видит тайм-слоты и может одним кликом назначить встречу. После клика по ссылке создается событие в календаре.

Какие метрики мы выбрали после релиза:

Вовлеченность — сколько раз пользователи вставляли свои тайм-слоты в письма. Сколько пользователей открывали календарь, но не выполняли финальное действие — вставку тайм-слотов в письмо.
Усредненная метрика — сколько раз в неделю в среднем один человек использует эту фичу.

На этапе запуска фичи мы измеряли adoption — сколько уникальных пользователей пришло в течение месяца и квартала после релиза

Так как у нас B2B-продукт, нам было важно понимать не только количество пользователей, но и число уникальных команд, которые начали пользоваться новым функционалом

Обратили внимание на то, сколько людей продолжает использовать наш новый функционал после первой недели, — так мы понимали, что приносим им ценность, и они постепенно встраивают новую фичу в свой workflow

Главной категорией стала метрика task success, определявшая, какая была конверсия между отправленными приглашениями и реальными митингами, которые клиенты назначали в своих календарях. Имея высокую конверсию между приглашением и созданной встречей, мы можем заявить об успехе и достижении главной цели — назначение в календаре митинга с клиентом.

Выходя из гугловского фреймворка, мы использовали и другие метрики, чтобы понять паттерны пользовательского поведения. Например, измеряли, сколько в среднем тайм-слотов предлагают клиентам, как часто назначают встречи от имени коллеги…

Здорово, мы получили много-много цифр! Но как мы применяли их в разработке — вот главный вопрос. Как они повлияли на продуктовые решения, которые мы принимали?

Во-первых, функциональность была доступна в двух местах: в самом приложении и в расширении для gmail — числа драматически отличались. Проблема заключалась в UI: доступ в приложении к фиче был сложнее. Чтобы повысить adoption, мы улучшили UI так, чтобы люди легче находили опцию и, следовательно, стали активнее ее использовать.

Во-вторых, мы измеряли, сколько людей вставляют в письма тайм-слоты через календарь и сколько всего писем с приглашениями отправляется. Оказалось, что многие копируют варианты времени из одного сообщения в другое, не заглядывая лишний раз в календарь. Поэтому мы решили задуматься о нативной функциональности копирования.

В-третьих, мы имели данные, сколько в среднем раз sales-менеджеры вставляют тайм-слоты и сколько дней предлагают для встречи с клиентами. Казалось бы, какая нам разница-то? 7, 10 или 15? Пусть делают, что хотят, — мы дали им фичу. Но, имея эту информацию, мы убедились: наш UI максимально удобный, все опции видны и отображаются наилучшим образом, так что человеку, который выбирает подходящий слот, не приходится скроллить и переключаться.

В-четвертых, подтверждение гипотезы. Мы проверили основную гипотезу, что, если sales-менеджер предлагает выбранные тайм-слоты клиентам сразу, а не втягивает их в долгие дискуссии о подходящей дате, получаем более высокую конверсию встреч. Но мы все-таки заметили, что результат мог быть еще лучше: не все клиенты понимали, что они могут сделать это в один клик; они не понимали, что получили ссылки. Мы дали UI более похожий на кнопку — и стали еще успешнее достигать цели.

И в-пятых, открытие. Когда мы разрабатывали фичу, то не знали, что сложится ситуация, когда на момент отправки все временные опции доступны, а через несколько часов уже неактуальны и забронированы. С помощью аналитики мы поняли, что так терялось в среднем 3% потенциальных встреч, и добавили функционал, чтобы дать клиенту возможность запросить новое время.

Какими бывают метрики?

Метрики делят на внешние и внутренние. Внешние еще иногда называют метриками роста. С помощью них можно точно сказать о потенциале продукта, понять, пора ли его масштабировать, как на него реагирует аудитория. Этими метриками интересуются те, кто планирует вкладываться в бизнес.

Внутренние метрики еще называют операционными. Они помогают оценить результативность работы сотрудников и понять, насколько их работа позитивно сказывается на развитии проекта и помогает бизнесу расти.

Наиболее распространенные вариации метрик

Помимо пространных категорий по типу «внешних» и «внутренних», в бизнесе есть конкретные показатели, которые учитываются предпринимателями по ходу развития проекта или внесения изменений в разрабатываемый продукт.

Также есть числовые измерения успешности среди целевой аудитории и другие конкретные показатели, помогающие понять, как анализируемый продукт чувствует себя на рынке.

Рассмотрим наиболее распространенные и показательные. То есть те, что бизнесмены используют в первую очередь и внедряют в свой рабочий процесс практически всегда.

CAC

Customer Acquisition Cost – одна из основных метрик, используемых в бизнесе. Она показывает, как много средств уходит на привлечение одного клиента.

Стоимость высчитывается по следующей формуле:

Берутся затраты на маркетинг, зарплаты сотрудников, стоимость программного обеспечения и все прочие траты, включая накладные расходы.
Затем получившуюся сумму делят на количество пользователей, которых удалось привлечь за эти деньги (все, что были потрачены компанией).

LTV

Live Time Value – это показатель, отражающий доход от одного пользователя за все время, что он пользуется анализируемым продуктом (сервисом, приложением и т.п.).

Есть несколько разных формул для расчета показателя LTV:

Берется доход от одного пользователя, из него вычитаются затраты на привлечение этого самого клиента и удержание его в числе постоянных.
Берется средняя прибыль от продажи продукта и умножается на среднее число продаж ежемесячно, получившаяся сумма умножается на среднее время, которое пользователь остается лояльным клиентом компании.
Берется произведение среднего количества заказов и среднего чека, умножается на долю прибыли в выручке, а затем умножается на время, в течение которого пользователь остается лояльным клиентом компании.

Выбор методики расчета зависит от бизнес-модели фирмы и предпочтений руководства.

RR

Retention Rate отражает количество привлеченных пользователей, которые в итоге остались среди лояльных пользователей, а не бросили продукт по окончании тестового периода.

Для оценки Retention Rate используется формула Джеффа Хэдена:

Берется срок для оценки: месяц, неделя или даже год.
Затем в расчет добавляют количество клиентов, оставшихся таковыми до конца периода оценки рейтинга Retention Rate.
От количества лояльных клиентов отнимается количество новых пользователей.
Получившаяся разность делится на количество клиентов во время начала анализа Retention Rate.
Итоговое частное умножается на 100.

CR

Chrurn Rate – это рейтинг оттока. Либо оттока пользователей, либо оттока прибыли.

Первый вычисляется довольно просто: берется количество пользователей в определенный период времени (допустим, в начале месяца). От этого числа отнимаются потерянные за месяц, неделю или год клиенты. Получившееся число делится на изначальное количество клиентов, а получившееся частное умножается на 100%.

SD

Session Duration – это комплексная метрика, включающая в себя множество разных показателей, связанных общей темой – количеством времени, которое пользователь проводит, взаимодействуя с вашим продуктом. Это может быть и то, как долго человек держит открытым ваше приложение, и то, как часто он в него заходит. Все они формируются в общий рейтинг.

Метрики, связанные с SD

Корпорации используют такие параметры для оценки качества продукта.

Happiness – то есть уровень счастья. Через него измеряется уровень удовлетворенности клиентов используемым продуктом. Оценка проводится через опросы и прямой контакт с пользователями.
Engagement – степень вовлеченности пользователей. Может измеряться через количество контента, которое передает пользователь, или через такие показатели, как время препровождения в программе.
Adoption – показатель того, как быстро новые пользователи осваивают продукт и попадают в число постоянных клиентов. Чаще метрика ассоциируется именно со скоростью роста пользовательской базы.

SaaS – Программное обеспечение как сервис

SaaS – это услуга, благодаря которой можно арендовать лицензионное программное обеспечение. Например, получить во временное пользование облачный Office 365.

Софт имеет лицензию по подписке и находится у поставщика облачных услуг. Практически все SaaS-решения сделаны на базе многопользовательской архитектуры. В рамках этой модели у всех клиентов будет установлена одинаковая версия программного обеспечения с единой конфигурацией.

Услуга SaaS позволяет бизнесу сэкономить на IT за счет выноса обслуживания и поддержки ПО на аутсорс. Приложения по модели SaaS обновляются чаще обычных (раз в месяц или даже раз в неделю). Это вызвано следующими причинами:

Софт расположен централизованно у провайдера, поэтому именно провайдер занимается обновлениям, а не сам клиент.
У всех пользовательских приложений общая конфигурация, что упрощает тестирование.
Провайдеру не приходится тратить ресурсы на обновление и поддержку фоновых версий программного обеспечения.
Разработка и регрессивное тестирование выполняются быстрее благодаря тому, что у провайдера есть полный доступ к данным арендатора.

Модель оплаты – каждый месяц или раз в год взимается фиксированная плата за каждого пользователя. То есть клиент может убирать или добавлять новых пользователей в любой момент и платить только за реальное их количество.

Какие есть модели атрибуции

Всего моделей атрибуции в Метрике четыре. Выбрать их можно в верхнем меню страницы с отчетом. Здесь же включается опция «кросс-девайс», которая позволяет учитывать визиты пользователя с других устройств. Опция стала доступна для всех моделей атрибуции с ноября 2021 года.

Последний переход

Самая простая модель, при которой вся ценность присваивается последнему источнику.

Пример. Пользователь зашел на сайт четыре раза: через органику, рекламу в Директе, из сообщества во ВКонтакте и по рекламе, запущенной из myTarget. После этого он делает заказ.

Метрика посчитает ценным переход из рекламы myTarget.

В этом есть логика: хотя пользователь уже знал о бренде, именно последнее объявление подтолкнуло его к заказу.

Однако модель «Последний переход» используется редко, потому что она не учитывает значимость предыдущих источников.

Другой пример. Пользователь, опять-таки, зашел на сайт несколько раз. В последний раз — по рекламе myTarget. Он перешел по объявлению, решил сделать заказ, но не сделал, а сохранил себе ссылку и ушел на час.

Через час пользователь зашел по прямой ссылке и оформил заказ.

Очевидно, что на решение повлияла реклама. Но модель «Последний переход» будет считать конверсионным именно прямой заход по ссылке.

Это серьезный недостаток «Последнего перехода».

Зато модель хорошо подходит для технического аудита сайта. Бывает, что на сайте есть страницы без счетчика Яндекс Метрики, и нужно их найти. Тогда мы поставим модель атрибуции «Последний переход» и проанализируем все внутренние переходы. Если мы переходим со страницы, на которой нет счетчика Яндекс Метрики, на страницу со счетчиком, засчитается новый визит с источником «Внутренний переход».

Последний значимый переход

Эта модель атрибуции отличается от модели «Последний переход» тем, что она игнорирует только незначимые источники.

Пример. Вернемся к последнему примеру, где пользователь пришел на сайт по рекламе myTarget, но отвлекся и потом совершил прямой заход. В случае с моделью «Последний значимый переход» система среагирует корректно и посчитает ценным заход с рекламы.

Кроме прямых заходов Метрика считает незначимыми источниками внутренние переходы и переходы с сохраненных страниц.

Схема из справки Яндекс Метрики

Модель «Последний значимый переход» отлично подходит для анализа рекламных активностей — так мы сможем проанализировать, какая реклама привела пользователя к конверсии, и исключим прочие переходы, которые не влияют на принятие решения.

Последний переход из Директа

Эта модель позволяет оценить эффективность рекламы в Яндекс Директе, игнорируя ее положение в цепочке визитов.

Пример. Пользователь заходил на сайт по разным источникам четыре раза, Яндекс.Директ был вторым источником. Конверсия будет приписана Директу.

Если же пользователь переходит из Яндекс Директа несколько раз, конверсия будет приписана последнему визиту из Директа.

Эта модель искажает реальное положение вещей и приписывает Директу больше конверсий, чем следует.

Рекомендую использовать эту модель атрибуции только для понимания того, в каком количестве цепочек Директ участвовал. Принимать решения по распределению бюджетов на основе этой модели точно не стоит.

Первый переход

Эта модель позволяет проанализировать первый контакт с пользователем.

Пример. Пользователь искал какой-то товар в поисковой выдаче и попал на ваш сайт. Ему понравился товар, условия доставки и цены. Пользователь решил, что купит у вас, но сейчас ему не хватало времени, и он отложил покупку до выходных.

После этого вы дважды привлекли его на сайт с помощью рекламы.

В выходной день пользователь, как и планировал, зашел на сайт по прямой ссылке и заказал товар.

Модель «Первый переход» в таком случае припишет конверсию поисковой выдаче.

В этом примере Метрика проанализировала поведение пользователя корректно. Но он мог решиться на покупку и позже, когда вы показали ему рекламу, приняв решение за короткие сроки.

Поэтому модель «Первый переход» в основном применяют для бизнесов с долгим сроком принятия решения: например, для недвижимости и B2B. В таком случае с большей вероятностью можно сказать, что первый переход и был самым значимым, а оставшееся время пользователь решался на заказ.

Показатели регистрации всего 1%

Средние показатели регистрации на удивление низкие. Лучше всего конвертируют главные страницы, и иногда даже встречаются отличные показатели 10-20% конверсии в регистрацию. Но они могут быть и на уровне 1% или даже ниже, если речь идет о других страницах сайта, на которые люди приходят по SEO-запросам.

В крайнем случае, когда пользователь приходит на лендинг после того, как загуглил что-то вроде «что за нарост у меня на спине», их в первую очередь интересует контент, а не продукт, который вы создаете. Точно так же владельцы сайтов, которые хотят, чтобы сайт лучше индексировался роботами Google, вынуждены предоставлять контент в открытом доступе, который не скрыт за пейволлом или страницей регистрации.

Поэтому у продуктов вроде Stackexchange, Yelp и других, которые в первую очередь продвигаются за счет SEO-оптимизации, конверсия в регистрацию на таких контентных страницах будет необычайно низкой (иногда намного меньше 1%). Это приводит к очень угнетающим значениям метрик в эру, когда большинство продуктов измеряют свои показатели MAU. Они складываются из активности зарегистрированных пользователей. Уникальные пользователи за месяц — это так старомодно

Что делать, если вы хотите поднять конверсию в регистрацию на этих страницах с подробностями, например, на лендинге отдельного инструмента? Конечно, вы можете выбрать рост за счет закрытия контента до регистрации, как это делает Quora, но можно это сделать за счет улучшения UX:

Но это всего лишь страницы с контентом. Если речь идет о главной странице, мы ожидаем гораздо больших показателей регистрации. Причина в том, что этот трафик основан на брендовых запросах и приводит к конверсии в регистрацию на уровне 10% и выше, потому что люди ищут ваш продукт, чтобы попробовать его. Еще лучше, что вы можете отправить их на короткую главную страницу, которая генерирует конверсию в регистрацию около 20-30%.

FaaS – Функция как услуга

Сервис FaaS представляет собой возможность бессерверного запуска кусков кода, благодаря чему разработчики могут писать и обновлять код в процессе. Написанные функции вызываются при наступлении какого-либо события. FaaS позволяет намного проще масштабировать код и вводить микросервисы.

Основные особенности FaaS:

В функциях реализуется только бизнес-логика.
Приложения, написанные в рамках FaaS, являются stateless (не сохраняющие состояние).
В рамках FaaS серверный процесс не выполняется, а срабатывает триггерное событие, которое инициирует вызов функции, например, HTTP-вызов.
Чтобы обеспечить непрерывность процесса, нужно использовать внешний сервер базы данных или сетевую файловую систему

Модель оплаты – обычно тарифицируются по объему и используемому vCPU. Иногда дополнительно взимается плата за вызов функций сверх бесплатного лимита.

А зачем они нужны?

Я думаю многие из вас сталкивались с ситуациями когда:

Проект отстаёт от графика, но всем всё равно
Мы поздно понимаем, что нам не хватает времени на тестирование
Непонятно, когда нужно остановить тестирование и готов ли продукт к релизу
Непонятно стал ли лучше наш продукт, чем раньше
Заказчику непонятна эффективность тестирования

и многое-многое другое.

Благодаря сбору и анализу метрик, мы можем управлять всеми этими вещами, оценивая различные показатели и то, как они меняются на протяжении времени. Если мы увидели, что какой-то показатель падает, то это может послужить тригером для команды к началу действий, которые будут направлены на улучшение качества.

Часто говорят, что тестировщик ответственнен за качество продукта. Но как он может за что-то отвечать если он ничего не может сделать с этим продуктом?

Задача тестировщика — предоставить информацию о качестве продукта и о других аспектах нашего проекта, которые могут влиять на качество.

Поэтому выбор и сбор правильных метрик является очень важным аспектом нашей работы.

В тестировании мы обычно наблюдаем за качество продукта, качеством различных процессов, производительностью людей и временными рамками проекта.

Определение метрик обычно происходит на этапе планирования тестирования и контроля.

Шаг 3. Определите метрики, характеризующие сигналы

HEART разделяет все метрики на 5 категорий:

Happiness (Счастье)

К метрикам счастья относятся, к примеру:

— пользовательское удовлетворение

— ощущение, что продуктом легко пользоваться;

— net promoter score.

Engagement (Вовлечение)

К примеру:

— количество визитов пользователя в неделю;

— количество фото, загружаемых юзером в день;

— количество лайков и шэров.

Adoption (Принятие)

К принятию можно отнести:

— обновления до новой версии;

— созданные пользователем подписки;

— покупки сделанные новыми пользователями в приложении.

Retention (Возвращаемость)

Конкретными метриками здесь могут быть:

— количество пользователей, остающихся активными с течением времени

— churn

— повторные покупки

Task Success (Успех ключевых задач)

Ключевыми задачами могут, например быть:

— успешные поиски;

— время загрузки фотографии;

— полностью заполненный пользователем профиль.

Пример Метрики

количество минут на пользователя, потраченных на изучение рекомендаций.

Customer Lifetime Value (CLV)

Или «Полная стоимость клиента«

Рассчитывается по следующей формуле: ((MT x AOA) x AGM) x ACR, где

MT = Число транзакций в месяц

AOA = Средний размер заказа

AGM = Средняя маржа прибыли

ACR = Среднее время удержания клиента (в месяцах)

Один из опрошенных — некий Боб Фегалли (Bob Feghali), консультант индустрии расчетов по роду своей деятельности — ставит CLV на самый верх своего списка. Почему так? Показатель отражает общую выручку, получаемую от клиента на протяжении всего срока деловых отношений с ним. А кроме отражения дополнительной потенциальной долларовой стоимости клиента с течением времени, формула также дает финансовым директорам ответ на вопрос, сколько может стоить тот или иной клиент.

«Средняя величина CLV позволяет компании определить, сколько можно потратить на привлечение клиента и остаться при этом в прибыли» – объясняет Фегалли. А вот пример: давайте посмотрим, каким будет значение показателя для клиента гипотетического бизнеса на модели периодического дохода – например, какого-нибудь элитного винного клуба. Пусть клиент осуществляет одну транзакцию в месяц в $100. Предположим, маржа валовой прибыли составляет 25%, а средний срок членства в этом клубе – 36 месяцев. Тогда формула для расчета выглядит следующим образом: ((1×100) x0.25) x 36 = $900.

В теории, таким образом, на данного клиента бизнес может потратить до $900 и все еще быть в плюсе. Но как мы увидим чуть позже, есть и более точная метрика, более определенно показывающая, сколько периодического дохода приносит ей отдельный клиент.

SOW – доля кошелька

Для чего считать:

Чтобы понять, насколько лояльно клиент относится именно к вашим продуктам или услугам в сравнении с другими продуктами или услугами, которые есть на рынке. Например, у вас он регулярно покупает крема и шампуни, а декоративную косметику – в других магазинах. Можно сравнить, на что он тратит больше денег, и понять, насколько вы лучше других (или нет). Получить данные можно с помощью маркетинговых исследований или сбора фокус-групп.

Как считать:

SOW = сумма покупок ваших товаров / общая сумма покупок товаров аналогичной категории

Пример: клиент покупает продукты питания у вас и ваших конкурентов. В вашей компании он потратил 1000 рублей, а всего за определенный период он потратил на продукты питания 5000 рублей. Доля кошелька составляет 1000 / 5000 = 0,2, или 20%.

Что делать с результатами:

Сравнить качество своих услуг с конкурентами и подумать, что можно изменить, чтобы больше привязать клиентов именно к вашему бренду. Возможно, снизить цены на ходовые товары, улучшить атмосферу в торговых залах или сделать ряд заманчивых акций. Чтобы понять, меняется что-то или нет, нужно регулярно делать расчет SOW и смотреть на динамику.