Корпоративный AI-ассистент: как распознать ложные метрики внедрения

Андрей Отинов -

В прошлом году автор статьи на Habr наблюдал одно и то же внедрение AI в четырёх разных компаниях. Разные индустрии, разные бюджеты — один сценарий, вплоть до реплик. Сверху приходит распоряжение: «нам нужен AI, все уже внедрили». Спешно выкатывают корпоративного ассистента — чат поверх LLM, обёрнутый в фирменные цвета. Через месяц готов слайд: «AI-ассистентом воспользовались 10 000 раз». Совет доволен. В письме инвесторам — строчка про «AI-трансформацию». Продукту — премия.

Источник: Habr

А теперь то, чего на слайде нет. В одной из тех четырёх компаний из десяти тысяч запросов девять тысяч — люди, которые задали один вопрос, получили ерунду и не вернулись. Никогда. Из оставшихся — половина это сотрудники, которых попросили «потестить», и демо для руководства. Недельная активная аудитория «внедрённого» AI спустя квартал — четырнадцать человек. Из четырёх тысяч сотрудников. В отчёте осталось «10 000». Слайд ещё дважды показывали на советах.

Это не история про плохую компанию. Это история про всех. Прямо сейчас в сотнях компаний висят дашборды AI-adoption, и почти все они показывают одно и то же: активность, выданную за ценность. «Сколько раз ткнули» вместо «скольким помогло». Первое легко посчитать и приятно показать. Второе трудно мерить и страшно узнать.

Почему AI-adoption стал эпидемией подмены метрик

С обычными фичами эта подмена тоже случается. Но с AI она приобрела масштаб эпидемии. Автор статьи выделяет три причины, которые работают одновременно.

Первое: внедряли под страхом, а не под задачу. Большинство корпоративных AI-проектов последних двух лет родились не из «у нас есть проблема X», а из «все внедряют, мы отстаём». Когда проект рождается из FOMO, у него нет критерия успеха — некому спросить «а что должно было измениться?», потому что задачи не было. Есть только критерий отчётности: показать, что внедрили. Usage-метрика для этого идеальна.

Второе: признать провал не может никто в цепочке. Продакт, который вёл внедрение. Директор, который выбил бюджет. CEO, который рассказал совету про AI-стратегию. Совет, который одобрил под давлением акционеров. У каждого этажа личная ставка на то, чтобы график рос. Это не заговор — это выстроенная в ряд мотивация, при которой неудобные вопросы не задаёт никто, потому что ответ ударит по всем сразу.

Третье: метрика превратилась в цель мгновенно. Обычно закону Гудхарта нужно время. Тут KPI «adoption» повесили в момент запуска — и накрутка началась с первого дня, причём самая невинная: AI-кнопку — на главный экран, «спроси ассистента» — в онбординг, обязательное демо — каждому отделу. Каждый шаг называется «повышаем discoverability». Сумма шагов — график, который растёт независимо от того, есть ли внутри польза.

Два знания, которые живут в одной компании

Отдельная ирония в том, что для инженеров это никакая не новость. Спросите любого, кто сидит рядом с таким «внедрением»: он вам без всякой аналитики скажет, что ассистентом пользуются полтора человека, что половина ответов — галлюцинации по устаревшей базе, и что сам он ходит в обычный ChatGPT, потому что корпоративный хуже.

То есть в компании одновременно живут два знания. Внизу все знают, что AI не взлетел. Наверху все знают, что AI успешно внедрён. И оба знания стабильны, потому что между ними — тот самый дашборд, который переводит «не взлетело» в «10 000 использований». Дашборд работает границей: правда снизу через него не проходит.

Три вопроса, которые вскрывают любой AI-отчёт

Автор статьи предлагает задавать их про любое внедрение — своё или то, про которое вам рассказывают.

Что спрашивать Почему это важно Что показывает ответ
Сколько вернулись во второй раз? Первый запрос может быть случайным или принудительным. Возврат — признак, что человек нашёл пользу. Если возврат меньше 20% — продукт не решает задачу.
Сколько пользуется раз в неделю спустя месяц? Единоразовая активность не означает adoption. Нужна регулярность. Если меньше 5% от числа сотрудников — внедрения нет.
Что эти люди перестали делать по-старому? Самая жёсткая метрика. Если AI не заменил старый процесс — он не нужен. Если ответ «ничего» — AI не даёт ценности.

В компании из примера ответы были такими: из десяти тысяч запросов девять тысяч — люди, которые не вернулись. Недельная активная аудитория спустя квартал — четырнадцать человек из четырёх тысяч сотрудников. Что перестали делать по-старому — ничего.

Как не попасться на vanity metrics: чек-лист для руководителя

Если вы принимаете решение о внедрении корпоративного AI-ассистента или оцениваете отчёт о уже сделанном внедрении, вот что нужно проверить до того, как поверить цифрам.

Чек-лист проверки AI-adoption

  1. Попросите показать не количество запросов, а количество уникальных пользователей за неделю. Если цифра падает в 10-20 раз — это нормально для честного отчёта и катастрофа для отчёта с vanity metrics.
  2. Проверьте retention на второй день, седьмой и тридцатый. Если после первого использования возвращается меньше трети — продукт не работает. Не верьте объяснениям про «сложный онбординг».
  3. Спросите, какие бизнес-процессы изменились. Конкретно: что сотрудники перестали делать вручную? Если ответ «пока ничего, но мы только начали» — подождите три месяца и спросите снова.
  4. Поговорите с инженерами без руководителя. Они скажут правду за пять минут. Если они говорят, что пользуются обычным ChatGPT, а не корпоративным ассистентом — внедрения нет.
  5. Проверьте качество ответов на трёх реальных задачах вашего отдела. Если ассистент даёт галлюцинации или устаревшие данные — adoption не будет никогда, сколько кнопок ни поставь.
  6. Убедитесь, что KPI adoption не висит на том же человеке, который отвечает за внедрение. Это прямой путь к накрутке. Метрику должен считать независимый аналитик или внешний аудитор.

Что делать на следующей неделе

Если вы руководитель продукта, технический директор или аналитик, который отвечает за AI-внедрение, вот три действия, которые можно сделать за неделю без перестройки компании.

Первое: пересмотрите дашборд. Уберите из него «количество запросов» как главную метрику. Добавьте retention, weekly active users и количество изменённых процессов. Если дашборд не позволяет — значит, вы не знаете, работает ли AI.

Второе: проведите анонимный опрос среди инженеров и операционных сотрудников. Спросите: «Пользуетесь ли вы корпоративным AI-ассистентом? Если нет, то почему?» Ответы, скорее всего, будут неудобными. Это нормально. Это данные.

Третье: выберите один бизнес-процесс, который AI должен был улучшить, и измерьте его вручную. Например, время обработки тикета поддержки до и после внедрения. Если разницы нет — AI не работает, сколько бы запросов ни было.

Автор статьи на Habr пишет, что наблюдал одно и то же в четырёх компаниях. Разные индустрии, разные бюджеты — один сценарий. Это значит, что проблема системная. Но она решается не отказом от AI, а честными метриками и готовностью задать неудобный вопрос до того, как слайд с «10 000 использований» покажут совету директоров.

Источники

Что почитать дальше