3SELLER Journal 3SELLER →

Как оценить, что ИИ-проект принес пользу: 5 метрик, 6 недель и 3 честных расчета

21.11.2026

MIT опубликовал исследование, после которого мне перестали сниться клиентские пилоты: 95% корпоративных проектов с нейросетями не дают прироста производительности труда. Девяносто пять процентов. При этом на дискуссиях Ассоциации больших данных звучит другая цифра: в продуктив выходит около 20% ИИ-продуктов, и ожидания от их внедрения в целом оправдываются. Между этими числами лежит пропасть, и мост через нее строится не технологиями, а умением считать эффект.

Я занимаюсь внедрением нейросетей восьмой год и провел десятки оценок эффективности. Скажу честно: большинство компаний не то что не умеют измерять пользу, они в принципе не фиксируют точку А. Потом приходит генеральный директор, спрашивает, что нам дал ИИ, и команда достает слайд с красивым демо. Оценкой это не является. Это театр.

Разберу методику, которую использую на каждом проекте: от базового замера до финального решения «масштабируем или закрываем». В конце покажу три расчета из собственной практики, включая один провальный. Провальные примеры учат быстрее успешных.

95% против 20%: что на самом деле говорит статистика

Исследование MIT зафиксировало неприятную вещь: подавляющее большинство ИИ-систем не увеличивают производительность труда. Евгений Загуменнов, руководитель Yandex Cloud Solutions, объясняет причину просто: большинство систем не поддерживают обратную связь, не подстраиваются под контекст и не совершенствуются со временем. Купили доступ к модели, показали сотрудникам интерфейс, ждете чуда. Чуда нет, потому что система стоит на месте, а задачи бизнеса меняются каждую неделю.

Обратная картина в обсуждении Ассоциации больших данных: примерно каждый пятый ИИ-продукт доходит до продуктива. Артур Ишмаев отметил закономерность: чем глубже погружаешься в проект, тем выше становятся ожидания. Польза растет нелинейно. Первые месяцы дают скромный эффект, потом команда находит новые применения, и кривая уходит вверх.

При этом сами эксперты не сомневаются в технологии. Чистые улучшения ИИ уже принес в разработку лекарств и здравоохранение, где персонализированные методы лечения оказались заметно эффективнее прежних. Польза существует, вопрос в том, кто и как ее измеряет.

Разница между 95% провальных и 20% успешных проектов лежит в управлении, а не в моделях. Управлять без измерения невозможно.

Точка А: замер, без которого все остальное бессмысленно

Первая ошибка, которую вижу регулярно: компания запускает пилот, а через два месяца пытается понять, «стало ли лучше». Лучше чего? Если базовый уровень не зафиксирован, оценка превращается в спор мнений. Каждому кажется, что раньше было медленнее, но цифр никто не сохранил.

За две-три недели до запуска я собираю статистику по процессу, который собираемся ускорять. Для поддержки это среднее время обработки тикета, доля обращений, закрытых без эскалации, стоимость одного ответа. Для контента это время на производство единицы: статьи, лендинга, карточки товара. Для продаж это скорость реакции на лид и конверсия. Три-пять метрик, не больше, и лог с датами. Через полгода память каждого участника склонна переписывать прошлое под собственные ожидания, поэтому доверять можно только записям.

Второй элемент, который почти никто не делает: контрольная группа. Разделите команду пополам. Половина работает с нейросетями, половина в обычном режиме. Через месяц сравните. Разница между группами и есть чистый эффект, без эффекта новизны и энтузиазма первых недель.

Четыре уровня пользы: на каком вы остановились

Польза ИИ-проекта не бывает односложной. Я раскладываю ее на четыре уровня, и каждый уровень считает свою метрику.

Большинство команд застревает на первом уровне и считает только сэкономленные часы. Для старта нормально, но потолок низкий. Самые прибыльные проекты в моем портфеле жили на четвертом уровне: отдел маркетинга с генерацией изображений стал запускать в пять раз больше тестов креативов ежемесячно, и это подняло конверсию рекламных кампаний сильнее, чем вся экономия на копирайтерах вместе взятая.

Метрики, которые выглядят солидно и не значат ничего

Количество чатов с ботом, число сгенерированных токенов, количество активных пользователей в системе. Эти цифры красиво смотрятся в отчете и не отвечают на главный вопрос. Сотрудник может генерировать двадцать текстов в день, и все двадцать будут переписываться вручную. Активность есть, пользы нет.

Опросы удовлетворенности тоже скользкая штука. Люди любят играть с новыми инструментами, первые недели они ставят высокие оценки чему угодно. Через три месяца эйфория уходит и остаются только те, для кого инструмент реально встроился в работу. Замеряйте использование на горизонте от шести недель, раньше данные ничего не значат.

Отдельная ловушка: сгенерированный контент, неотличимый на вид от полезного. В индустрии это уже отдельная боль: материал, который имитирует настоящий, но не решает задачу читателя. Счетчик символов покажет фантастическую производительность, а клиент уйдет с сайта, потому что текст не ответил на его вопрос.

Как посчитать деньги и не обмануть самого себя

Базовая формула, с которой я начинаю: сэкономленные часы умножаем на стоимость часа и на реальный уровень освоения (adoption). Третий множитель оказывается самым важным. Вы купили лицензии для тридцати человек, реально пользуется восемь-десять. Умножение на количество лицензий дает красивую и фиктивную цифру.

Себестоимость проекта тоже считают редко. Лицензии это верхушка айсберга. Плюс интеграция с внутренними системами, плюс время на обучение людей, плюс поддержка и доработка инструкций под специфику компании. Я видел внедрения, которые стоили вчетверо дороже подписок, и это надо закладывать в окупаемость сразу, а не постфактум.

Живой пример прозрачной экономики: система Оптуран от ЗащитаИнфоТранс для транспортных предприятий. Коммерческий директор компании Денис Морозов описывает продукт как инструмент, способный оптимизировать работу транспорта. Продукт уже используют ГУП Мосгортранс и транспортные предприятия Калининграда. Оптимальное распределение ресурсов снижает издержки, и эффект читается в топливе, простоях и пробеге. Вот как выглядит проект, польза которого не требует веры: она сидит в операционных показателях.

Обратная связь: тест на жизнеспособность

Вторая причина провалов после отсутствия базового замера: статичные системы. Модель, которая не получает обратную связь от пользователей, не подстраивается под контекст компании и не улучшается со временем, деградирует относительно растущих задач. Проверка занимает пять минут: сравните качество работы системы на первой неделе и на восьмой. Улучшается, держится ровно или падает?

Если падает, смотрите на контур обратной связи. Сотрудники находят ошибки, но вписать их некуда? Инструкции не обновляются? База знаний не пополняется? Тогда вы платите не за систему, а за ее медленный износ. Полезный проект обязательно накапливает знания: правки пользователей превращаются в обновленные промпты, и на восьмой неделе система отвечает лучше, чем на первой.

Сюда же вопрос о неравномерности. Эксперты сходятся в том, что выгоды от ИИ распределяются неравномерно, и это работает даже внутри одной компании. Маркетинг получает троекратный рост скорости, бухгалтерия ничего. В одном из моих проектов бухгалтерия за квартал открыла чат с моделью дважды, и оба раза из любопытства. Это не провал проекта, это нормальная картина. Ошибкой будет убить пилот из-за отдела, где эффект оказался нулевым. Масштабируйте туда, где метрики поехали.

Пилот на шесть недель вместо года размышлений

Схема, по которой я проверяю гипотезы:

Критерии закрытия задаются до старта и письменно. Например: если среднее время обработки тикета не снизилось хотя бы на 25%, проект останавливается. Без такого правила пилоты превращаются в вечный зомби в духе «ну уже почти, еще месяц». Я сам закрывал проекты с несколькими месяцами вложенного труда, потому что цифры сказали нет. Это дешевле, чем год поддержки бесполезной системы.

Три расчета из моей практики

Пример удачного пилота. Служба поддержки на 12 человек, базовое среднее время обработки тикета 7 минут. Через шесть недель работы с нейросетью: 4,5 минуты у пилотной группы против 6,8 у контрольной. Реальное освоение 60%. При стоимости часа специалиста в 900 рублей проект вернул себя за два месяца, и это без учета роста доли обращений, закрытых без эскалации.

Кейс с контентом. Съемка карточек товара у фотографа обходилась в 350 рублей за позицию с двумя неделями на цикл согласований. После перехода на генерацию реалистичных изображений стоимость единицы упала до 15-20 рублей, цикл сжался до одного дня. CTR в сравнительном тесте оказался сопоставимым, а скорость обновления каталога выросла настолько, что отдел успевает тестировать упаковки под сезонные акции.

Пример провала. Отдел продаж захотел персонализированные письма лидам. Базовый уровень конверсии никто не замерил, письма генерировались вслепую, менеджеры правили вручную каждое второе. На пятой неделе контрольная группа показала те же цифры, и проект закрыли. Болезненно, но на четыре недели бюджета, а не на год.

На чем тестировать гипотезы, если вы в России

Практическая проблема, которая валит пилоты на старте: доступ к моделям. Иностранные карты, ограничения, нестабильные каналы. Пока команда неделю решает, как вообще открыть чат, энтузиазм выгорает, а спонсор проекта теряет интерес. Для рабочих задач я использую 3GPT от 3SELLER: ИИ-роутер дает прямой доступ из России к флагманским моделям, включая Chat GPT 6 Astra, Claude Fable 5 и 5.1, Claude Opus 5.5, Chat GPT 5.5 и 6.1 Sol, Nano Banana для изображений и генерацию видео. Подписка от 149 рублей, баланс пополняется российской картой, через СБП или криптой.

Официальный сайт 3GPT удобен еще и для самой методики оценки: модели переключаются в одном интерфейсе, и вы можете честно сравнить, какая из них сильнее на вашей конкретной задаче. Для пилота это критично, потому что результат на 30-50% зависит от выбранной модели, а не от промпта.

3GPT: доступ к флагманским нейросетям из России

Для повседневных задач в бизнесе сервис закрывает весь цикл: продающие тексты, сайты, реалистичные изображения, видеоролики, генерация голоса. Тот самый инструментарий, на котором вы будете замерять четыре уровня пользы из раздела выше.

Готовые агенты как способ удешевить эксперимент

Главная причина плохого ROI у ИИ-проектов: дорогой эксперимент. Своя разработка на три месяца съедает бюджет раньше, чем вы получили первые данные. Дешевый эксперимент переворачивает экономику: больше проверок при том же бюджете, выше шанс попасть в тот самый 20% продуктива.

В 3GPT под это есть готовые ИИ агенты под конкретные задачи: выбираете агента и сразу начинаете с ним работать, модель меняется прямо в чате. Каталог агентов 3GPT экономит недели на сборке инфраструктуры, а значит ваш пилот на шесть недель реально умещается в шесть недель, а не в шесть месяцев.

Готовые ИИ агенты в 3GPT

Если проект про контент и изображения

Визуальный контент дает самую наглядную метрику. Посчитайте стоимость одного визуала до внедрения: фотограф, ретушер, согласования, три-пять дней. Потом замерьте после. У моих клиентов на генерации изображений стоимость единицы контента падает в 10-20 раз, а скорость согласования растет, потому что правки вносятся за минуты, а не за итерации с подрядчиком.

Для этого в 3GPT есть отдельный блок: создание реалистичных фотографий через лучшие ИИ инструменты. Ключевое слово здесь именно реалистичных. Для товарных карточек, рекламных креативов и соцсетей важно, чтобы у картинки не было той самой синтетической эстетики, по которой генерации узнаются за секунду.

Реалистичные изображения в 3GPT

Примеры генерации изображений в 3GPT

Здесь работает та же логика с контрольной группой: одна часть рекламной кампании на классических фотографиях, другая на сгенерированных, через месяц сравниваем CTR и стоимость лида. Цифры расставят все по местам быстрее любого спора о том, выглядит ли картинка профессионально.

Пять вопросов перед масштабированием

Финальный чек, который я прогоняю на каждом проекте перед решением о масштабировании:

На четыре-пять вопросов получили «да», масштабируйте. На три и меньше, у вас не ИИ-проблема, а управленческая: эффект не удастся поймать измерением, потому что измерения не было.

Практический шаг на эту неделю: выберите один процесс, соберите по нему статистику за две недели и решите, на каких моделях пойдет пилот. Если нужен быстрый доступ ко всем флагманским нейросетям из России, начните с 3GPT: вход от 149 рублей, и на этой сумме вы проверите больше гипотез, чем на трехмесячной разработке собственной системы.

← Вернуться к блогу

Читать дальше