Как измерить пользу ИИ-агентов в команде

Руководитель разработки почти всегда слышит одно и то же: «с ИИ мы работаем быстрее». Финансовый директор задаёт следующий вопрос: насколько быстрее и сколько это стоит. Ответить на него обычно нечем.

Почему ощущения не подходят

В 2025 году исследователи METR провели контролируемый эксперимент с опытными разработчиками открытых проектов. Участники ожидали, что ИИ ускорит их, и после работы считали, что так и было, примерно на 20%. Замер показал обратное: задачи с ИИ заняли больше времени. (Обзор исследования)

Это не значит, что ИИ бесполезен. Это значит, что самооценка команды в этом вопросе ненадёжна, и измерять нужно по данным.

Почему считать строки кода бессмысленно

В октябре 2026 года экономисты Гарварда опубликовали рабочую статью по данным 700+ компаний. После внедрения ИИ-агентов кода стало примерно на 30% больше, коммитов на 20%, pull request на 23%. Число закрытых задач и эпиков при этом статистически не изменилось, а прохождение ревью стало занимать на 49% больше времени. (Обзор)

Больше кода — не результат. Узкое место переехало в ревью и переделки.

Что измерять

Если вы проверяете любой ИИ-инструмент в команде, полезно смотреть на четыре группы показателей. Все они понятны финансовому директору и снимаются без сложной аналитики.

Онбординг. Сколько времени проходит от первого дня нового разработчика до его первого принятого MR. Для «до» достаточно спросить тимлида о последних двух-трёх новичках.

Возвраты с ревью. Какая доля MR возвращается на доработку хотя бы раз. Снимается выборкой за месяц до пилота и за месяц пилота.

Переделки после ИИ. Сколько часов в неделю уходит на исправление кода, который написал агент. Для «до» подойдёт оценка команды, во время пилота часть этого можно считать автоматически.

Время старших разработчиков. Сколько часов в неделю уходит на ответы на одни и те же вопросы о проекте. По данным Atlassian, поиск информации сейчас главная причина потерь времени у разработчиков.

Как провести замер

1. До старта выберите 3–4 показателя и зафиксируйте значения «до». Без этого в конце снова останутся одни ощущения.
2. Договоритесь о дате, когда будете принимать решение, и назначьте встречу сразу.
3. Во время пилота не меняйте состав команды и тип задач, иначе сравнение потеряет смысл.
4. В конце сравните значения и переведите разницу в часы и рубли по ставке команды.

Как это устроено у нас

AI Council показывает часть этих данных сам, из работы агентов: какие знания и правила агент получил в каждой сессии, как часто он сверяется с правилами, в каком состоянии ветки на ревью. По нашим замерам выигрыш во времени и токенах — 30–45% на одной задаче в чистом тесте и 40–60% на группе задач, когда работают команда и несколько агентов.

Прикинуть порядок цифр можно в калькуляторе окупаемости.

Запишитесь на демо: покажем, как это выглядит на реальном проекте.