Я написал, что первая линия поддержки стала работать вдвое быстрее и решил цифру проверить сам. Время диагностики было около 60 минут, стало 31 минута — не «вдвое». Доля верных с первого раза диагнозов выросла с 55 до 73 процентов. Считали сами, без внедрений у заказчиков.
Про нашего же ИИ-агента в техподдержке я сам написал так: «работа первой линии ускорилась в два раза, а качество диагностики выросло…» — одним сообщением и двумя цифрами, причём прирост качества назвал круглым числом. Когда я сел записывать обе цифры точно, «в два раза» с арифметикой не сошлось, а круглое число не получилось ни одним способом счёта.
Дальше я разбираю это утверждение по пяти вопросам: два из них оно проходит, а три — нет. Показываю оба результата.
Коротко
- Среднее время первичной диагностики на нашей первой линии: было порядка 60 минут, стало 31 минута. «В два раза» означало бы 30 минут.
- Доля верных с первого раза диагнозов у нашей первой линии: 55 % → 73 %, то есть плюс 18 процентных пунктов.
- Сколько заявок стояло за каждым из сравниваемых месяцев и какие это были месяцы, я не назову: этих данных у меня нет.
- Обе цифры внутренние: наша поддержка, наши заявки, наши отчёты. Ни одного внедрения у заказчика за ними не стоит.
Откуда взялась цифра: агент на нашей же первой линии
Цифры, которые я разбираю, пришли с нашей первой линии. Агент там собран компанией «+Альянс» на Copilot Studio и работает внутри Okdesk, а данными его снабжает наш собственный MCP-сервер, подключённый как источник. По похожим заявкам из истории агент подсказывает специалисту решение; если похожих не нашлось, предлагает план по диагностике.
Оговорка, которая относится ко всем числам статьи: эта первая линия — наша собственная. Ни одного внедрения у заказчика за этими числами нет — у направления «Внедрение ИИ» несколько проектов на согласовании, а внутренний опыт я за клиентский кейс не выдаю.
Что именно посчитано: числитель и знаменатель
Проверку я начинаю с одного вопроса: что стоит в числителе и что в знаменателе. Пока ответа на него нет, проверять в цифре нечего.
Среднее время первичной диагностики мы считаем так: отсчёт идёт с того момента, как специалист взял заявку в работу, и до диагноза. Дальше отсчёт прекращается. Ни время самого решения, ни момент закрытия заявки в этот показатель не входят, поэтому «поддержка стала работать вдвое быстрее» из него не выводится: цифр по закрытию заявок у меня нет вообще.
У доли верных диагнозов знаменатель — все заявки за период, по которым диагноз был поставлен. В числителе те из них, где диагноз оказался верным с первой попытки. Верным мы называем диагноз, исправление которого решило проблему: верность здесь проверяется фактом устранения, а не уверенностью специалиста.
Определение доли верных диагнозов я формулировал дважды. В первый раз — без слов «с первого раза». С ними в числитель попадает только первая попытка, без них — любая; три слова разницы, а считается в итоге другая величина. Проверку на числитель и знаменатель наша цифра прошла, но прошла со второй формулировки.
«В два раза» — это 30 минут, а у нас 31
«Порядка 60 минут» — моя оценка базы; с точностью до минуты она не снималась. Среднее значение после агента снято точно: 31 минута.
Арифметика простая. 60 − 31 = 29 минут, 29 / 60 = 0,483, то есть сокращение на 48,3 %. «В два раза» означало бы ровно 30 минут. Разница между 30 и 31 минутой смешная, в разговоре я бы её и не заметил. Но проверка ломается именно здесь: округление к красивому «в два раза» из этих чисел не выводится и просто встаёт на их место.
И точность у этих 48,3 % ниже, чем кажется. Одно из двух чисел — оценка, значит, корректная формулировка звучит скучнее: сократилось примерно на 48 %, а точнее посчитать не на чем, пока база остаётся оценочной.
Среднее время первичной диагностики на нашей первой линии — 60 минут до агента и 31 минута после; база 60 минут оценочная, поэтому сокращение я называю примерно 48-процентным. Сокращение ровно вдвое дало бы 30 минут.
55 % → 73 %: одна пара долей и два разных числа прироста
Доля верных с первого раза диагнозов на нашей первой линии была 55 %, стала 73 %. Прирост из этой пары считается двумя способами, и оба ответа законные.
Процентный пункт — это разница между двумя значениями, выраженными в процентах: 73 − 55 = 18 процентных пунктов. Второй способ счёта даёт относительный рост: 18 / 55 = 0,327, то есть 32,7 % (округлённо — почти на треть). Оба числа верны и оба про один и тот же прирост: 18 пунктов и 32,7 % относительного роста имеют смысл только вместе с названием своей единицы.
А в том же сообщении, где я написал про «два раза», прирост качества я назвал третьим, круглым числом — не совпадающим ни с первым способом счёта, ни со вторым. Поймал его ручной пересчёт. Из наших материалов формулировка снята, и переносить её сюда я не стану даже как пример.
Доля верных с первого раза диагнозов на первой линии компании «+Альянс» — внутренняя метрика по нашим заявкам: 55 % и 73 %. Прирост считается двумя способами: 18 процентных пунктов или 32,7 % относительного роста. Размер выборки и сравниваемые месяцы не названы.
Кто считал результат
Считали результат мы сами: агента внедряли мы, отчёты по первой линии смотрим тоже мы. Умысла в этом нет, стороннего глаза — тоже. Эту проверку моя цифра не проходит, и подкрасить её мне нечем.
Отчасти проверяемой цифру делают опубликованные определения: у времени диагностики названы границы замера, у доли верных диагнозов — числитель и знаменатель. Сами заявки лежат в Okdesk — у кого есть доступ к системе, тот может пересчитать. Независимую проверку это не заменяет, но я считаю такой минимум честным.
Сколько заявок и какие два месяца
Сколько заявок стояло за каждым из двух месяцев, я назвать не могу: этого числа у меня нет. Какие именно два месяца сравнивались, я тоже не назову. Отчёты по первой линии я смотрю «MtoM». Сам я читаю это как сравнение месяц к месяцу, но подтверждения такому чтению у меня нет — значит, и период сравнения в статье остаётся моим допущением.
Порядок величин я угадывать не буду. Написать «наверное, сотни заявок» — это ровно то, против чего вся статья: по моему опыту, угаданное число дальше цитируют как измеренное. Пока выборка не названа, честная граница вывода такая: показатель сдвинулся в нужную сторону, а насколько устойчив этот сдвиг, из моей пары чисел не видно.
Пять проверок и что вышло на наших цифрах
| Что проверяю | Как это выглядит у наших цифр | Результат |
|---|---|---|
| Определение показателя: числитель, знаменатель, границы замера | Среднее время диагностики и доля верных диагнозов определены оба; у доли определение уточнилось со второй формулировки («с первого раза») | прошла |
| Исходные значения вместо готового вывода | Названы обе пары значений — и по времени, и по доле | прошла |
| Формулировка прироста | Ни «в два раза», ни круглое число прироста качества из этих значений не выводятся; обе формулировки сняты | не прошла, заменил формулировки числами |
| Кто считал | Результат считали мы сами — те же люди, которые внедряли агента | не прошла |
| Выборка и период | Число заявок за месяц я назвать не могу, сравниваемые месяцы тоже | не прошла |
Три строки из пяти в этой таблице — «не прошла», и речь о моём же утверждении, которое я сам и озвучивал. При этом определения показателей и исходные значения у него есть, и любой читатель может пересчитать за мной оба процента. Цифра, у которой нет ни определения, ни исходных значений, проверку не проходит вообще: там нечего проверять, кроме интонации докладчика.
Что делать с цифрой, которую вам принесли
Порядок, которым я сам пользуюсь, когда цифру эффекта ИИ приносят мне:
- Спросить определение показателя. Что в числителе, что в знаменателе, где границы замера.
- Попросить исходные числа. «Ускорилось в два раза» превращается в пару значений, и разделить их можно прямо на встрече.
- Уточнить единицу прироста: процентные пункты или проценты. У пары долей это две разные величины, и путать их нельзя.
- Спросить про выборку, период и про того, кто считал. Три вопроса за один раз.
Дальше начинается уже не арифметика. Моя цифра после такого разбора стала звучать скромнее, чем в исходной формулировке. Зато на совете директоров её не развалит первый уточняющий вопрос. На мой взгляд, это единственная причина проделывать всю работу.
Почему ту же планку я держу и в услуге
На странице услуги «Внедрение ИИ-инструментов в бизнес-процессы» у компании «+Альянс» в блоке «Что вы получаете» стоит: «Работающий пилот с измеренным результатом, а не презентация о возможностях». Там же среди результатов — «Карта процессов с оценкой: где ИИ даст эффект, а где не окупится». Один из шагов услуги так и называется: «Пилот на одном процессе».
Обещание про измеренный результат — это обещание про метрику, а значит, мерю я его той же планкой, что и собственную цифру первой линии. Пилот на одном процессе тем и удобен, что показатель у него можно определить заранее: сначала договориться про числитель, знаменатель и границы замера, а потом уже получать числа. Так я это вижу.
Частые вопросы
Чем процентные пункты отличаются от процентов?
Процентный пункт — единица разности между двумя значениями в процентах, а процент прироста — единица отношения. У доли, которая была 55 % и стала 73 %, разность равна 18 процентным пунктам. По моему опыту, фразу «выросло на 18 процентов» слушатель относит к самой доле 55 %, а это уже другая величина — поэтому единицу я называю в каждой фразе.
Почему «ускорилось в два раза» — плохая формулировка, если 60 и 31 минута действительно такие?
«В два раза» из 60 минут — это 30, а наше среднее после агента 31 минута. Как разговорная прикидка «почти вдвое» безобидна. В документе, по которому принимают решение о бюджете, я предпочитаю сами значения: они посчитаны по нашим собственным заявкам, и база 60 минут в них оценочная.
Можно ли доверять цифре, у которой не назван размер выборки?
Моя позиция: такая цифра годится как знак, что показатель сдвинулся, и не годится как измеренная величина. У нашей доли верных диагнозов размер выборки я назвать не могу, и сравниваемые месяцы тоже.
Ваши 55 % → 73 % — это результат внедрения у заказчика?
Нет. Это внутренняя метрика компании «+Альянс» по нашим собственным заявкам в Okdesk. Внедрений у клиентов за этими числами нет: несколько проектов направления «Внедрение ИИ» находятся на согласовании.
Что именно ускорилось — работа поддержки или постановка диагноза?
Постановка диагноза. У среднего времени первичной диагностики отсчёт обрывается на диагнозе: ни решение задачи, ни закрытие заявки в показатель не попадают.
При каком ответе я эту цифру сниму
Ответ по выборке и по месяцам может прийти такой, что цифру придётся снять совсем. Условие я называю заранее. Если по отчётам первой линии выяснится, что сравнивались не два месяца, пара «55 % → 73 %» рассыпается: непонятно станет, что с чем сравнивали. Если заявок с поставленным диагнозом за месяц окажется мало, обе цифры я уберу из своих документов, а не оставлю их там с оговоркой мелким шрифтом.
Выборку и месяцы я выясняю в двух местах: сначала отчёты первой линии — какие два месяца в них сравнивались, потом Okdesk — сколько заявок с поставленным диагнозом было в каждом. Проценты пересчитывать не придётся, они уже проверены.
Своё утверждение я переписал так: среднее время первичной диагностики — 31 минута против оценочных 60 минут до агента, доля верных с первого раза диагнозов — 73 % против 55 %, обе величины внутренние, выборка и сравниваемые месяцы не названы. Формулировка длиннее, чем «ускорилось в два раза», зато проверить в ней можно каждое слово. Тихо закрыть вопрос, который сам же и поставил, — худшее, что можно сделать с такой статьёй.
Александр Жогов, основатель компании «+Альянс». Определения показателей и оба значения зафиксированы во внутренних материалах 4 сентября 2026 года; размер выборки и сравниваемые месяцы на 10 сентября 2026 года не названы.
