ASR (распознавание речи)

Зачем нужен ASR

Ни одна автоматическая оценка звонка не работает со звуком напрямую: сначала речь превращается в текст, и только потом текст анализируется. Значит, ошибки распознавания переходят в ошибки оценки: если модель услышала «двадцать» вместо «семьдесят» в названной цене, критерий про цену будет оценён неверно. Поэтому качество ASR — фундамент всей цепочки.

Как измеряется точность

Стандартная метрика — WER (Word Error Rate), доля ошибочных слов: WER = (замены + пропуски + вставки) / число слов в эталонной расшифровке. Пример: в эталоне 100 слов, модель заменила 6, пропустила 3 и вставила 1 лишнее: WER = 10 / 100 = 10 %. Чем ниже, тем лучше. Но общий WER на чужих данных мало говорит о ваших звонках, поэтому его нужно считать на собственной выборке.

Как проверить ASR на своих записях

1. 1Возьмите 10–20 разных звонков: разные менеджеры, линии, уровни шума.
2. 2Вручную расшифруйте по одной минуте из каждого — это эталон.
3. 3Сравните с автоматической расшифровкой и посчитайте ошибки, особенно в числах, названиях продуктов и именах.
4. 4Отдельно проверьте, не искажает ли ошибка смысл критериев: цена, срок, согласие клиента.

Пример на демо-данных

Критичные для оценки места демо-разговора — числа и короткие ответы: «от 45 тысяч», «нет бюджета», «наберу осенью». Ошибка в одном слове меняет вердикт по критерию. Поэтому в разборе каждая оценка сопровождается цитатой и таймкодом: если ASR ошибся, это видно сразу, и вердикт можно оспорить, а не принимать на веру.

Частые ошибки

• Выбирать по красивой цифре точности из рекламы, не проверив на собственных звонках.
• Не учитывать профессиональные термины и названия: их стоит проверять отдельно.
• Записывать звонки в низком качестве или на моно, когда телефония позволяет раздельные каналы.
• Не оставлять способа проверить результат: без таймкодов и цитат ошибки распознавания незаметны.

Частые вопросы