Как сравнить точность транскрибации: тест двух сервисов на записи

Выбирайте онлайн-транскрибатор на своей записи и своей задаче. Один и тот же инструмент может быть удобен для поиска цитат и неудобен для подготовки субтитров. Поэтому полезнее закончить небольшой тест, чем читать очередной список функций без понимания, какие из них нужны вам.

Ниже — метод личного выбора. Он не строит универсальный рейтинг и не требует профессионального исследования качества речи. Его результат — обоснованное решение, сможете ли вы регулярно получать нужный документ с понятной доработкой.

Назовите обязательный результат

Редактору нужны точные цитаты с доступом к исходному звуку. Автору видео — субтитры, которые открываются в редакторе. Руководителю — решения и задачи с сохранёнными условиями. Для этих работ нельзя использовать один абстрактный критерий «текст хороший».

Запишите одно предложение: «После обработки я должен…». Например: «…выбрать пять цитат для статьи и проверить каждую» или «…импортировать SRT в монтаж». Затем перечислите обязательные возможности и желательные. Если обязательный экспорт отсутствует, десятки дополнительных функций не компенсируют это ограничение.

Отдельно убедитесь, что сравниваете одинаковые сценарии. Microsoft Word различает загрузку записи для транскрибирования и диктовку. Похожее название функции ещё не означает, что в неё можно передать готовый файл.

Подготовьте одинаковый исходник и эталон

Выберите несколько законченных эпизодов обычной записи: спокойную речь, смену участника, термин, число и уточнение. Не берите только самую чистую минуту, но и не подменяйте свою обычную работу экстремально плохим звуком.

До запуска вручную запишите контрольные реплики по аудио. Если сначала прочитать результат сервиса, легко принять его правдоподобную версию за оригинал. Сохраните один файл для всех проверок. Не сравнивайте исходную запись в одном инструменте с повторной записью через динамик в другом.

На первом проходе можно скрыть названия сервисов и назвать тексты «А» и «Б». Это уменьшает влияние бренда на оценку содержания. Затем верните названия: удобство интерфейса тоже важно, просто его лучше оценивать отдельно от распознавания.

Отличайте количество ошибок от их значения

Учебная контрольная реплика:

«Не запускаем до двадцать первого. Сначала нужен ответ от Орловой».

Проверьте отрицание, дату, фамилию и связь двух предложений. Если в одном тексте две лишние запятые, а в другом исчезло «не», счёт «две ошибки против одной» вводит в заблуждение.

В технической оценке встречается WER — показатель замен, удалений и вставок слов. Microsoft объясняет его расчёт. Он полезен для сравнения распознавания при одинаковой методике, но сам по себе не измеряет последствия ошибки для вашей работы. Добавьте отдельную оценку существенных фактов и авторства.

Контрольный фрагмент и время: [...]
Правильный текст: [...]
Смысловые ошибки: число / отрицание / условие / имя
Пропуски: слово / реплика / часть файла
Спикеры: верно / перепутаны / не разделены
Исправление: как нашёл место и что пришлось сделать
Экспорт: формат и результат открытия
Итог: можно использовать / нужна существенная доработка

Доведите пример до рабочего результата

До пробы назначим критичными потерю отрицания, подмену автора цитаты и невозможность проверить её по звуку. Неразборчивое даже при ручном прослушивании место отмечаем как неизвестное в эталоне: честный пропуск не штрафуем, уверенную догадку без основания не принимаем.

Все результаты и времена в таблице вымышлены; названия А и Б не обозначают реальные сервисы.

Учебный выбор для этой задачи — Б: одинаковый конечный документ потребовал меньше активной работы. Ошибка с придуманным именем остаётся в журнале и требует повторной проверки на похожем материале. Нельзя переносить это решение на все записи или объявлять «Б точнее на 39%» по пяти цитатам. Для командного внедрения вместо личного теста нужен пилот и критерии выбора команды.

Представим два учебных результата на интервью. В варианте А почти все слова верны, но участники объединены и цитаты трудно сопоставить со звуком. В варианте Б несколько терминов требуют правки, зато есть удобные переходы и понятное разделение голосов.

Для редактора проверка заканчивается не появлением текста, а подборкой выверенных цитат. Исправьте термины, выберите нужные фразы, сохраните авторство и откройте экспорт. Только теперь оцените затраты времени.

Для автора субтитров следующий шаг иной: импорт SRT, проверка начала, середины и конца ролика, переносов и кириллицы. Тот же инструмент может пройти первый сценарий и не пройти второй. Это нормальный результат сравнения, а не противоречие.

Время появления первого текста запишите отдельно. Один запуск не доказывает гарантированную скорость сервиса при другой нагрузке и другом файле.

Проверьте то, что обычно обнаруживается после оплаты

Посмотрите ограничения длительности и размера, условия хранения, доступные форматы и дополнительные платные возможности. В Текстославе экспорт транскрипта и экспорт ИИ-отчёта — разные действия: условия собраны в тарифах.

Откройте файл не только у себя в браузере, но и в конечной рабочей программе. Если документ отправляют редактору в DOCX, проверяйте DOCX. Если данные нужны для дальнейшей обработки, проверьте структуру JSON. Не считайте наличие кнопки скачивания доказательством подходящего результата.

Для чувствительных записей выясните правила доступа и обработки до загрузки. Один значок замка в браузере не отвечает на вопросы хранения и работы команды. При необходимости подключите человека, который отвечает за эти требования в вашей организации.

Примите решение по критериям, а не по впечатлению

Сервис подходит, если обязательная задача выполнена, оставшаяся ручная работа понятна и ограничения не мешают регулярному использованию. Если требуется второй тест, заранее скажите, какую новую неопределённость он устранит: длинную запись, несколько голосов или импорт субтитров.

Не продолжайте бесконечно проверять лёгкие примеры. И не отвергайте полезный инструмент из-за единственной фамилии, которую можно быстро исправить. Решение должно учитывать весь путь до результата.

Сохраните лист наблюдений. Он поможет вернуться к выбору, если изменится задача: например, вместо личных интервью появятся командные исследования по многим записям. Для такого перехода понадобятся уже другие критерии, чем у личного транскрибатора.

Частые вопросы