whisper.cpp — без водяных знаков программа, сочная находка

Категория: AI-инструменты · Лицензия: MIT · Платформа: Windows / macOS / Linux (зависит от программы)

whisper.cpp — распознавание речи, которое помещается в один файл

Иногда самое сильное впечатление производит не сложность, а её отсутствие. whisper.cpp — это реализация модели распознавания речи на чистом C++ без единой внешней зависимости. Ни Python, ни PyTorch, ни драйверов. Скомпилировали, скачали файл модели, запустили на аудиофайле — получили текст.

Что оно умеет

Переводит речь в текст более чем на девяноста языках, включая русский. Автоматически определяет язык записи. Умеет сразу переводить речь на английский. Расставляет временные метки — по фразам и, при желании, по отдельным словам. Выдаёт результат обычным текстом, а также в форматах субтитров SRT и VTT, в JSON и CSV.

Размеры моделей

Пять основных вариантов: tiny, base, small, medium, large. Самая маленькая занимает около семидесяти мегабайт и работает почти мгновенно, но ошибается. Крупная весит порядка трёх гигабайт и распознаёт заметно точнее, особенно на плохой записи, акценте или фоновом шуме. Есть квантованные версии, уменьшающие файл и потребление памяти при небольшой потере качества. Для английского существуют облегчённые узкоспециализированные варианты.

Скорость

Оптимизация — главное достоинство проекта. Используются векторные инструкции процессора, на Apple Silicon работает ускорение через Core ML и Metal, на NVIDIA — CUDA, есть поддержка Vulkan и OpenVINO. На современном ноутбуке средняя модель обрабатывает час записи за считанные минуты. Многопоточность настраивается флагом.

Как применяют

Расшифровка интервью и совещаний. Автоматические субтитры к видео — файл SRT сразу подхватывается монтажными программами и плеерами. Индексация подкастов для поиска по содержанию. Диктовка заметок. Голосовой ввод в связке с локальной языковой моделью. Пакетная обработка архивов записей скриптом.

Есть режим реального времени с микрофона и режим определения смены говорящего в стереозаписи, где каналы разделены.

Интеграция

Помимо консольной утилиты собирается как библиотека, к которой существуют обёртки для Python, Go, Rust, Java, C#, Node.js. Есть сборка под WebAssembly — распознавание прямо в браузере без сервера. Проект встроен в десятки сторонних приложений именно за счёт этой лёгкости.

Ограничения

Готового графического интерфейса нет — это командная строка или чужая оболочка. Вход требует аудио в определённом формате, поэтому рядом обычно живёт конвертер. На сильном шуме и наложении голосов модель может выдумывать фразы — проверяйте важные расшифровки.

Платформы и лицензия

Windows, Linux, macOS, Android, iOS, браузер. MIT, бесплатно, всё считается локально.