INTEGRITY Документация

← Справочные архитектуры / reference-architecture / diagrams / ai

Автоматические субтитры для загружаемых видео

Введение

Модели автоматического распознавания речи (ASR) значительно расширили доступность видеоконтента, позволив создавать субтитры и переводы. Эти модели используют продвинутые алгоритмы, чтобы с высокой точностью преобразовывать произнесённую речь в текст. Благодаря интеграции технологии ASR в видеоплатформы создатели контента, издатели и дистрибьюторы могут охватить более широкую аудиторию, включая людей с нарушениями слуха и тех, кто предпочитает потреблять контент на других языках.

Процесс начинается с захвата аудио из видеоисточника, которое затем передаётся в модель ASR. Эта модель анализирует аудиосигнал и преобразует его в текстовое представление, фиксируя произнесённый контент в виде субтитров. Кроме того, модели ASR можно использовать для перевода на другой язык, что позволяет создавать многоязычные субтитры. После создания субтитры можно отображать вместе с видео, обеспечивая синхронизированное текстовое представление произнесённого контента.

Автоматическое создание субтитров при загрузке

Рисунок 1: автоматическое создание субтитров при загрузке
Рисунок 1: автоматическое создание субтитров при загрузке
  1. Загрузка от клиента: Отправка POST-запроса с видео и аудио на конечную точку API.
  2. Расшифровка аудио: Генерация транскрипций с временными метками через вызов Workers AI модель автоматического распознавания речи (ARS) с аудио на входе. Используйте Workers для преобразования результата в поддерживаемый формат субтитров.
  3. Хранить субтитры: Хранение файла(ов) субтитров на R2.
  4. Хранить видео: Хранение видеофайлов на R2.
  5. Запрос клиента: Отправка GET-запросов на видео и субтитры к источнику. Используется глобальный Кеш для повышения производительности.
  6. Запрос к origin-серверу: Получение файла(ов) из R2 на кеш MISS с помощью Публичные бакеты.