Сведения о вопросе

Ayrat

19:30, 26th August, 2020

Теги

Как я могу искать контент в пределах audio files/streams?

Просмотров: 464   Ответов: 1

Я всегда задавался вопросом, сколько существует различных методов поиска, для поиска текста, для поиска изображений и даже для видео.

Однако я никогда не сталкивался с решением, которое искало бы содержимое в аудиофайлах.


Например: предположим, что у меня есть около 200 подкастов, загруженных в мой PC в виде файлов mp3, wav и ogg. Все они имеют общее название, скажем, podcast1.mp3, podcast2.mp3 и т. д. Таким образом, невозможно узнать, что такое содержание, не услышав их на самом деле. Скажем так, мне интересно узнать, о чем говорят подкасты 'game programming'. Я хочу, чтобы результаты были показаны как:

  • Podcast1.mp3 - 3 результат(ы) по временному индексу(ы) - 0:16:21, 0:43:45, 1:12:31
  • Podcast21.ogg-1 результат(ы) по временному индексу(ам) - 0:12:01

Так что мои вопросы:

  • Как можно было бы подойти к этой проблеме?
  • Существуют ли подходящие алгоритмы, разработанные для выполнения чего-то подобного?

Одна идея, возникшая у меня в голове, заключалась в том, что можно было бы использовать программное обеспечение " speech-to-text " для получения транскриптов вместе с индексами времени для каждого из аудиофайлов, а затем проанализировать транскрипт, чтобы получить результат.

Я рассматривал это как один из моих хобби-проектов. Спасибо!



  Сведения об ответе

DAAA

11:25, 16th August, 2020

Если вы хотите искать текст (т. е. то, что говорится) внутри аудиопотока, вам придется обработать его с помощью какого-то алгоритма распознавания речи и сохранить текст в виде метаданных, связанных с файлами. Для видео вы также можете сделать распознавание текста для текста внутри видео. Evernote уже делает это для текста внутри графических файлов, но, насколько мне известно, не поддерживает аудио.

Нечто подобное возможно при использовании аудио для поиска звука. Я не знаю подробностей этих алгоритмов, но предполагаю, что они включают в себя какой-то частотный анализ. Shazam использует такую технологию для идентификации песен на основе аудиоклипов.

Вот некоторые статьи Википедии, которые могут быть полезны:


Ответить на вопрос

Чтобы ответить на вопрос вам нужно войти в систему или зарегистрироваться