音声認識の世界では、OpenAIが開発したwhisperというモデルが話題になりましたね。99言語に対応しており、日本語の音声認識の精度も抜群です。 非常に優秀なwhisperですが、いつ誰が話したのかを認識する、いわゆる「話者分離」はできません…。 ということで、アドベントカレンダー8日目の記事では、pyannote.audioというライブラリを使った話者分離方法について紹介します。 pyannote.audioの概要 pyannote.audioは、話者分離のためのPythonによるオープンソースフレームワークです。 下記のようなパイプラインで話者分離を実現しています。 論文：pyannote.audio: neural building blocks for speaker diarization Github：https://github.com/pyannote/pyannote
こんにちは！逆瀬川 ( @gyakuse ) です！ 今日は最近作った議事録文字起こしアプリに話者分離機能をくっつけたものを作っていきたいと思います。 ChatGPT APIの使い方、Whisper APIの使い方、Hugging Face Spacesへのデプロイ方法等を知りたい場合は以下の記事をぜひ！ できたもの openai_keyにOpenAIのAPIキーを入れる メイン音声ファイルに会話音声 (wav, 25MB以内) を入れる 話者 (1) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (1) の名前を入れる 話者 (2) 参考音声ファイルに話者 (1) の参考音声 (wav) を入れる 話者 (2) の名前を入れる 上記を行って送信ボタンを押すと処理が開始されます。なお、参考音声は10秒程度で大丈夫です。実装全体は以下で確認できます。 話者分離 (S
Whisper APIは、音声ファイルをテキストデータに変換する、非常に便利なAPIです。しかし、その利便性にも関わらず、25MB以上の音声ファイルには対応していないという課題がありました。今回の記事では、これを解決し、どんなサイズの音声ファイルでも文字起こしができるようになった方法を紹介していきます。 下記にコードを載せてあります。詳しくはこちらをご確認ください！ 仕組みについてまず、25MB以下の音声ファイルに関しては、通常通りWhisper APIを使用して文字起こしを行います。これにより、小さな音声ファイルは引き続き簡単に扱えるようになっています。 ここで問題となるのが、25MBを超える音声ファイルです。その対応策として、次の2つの方法が提案されました。 音声ファイルを圧縮してサイズを縮小する 音声ファイルを複数の小さなファイルに分割する まず、音声ファイルを圧縮することで、25M
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
