この記事は、ドワンゴ Advent Calendar 2019の１日目の記事です。 モチベーション 最近、理想の人工知能（歌ったり踊ったり喋ったりできるキャラクター）を作りたいと思うようになりました。人工知能が歌を歌うためには、歌声音声合成エンジンが必要です。ということで、ディープラーニングを使って、歌声音声合成エンジンの作成に挑戦してみました。この記事では、実際に音声合成した歌声や、その仕組み、別条件での実験結果、ディープラーニング周りの手法を紹介します。 デモ動画実際に作成した音声合成エンジンを使った歌唱のデモです。 （歌声音声合成を作ったら絶対最初にカバーしたいと思っていた歌、ハジメテノオトのカバーです。） 歌唱デモ音声 まだ挑戦し始めてから２週間ほどしか経っていないのでかなり荒削りですが、それでもちゃんと歌詞や音程が取れていたり、溜めの部分で大きく息を吸う音が入っていたりと、そこそ
２０１９年５月頭に開催された、 結月ゆかり・紲星あかり中心VOICEROIDオンリー同人イベント「この声届け、月までも五」（声月）の一画で、企画展示をする機会を頂きました。 この展示ブースにて、既存のＶＲ技術と、以前開発した声質変換技術を組み合わせ、 イベント会場に来場されたお客さんが「結月ゆかり」とお喋りできる催しを行いました。 その経験をもとに得られた知見や課題、感想をまとめたいと思います。 企画タイトルは「ゆかりが声月にやってきた」 企画内容この企画の趣旨を一言で言うと、「イベント会場に来ると結月ゆかりと会話できる」というものです。 ＶＲ世界に来たお客さん（左）と会話する「結月ゆかり」（右） 「結月ゆかり」は音声合成ソフトウェアVOICEROIDのキャラクターで、 今回のVOICEROIDオンリーイベント「声月」にはファンの方が大勢集まります。 僕自身も「結月ゆかり」が大好きで、話せ
はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま
VRエンジニアたちの会食で表題について話したところ、好評を得たのでここに採録してみます。 これはあくまでも私が個人的に十数年間追ってきた「海外で起きている日本ブーム」調査で得た副産物であって、AKB48の運営会社から公に公表されたものではありません。あくまでも私が導き出した仮説でしかありませんが、読んでいただければそれなりに納得していただけるものと思います。 テレビ東京の番組で、成田空港に降り立った訪日観光客にインタビューを行い、日本旅行に密着する「Youは何しに日本へ？」が好評ですが、番組で出会った観光客のなかに日本語で応じる、しかも日本に来たのが初めてという観光客が度々紹介されているのを皆さんもご覧になったことがあるかと思います。私もITmediaの「ねとらぼ」というニュースサイトに寄稿記者としてこのような日本を訪れた方たちの取材記事を執筆してきましたが、彼ら彼女らの日本に対する並々な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
