- はじめに
- プロジェクトについて
- プロジェクトの流れ
- 手法1 CTCロスによる音素アライメントの学習
- 手法2 Juliusによる音素セグメンテーション
- さいごに
はじめに
こんにちは、@dhgrsです。以前こんな記事を書きました。
www.monthly-hack.com
本記事は、このプロジェクトの前処理編です。
声優統計コーパスを使ったWaveNet音声合成/歌声合成に挑戦します
- はじめに
- 声優統計コーパスとは
- 声優統計コーパスに足りないもの
- WaveNet音声合成/歌声合成プロジェクト
- さいごに
はじめに
こんにちは、dhgrsです。3月に研究室の先生の退官パーティがあったのですが、現役時代に代が被っていない先輩(つまりほぼ初対面の先輩)に「声優統計コーパス使った音声合成楽しみにしているよ」と言われてびっくりしました。詳しくお話を聞いてみるとどうやら声優統計コーパスを作成した声優統計学会というサークルの関係者だったようで、改めて色々なことをやっている人がいる面白い研究室だったなと思ったりしていました。
そのあと声優統計コーパスを使ったVQ-VAEを結構試したのですが、話者の違いはまだしも、感情付与がかなり難しいようで思うような成果がでなかったです。もっと粘って色々試してみてもいいのですが、費用対効果も悪いので、別の方向で声優統計コーパスを使ってみることにしました。本記事では、声優統計コーパスが音声合成屋の視点から見てどういうデータセットかの簡単なまとめと、今後僕がやろうとしていることを紹介します。
chainerでUNetのようなネットワークをfor文を使って簡単に書く方法
- できること
- はじめに
- 注意
- for文でネットワークを書く動機
- サンプルコード
- 基本形
- 活性化関数を適用する
- linkの種類で場合分けする
- 実用的な例(GANsのgenerator)
- UNet(concatなし)
- UNet(concatあり)
- chainerに詳しい人向けの補足
できること
この記事では、次のことができるようになります。
- chainer v2,3,4でfor文を使ってネットワークを書く
WaveRNN解説[ネットワーク構造編]
- できること
- はじめに
- 何がすごいのか
- ネットワークの出力
- Step1: coarseの予測
- Step2: fineの予測
- さいごに
できること
この記事では、次のことができるようになります。
- シンプルなwaveRNNのネットワーク構造の理解
VQ-VAEの追試で得たWaveNetのノウハウをまとめてみた。
- できること
- はじめに
- 「膨大な計算資源が必要」に対する回答
- 前処理
- ネットワーク構造
- チャンネル数
- レイヤー数
- ロスと音質の関係
- VQ-VAE特有の知見
- さいごに
できること
この記事では、次のことができるようになります。
- VQ-VAEを使った声質変換
- WaveNetを使った音声合成を学習させる際のノウハウ