Monthly Hacker's Blog

プログラミングや機械学習の記事を中心に書きます。

声優統計コーパスを使ったWaveNet音声合成/歌声合成に挑戦します

  • はじめに
  • 声優統計コーパスとは
  • 声優統計コーパスに足りないもの
  • WaveNet音声合成/歌声合成プロジェクト
  • さいごに

はじめに

こんにちは、dhgrsです。3月に研究室の先生の退官パーティがあったのですが、現役時代に代が被っていない先輩(つまりほぼ初対面の先輩)に「声優統計コーパス使った音声合成楽しみにしているよ」と言われてびっくりしました。詳しくお話を聞いてみるとどうやら声優統計コーパスを作成した声優統計学会というサークルの関係者だったようで、改めて色々なことをやっている人がいる面白い研究室だったなと思ったりしていました。

そのあと声優統計コーパスを使ったVQ-VAEを結構試したのですが、話者の違いはまだしも、感情付与がかなり難しいようで思うような成果がでなかったです。もっと粘って色々試してみてもいいのですが、費用対効果も悪いので、別の方向で声優統計コーパスを使ってみることにしました。本記事では、声優統計コーパスが音声合成屋の視点から見てどういうデータセットかの簡単なまとめと、今後僕がやろうとしていることを紹介します。

続きを読む

chainerでUNetのようなネットワークをfor文を使って簡単に書く方法

  • できること
  • はじめに
  • 注意
  • for文でネットワークを書く動機
  • サンプルコード
    • 基本形
    • 活性化関数を適用する
    • linkの種類で場合分けする
    • 実用的な例(GANsのgenerator)
    • UNet(concatなし)
    • UNet(concatあり)
  • chainerに詳しい人向けの補足

できること

この記事では、次のことができるようになります。

  • chainer v2,3,4でfor文を使ってネットワークを書く
続きを読む

VQ-VAEの追試で得たWaveNetのノウハウをまとめてみた。

  • できること
  • はじめに
  • 「膨大な計算資源が必要」に対する回答
  • 前処理
  • ネットワーク構造
    • チャンネル数
    • レイヤー数
  • ロスと音質の関係
  • VQ-VAE特有の知見
  • さいごに

できること

この記事では、次のことができるようになります。

  • VQ-VAEを使った声質変換
  • WaveNetを使った音声合成を学習させる際のノウハウ
続きを読む