AivisSpeech Anneliの立ち絵を作成してみた(psdファイル)

はじめに
動画
AivisSpeech
立ち絵例
動画の立ち絵の求められるもの
作成過程
ライセンスとか
psdファイル

はじめに

AivisSpeechというむっちゃ優秀な音声合成ソフトウェアが存在します。
動画作成に使用したいのだが、現状立ち絵があまり存在しない・・・。

というわけで作った！！

※ ちなみにデフォルメ(2.5頭身)版も作成中

動画

該当立ち絵を使用した動画はこちら。

無料音声合成ソフトAivisSpeechを使ってみた

無料音声合成ソフトAivisSpeechを使ってみた。デフォルトで登録されているAnneliをVOICEVOXのキャラ達に混ぜてしゃべらすと動画なるかを実験。というか作るのシンドイ・・・。チャンネル登録よろしくお願いします。

AivisSpeech

音声合成ソフトウェアAivisSpeechはこちらから入手できます。

Aivis Project | AivisSpeech でかんたんに感情豊かな音声合成、使ってみませんか？

Aivis Project は、感情豊かな音声合成技術を誰もがかんたんに活用できる未来を目指す、壮大な開発プロジェクトです。AivisSpeech を使えば、物語の朗読やニュース記事の読み上げなど、あなたの想いを魅力的な声で表現できます。音...

立ち絵例

作成した立ち絵を並べると・・・。

全身

バストショット

目、口、眉の差分は(GIMPで)psdファイルとしてまとめています。

こんな感じで瞬き＆口パクさせることを想定しています。

動画の立ち絵の求められるもの

動画の立ち絵は最低限以下の要素が求められます。

ウエストショット、ニーショット程度の全身像(本当はフルフィギュアが望ましい)
瞬き
- 開いている状態、半開き、閉じている状態が必要
口パク
- あ、い、う、え、お、綴じの6種類が必要。
- 特に母音に合わせるこだわりが無ければ「開き」と「綴じ」の2つだけでもOK

作成過程

作ったと言っても、私自身、絵が描けるわけでは無いです。
簡単に作成した過程を書くと、

AivisSpeechのAnneliのアップショットアイコンを見ながらほぼ想像で全身のイラストを描く。
そのイラストを元にして、Stable Diffusionのimg2imgで画像生成
Stable Diffusionは、目があまり上手く生成できないので、かなりペン入れ
瞬き用の目差分、口パク用の口差分を頑張って作成
上記パーツをGIMPで取りまとめ
Stable Diffusionの色分布はVAEを挟んでも比較的狭くなりやすいので、GIMPで色分布を調整
元のAnneliアイコンの配色と変わってしまうが、アイコンの配色だと動画映えしない感じになってしまったのでスルーすることにした。
- VOICEVOXの四国めたん、ずんだもん、春日部つむぎと併用する想定なのでアイコン配色だと色負けするのです・・・。
- 配色が気に入らない人は、PhotoShopやGIMPの色置き換えなどでAnneliアイコンの配色に差し替えちゃってください。
GIMPからpsd(Photo Shop Data)としてExport

ちなみに私が描いたイラストはこれ・・・。(絵心はほぼ無いです)

Photo Shopは持っていないので、正常なpsdファイルになっているかは確認できていません。
少なくともAviUtlのPSDToolKitによる立ち絵として機能していることだけは確認済みです。

ライセンスとか

この立ち絵のライセンスですが、とりあえず以下にしておきます。
私個人のオリジナル性を主張するのは、目パチ、口パク、AivisSpeechのAnneliアイコンに映っていない服装あたりです。

ローカルPCで生成したのでstability AI License対象外でOK
- 【参考】stability AI License
  - https://stability.ai/license
    - 非商用利用: 無料で利用可能。
    - 商用利用: 年間収益が1百万ドル未満の個人や小規模ビジネスは無料で利用可能。収益が1百万ドルを超える場合は、エンタープライズライセンスが必要。
CreativeML Open RAIL-Mライセンス(SurMix kawaiiEditionモデルを使用した都合)
- https://huggingface.co/spaces/CompVis/stable-diffusion-license
- 【要約】
  - オープンアクセス: 商業目的での無料利用と再利用を許可する。
  - 使用制限: モデルの不適切な使用を防ぐための特定の使用制限が含まれている。例えば、違法行為や有害な行為に使用することは禁止されている。
  - 責任ある研究の促進: アートやコンテンツ生成のための生成モデルに関するオープンで責任ある研究を推進する。
  - 派生モデルの制限: 派生モデルも同様の使用制限を含む必要がある。
私個人による追加ライセンス
- この立ち絵を使用することによって生じた損害や不利益について、作者(私)は一切の責任を負いません。使用者は自己の責任において本立ち絵を使用してください。
- 改変、書き足して利用するのはOKです。
- 再配布は禁止します。
- クレジット表記とpsdファイルの取得元URLをわかりやすいところに明記しておいてください。
  - KEI(シミュレーションの世界に引きこもる部屋)
  - https://www.simulationroom999.com/blog/anneli-standing-picture/