■ 春日部つむぎ Live2D モデルのインポート方法についてです。
VYube Studio のインストールしてモデルのインポート、OBS インストール、画面合成の手順まで。
■概要
VOICEVOX の春日部つむぎ を追いかけてたら、
春日部つくしさんのサイトで公式Live2D モデルを入手。
「Live2D」は動かせる2D 絵という認識で、せっかくなら使ってみたいという事で導入方法を調べてみました。
VOICEVOX:春日部つむぎ
※VOICEVOX （無料のテキスト読み上げソフト）
https://voicevox.hiroshiba.jp/
※春日部つむぎ 公式ホームページ
春日部つむぎ 公式HP
※公式Live2D モデルは下記のサイトにて入手できます。
https://kasukabe294.booth.pm/【BOOTH】
VTube Studio Live2D モデルのインポート方法。
春日部つむぎ 公式Live2D モデルをインポートして動かしたい。
導入手順
- STEAM をインストールする。
- VTube Studio をインスト―ルする。
- VTube Studio で Live2D モデルを読み込ませると使えます。
- OBS をインスト―ルして合成画面を作成する。
- 録音に合わせてリップシンクさせる為、仮想ミキサーをインストールして設定。
STEAM をインストールする。
Live2D については、右も左もわからなかったので、readme.txt を見てみました。
VTube Studio を想定したデータです。との事でリンク先が置いてあったので訪ねてみました。
なぜかSTEAM のページにつながったなぁと思っていたら、
VTube Studio はどうやら、STEAM 上で動作するソフトウェアのようです。
https://store.steampowered.com/app/1325860/VTube_Studio/?l=japanese
親切な方が親切な記事を作っていてくれていました。
https://note.com/frusumi/n/n8e1809e6edb7
読んだ感じだと、iPhone などのフェイストラッキングに対応したスマホと、パソコンとのセットで使うようですが、バージョンアップで対応するスマホがなくても普通のカメラでも操作できるようになったらしい。
おかげで、なんとなくイメージがつかめてきたので、
とりあえずダウンロードしてインストールしてみたいと思います。
無料をクリックすると、STEAM がインストールされているか聞かれました。
STEAM のアプリをインストール
STEAM をインスト―ルするところからですね。
この間APEX をやりたいと思ってOrigin をインストールしたばかりです。
STEAM 版をインスト―ルしておけば良かった、、、というか、Origin アンインストールしよ。
STEAM でAPEX ればイイんじゃん。
「STEAM をインストール」をクリックすると、SteamSetup.exe がダウンロードされるので実行します。
ダウンロードしたセットップファイルをダブルクリック。
言語は一種類しか選べないっす。
そのままでも、変更しても良いと思います。
このままSTEAM を実行します。
STEAM のアカウントを作成
STEAM 上でのアカウントを作成します。
「新しいアカウントを作成する」をクリック。
ロボットではない証明をします。
ロボットではないとわかってもらえると進めます。
ここで5分くらいパネルをポチポチさせられました。
アカウント登録した時のメールアドレスに確認用のメールが送信されているので、メールを確認します。
確認が済むとSTEAM 上でのアカウント名とパスワードを決めて完了です。
アカウントの作成が終わりました。
作成したアカウントでログイン。
STEAM の方は、これでOK です。
VTube Studio をインストールする。
一旦、VTube Studio のページに戻ります。
https://store.steampowered.com/app/1325860/VTube_Studio/?l=japanese
Vtube Studio のページから、無料をクリック。
今度はSTEAM がインストール済みだぜ。
そんなにサイズ大きくないですね。
同意します。
ダウンロード始まった。
このウィンドウはもう閉じてOK です。
ダウンロード開始。
終わったっぽい。
起動をクリック。
インストールが終わりました。
VTube Studio はこれでOK です。
Live2D モデルのインポート」
モデルの入手。
モデルは下記のサイトで入手できます。
応援しよう。
https://kasukabe294.booth.pm/【BOOTH】
モデルのインポート
VTube Studio 起動します。
このアイコンをクリックします。
画面下にランチャーみたいなやつが出てくるので、自分のモデルをインポートをクリック。
下記のメッセージが表示されます。
なるほど、ここに配置するのか。
という事で、「フォルダを開く」をクリックします。
解凍したフォルダを丸ごと配置すれば良さそうです。
モデルが追加されました。
アイコンが読み込まれてないです。このままでも使えますが下記の操作で修正できます。
解凍したLive2D モデルのファイルの中から「春日部つむぎ公式live2Dモデル.vtube.json」をテキストエディタで開きます。
Icon の参照先がブランクになっていたので、アイコン画像ファイルの「icon.jpeg」を指定します。
▼
アイコンが表示されました。
早速呼び出し。
おお。薄っすらと、つむぎちゃんが見えます。
モデルのインポート、呼び出しが完了です。
フェイストラッキング の設定。
使っている機材はDell Precision M3510 です。
グラフィックカード はAMD Radeon R9 M360 です。
カメラはノート本体に搭載されているカメラを使用しています。
設定のマークをクリック。
カメラのアイコンをクリックします。
カメラの設定に切り替えて、ウェブカメラトラッキングの項目から、
「カメラを選択する」をクリックします。
こっちをクリック。
解像度を選択。
フレームレートを選択。
フォーマットを選択します。
OK を押すと、トラッキングが始まります。
トラッキングオン。
いろいろ出てくるので、OK して閉じてください。
動いた。
可愛い。
こちらのまばだきや、口パクに合わせて動いてくれる。
感度調整とかもあるので、適当に触ってください。
パラメータの設定
パラメータの設定ができます。
とりあえず、オートセットアップを一回実行しておけばいいと思います。
じゃあ、オートセットアップ
OK をクリック。
違いはよく分からないっす。
とりあえず、これだけやっておきたいパラメータ
とりあえず、Auto Breath の「自動呼吸」をオン。
つむぎちゃんが微妙に上下して呼吸をはじめます。
eye open left /right の「自動まばたき」をそれぞれオンにしておきましょう。
つむぎちゃんがまばたきをするようになります。
アクションの設定。
任意のキーを押したときに何かしらのアクションが実行されるように設定します。
ガチンコのアイコンをクリック。
キーコンビネーションに関連付けされているキーをクリックすると、設定されているアクションが実行されます。
実行されたアクションはそのまま維持されますので、実行後はもう一度実行して、解除してください。
キーコンビネーションのREC ボタンを押すと、任意のキーを指定できます。
キー1 とキー2 を同時に押さないと起動しないので、同じキーにしておくと起動しやすいです。
一番下のプラスボタンをクリックすると、アクションを定義できます。
アクションタイプをクリックして、アクションタイプを選択します。
背景を変える程度のアクション設定なら簡単ですが、そのほかは仕込みが要りそうです。
用意されているアクション
うるうる。
がーん
きらーん
てれ
設定画面を閉じたいときは、このボタンをクリックします。
背景を切り替える
このアイコンをクリックします。
一覧から選択して切り替える。
カラーピッカー ※透過設定
背景色をカラーパレットから決める。
ストリーミング配信（OBS）をする場合は、カラーピッカーにて「透過」を使うようです。
基本的には、カラーパレットから任意の色背景を設定する機能がと思います。
別の背景画像や、動画を挿入したい場合。
https://github.com/DenchiSoft/VTubeStudio/wiki/Loading-your-own-Backgrounds
下記のフォルダに配置します。
C:\Program Files (x86)\Steam※\steamapps\common\VTube Studio\VTube Studio_Data\StreamingAssets\Backgrounds
※C:\Program Files (x86)\Steam はSTEAM インストール先のフォルダによって異なります。
（対応している形式）
| 種類 | フォーマット |
|---|---|
| Image | .jpg .png |
| Video | mp4 .webm（一部のプラットフォームではサポートされていない場合があります） |
例えば、マイクラのプレイを録画した動画をフォルダ内に置きます。
アプリを再起動してから、背景を確認。
リストにマイクラ動画が追加されていますね。
選択すると、動画が背景として適用されました。
画像ではわかりにくいですが、背景でマイクラのプレイ動画が流れています。
リアルタイムでLive2D との合成画面を作る。
OBS（Open Broadcaster Software Studio）を使用するようです。
オープンソースの動画配信ツールです。
雑に説明すると、こんな感じ。
https://obsproject.com/ja/download
OSB のインスト―ル
Windows ユーザーなので、Windows がアクティブな状態で、「ダウンロードインストーラー」をクリック。
インストーラーをダウンロード。
ダウンロードしたファイルを、ダブルクリックして実行。
インストール先を指定してもいいし、別にそのままでもOK です。
完了です。
このまま、OBS を起動します。
OSB の起動
初回起動では、自動構成ウィザードが起動するようです。
使用目的を選択すると、目的に応じた設定に変更してくれるそうで、助かります。
設定を適用して完了。
起動画面。
画面の合成
画面出力を「ソース」として定義すると、OBS に取り込まれます。
VTube Studio を取り込み
先に、VTube Studio を起動しておきます。
ソース画面のプラスボタンを押します。
ゲームキャプチャをクリック。
※ウインドウズキャプチャだとうまくいかないです。
新規作成にチェックを入れて、任意の名前を決めます。
- モードを「特定のウィンドウをキャプチャ」に設定します。
- ウィンドウ 欄をクリックして、リストから「VTube Studio」を選択します。
- 「透過を許可」にチェックを入れます。
上記の3つを実施すると、
画面がプレビューされますので、確認してOK をクリックします。
VTube Studio の方の背景設定を「カラーピッカー」にして、透過をオンにすると背景が透過されます。
一度ソースを作成すると、設定がのこり、認識された時点で自動的に取り込んでくれます。
そのほかのソースを取り込み
同じような要領で、適当にキャプチャしましょう。
リモートデスクトップ接続を取り込んでみます。
ウィンドウの一覧から、起動中のリモートデスクトップ接続を選択。
OK を押すと画面が合成されます。
サイズを変更したり、ソースの順番を変更します。
※画面が重なっている場合に、順位が上のソースが優先して表示されます。
合成完了です。
録画か、配信スタートです。
配信設定、録画設定は、ファイル ＞「設定」を開いて、各種タブで設定できます。
動画の音声でリップシンクさせたい。
リップシンクは、マイクの音声に合わせて口がパクパク動く機能の事です。
できれば、マイクの音声ではなく、録画の音声に合わせてパクパクさせたい。
VOICEVOX:春日部つむぎ
以前に作成した動画につむぎちゃんバージョンとして焼き直ししました^^
仮想ミキサーを使えば、デスクトップ音声をリップシンクの入力に使えるとの事。
3teneを使って合成音声でリップシンクさせるのと、OBS Studioの同期オフセットを調整して声とリップのタイミングを合わせる実験をしてみました。
同じこと考える人はいますね。大変参考になりました。
助かります！ありがとうございました。
仮想ミキサーのインストール
下記のサイトから、Voicemeeter を入手。
スピーカーの音声をマイク入力として流したいだけなので、簡単そうなヤツで。
https://vb-audio.com/Voicemeeter/index.htm
インストーラーを実行。
インストーラーが起動してきます。
すぐにインストールが終わりました。
リップシンクの設定。
こういうイメージでバーチャル配線します。
OBS に入力した動画の音声トラックをモニターに出力、
VTubeStudio のマイク入力にバイパスするイメージです。
OBS の設定。
VB-Audio VocieMeeter VAIO というデバイスが増えているので、Input をOBS のモニタリングデバイスに設定します。
OBS が拾った音をモニタリングするデバイスを「VoiceMeeter Input（VB-Audio VocieMeeter VAIO）」に設定して、モニターの出力先を仮想ミキサーのインプットになるように設定します。
※ファイル ＞設定 ＞音声タブ
VTube Studio の設定。
マイクの入力にVB-Audio VocieMeeter VAIO のOutput を設定します。
マイクを使うにチェック、マイクプレビューにもチェックを入れておくと、
下の結果パラメータのプレビューが音に反応して動くので、入力の確認に役立ちます。
もう一か所、口パクパクのパラメータをフェイストラッキングではなく、
「VoiceVolume（マイクのボリューム）」に連動するように設定します。
動画の取り込みとモニター出力の設定
ムービーは、「メディアソース」で取り込みます。
ソース名を適当に決めてOK をクリック。
メディアファイルを選択してOK をクリックします。
これで動画がソースとして取り込まれます。
オーディオの歯車マークをクリックし、プロパティを開きます。
メディアソースの音声がモニタリングされるよう（モニターと出力）に設定します。
モニター出力は、VTube Studio にマイク入力として取り込まれます。
動画を再生すると、音声に合わせてつむぎちゃんの口がパクパクしてくれます。
録画する時は、デスクトップはミュートしておきましょう。
両方録音されてハモってしまいます。
以上です。