コンテンツへスキップ

VTube Studio Live2D モデルのインポート方法。 春日部つむぎ 公式Live2D モデルをインポートして動かしたい。

■ 春日部つむぎ Live2D モデルのインポート方法についてです。
VYube Studio のインストールしてモデルのインポート、OBS インストール、画面合成の手順まで。

■概要

VOICEVOX の春日部つむぎ を追いかけてたら、
春日部つくしさんのサイトで公式Live2D モデルを入手。
「Live2D」は動かせる2D 絵という認識で、せっかくなら使ってみたいという事で導入方法を調べてみました。

VOICEVOX:春日部つむぎ

※VOICEVOX (無料のテキスト読み上げソフト)
https://voicevox.hiroshiba.jp/

※春日部つむぎ 公式ホームページ
春日部つむぎ 公式HP

※公式Live2D モデルは下記のサイトにて入手できます。
https://kasukabe294.booth.pm/【BOOTH】

VTube Studio Live2D モデルのインポート方法。
春日部つむぎ 公式Live2D モデルをインポートして動かしたい。

導入手順

  • STEAM をインストールする。
  • VTube Studio をインスト―ルする。
  • VTube Studio で Live2D モデルを読み込ませると使えます。
  • OBS をインスト―ルして合成画面を作成する。
  • 録音に合わせてリップシンクさせる為、仮想ミキサーをインストールして設定。

STEAM をインストールする。

Live2D については、右も左もわからなかったので、readme.txt を見てみました。

春日井つむぎ公式Live2D モデルフォルダ構成

VTube Studio を想定したデータです。との事でリンク先が置いてあったので訪ねてみました。

なぜかSTEAM のページにつながったなぁと思っていたら、
VTube Studio はどうやら、STEAM 上で動作するソフトウェアのようです。

https://store.steampowered.com/app/1325860/VTube_Studio/?l=japanese

STEAM HP

親切な方が親切な記事を作っていてくれていました。

https://note.com/frusumi/n/n8e1809e6edb7

STEAM HP

読んだ感じだと、iPhone などのフェイストラッキングに対応したスマホと、パソコンとのセットで使うようですが、バージョンアップで対応するスマホがなくても普通のカメラでも操作できるようになったらしい。

おかげで、なんとなくイメージがつかめてきたので、
とりあえずダウンロードしてインストールしてみたいと思います。

install VTube Studio link

無料をクリックすると、STEAM がインストールされているか聞かれました。

STEAM のアプリをインストール

STEAM をインスト―ルするところからですね。

STEAM をインスト―ルする必要があります

この間APEX をやりたいと思ってOrigin をインストールしたばかりです。
STEAM 版をインスト―ルしておけば良かった、、、というか、Origin アンインストールしよ。
STEAM でAPEX ればイイんじゃん。

「STEAM をインストール」をクリックすると、SteamSetup.exe がダウンロードされるので実行します。

STEAM をインスト―ル
Steam Setup

ダウンロードしたセットップファイルをダブルクリック。

Steam Setup EXE

STEAM install 1

言語は一種類しか選べないっす。

STEAM install 2

そのままでも、変更しても良いと思います。

STEAM install 3

このままSTEAM を実行します。

STEAM install 4

STEAM install 5

STEAM のアカウントを作成

STEAM 上でのアカウントを作成します。

「新しいアカウントを作成する」をクリック。

STEAM account 1

ロボットではない証明をします。

STEAM account 2

ロボットではないとわかってもらえると進めます。
ここで5分くらいパネルをポチポチさせられました。

STEAM account 3

アカウント登録した時のメールアドレスに確認用のメールが送信されているので、メールを確認します。

STEAM account 4

確認が済むとSTEAM 上でのアカウント名とパスワードを決めて完了です。

STEAM account 5

アカウントの作成が終わりました。

STEAM account 6

作成したアカウントでログイン。

STEAM account 7

STEAM の方は、これでOK です。

STEAM account 8

VTube Studio をインストールする。

一旦、VTube Studio のページに戻ります。

https://store.steampowered.com/app/1325860/VTube_Studio/?l=japanese

Vtube Studio のページから、無料をクリック。

VTube Studio install link

今度はSTEAM がインストール済みだぜ。

STEAM allready install

そんなにサイズ大きくないですね。

VTube Studio install 1

同意します。

VTube Studio install 2

ダウンロード始まった。
このウィンドウはもう閉じてOK です。

VTube Studio install 3

ダウンロード開始。

STEAM ライブラリページ

終わったっぽい。

起動をクリック。

VTube Studio 起動

VTube Studio 起動中

インストールが終わりました。

VTube Studio はこれでOK です。

VTube Studio

Live2D モデルのインポート」

モデルの入手。

モデルは下記のサイトで入手できます。
応援しよう。

https://kasukabe294.booth.pm/【BOOTH

モデルのインポート

VTube Studio 起動します。

VTube Studio TOP

このアイコンをクリックします。

VTube Studio model icon

画面下にランチャーみたいなやつが出てくるので、自分のモデルをインポートをクリック。

VTube Studio model icon 1

下記のメッセージが表示されます。
なるほど、ここに配置するのか。

という事で、「フォルダを開く」をクリックします。

VTube Studio model icon 2

解凍したフォルダを丸ごと配置すれば良さそうです。

Live2DModels folder

モデルが追加されました。

VTube Studio model icon

アイコンが読み込まれてないです。このままでも使えますが下記の操作で修正できます。

解凍したLive2D モデルのファイルの中から「春日部つむぎ公式live2Dモデル.vtube.json」をテキストエディタで開きます。

Icon の参照先がブランクになっていたので、アイコン画像ファイルの「icon.jpeg」を指定します。

春日部つむぎ公式live2Dモデル.vtube.json

アイコンが表示されました。

model icon

早速呼び出し。

おお。薄っすらと、つむぎちゃんが見えます。

VTube Studio model load

モデルのインポート、呼び出しが完了です。

VTube Studio model load done

フェイストラッキング の設定。

使っている機材はDell Precision M3510 です。
グラフィックカード はAMD Radeon R9 M360 です。
カメラはノート本体に搭載されているカメラを使用しています。

設定のマークをクリック。

setting icon

カメラのアイコンをクリックします。

camera icon

カメラの設定に切り替えて、ウェブカメラトラッキングの項目から、
「カメラを選択する」をクリックします。

setting camera

こっちをクリック。

set camera

解像度を選択。

解像度

フレームレートを選択。

FPS

フォーマットを選択します。
OK を押すと、トラッキングが始まります。

video format

トラッキングオン。

いろいろ出てくるので、OK して閉じてください。

note 1
note 2

動いた。

フェイストラッキング

可愛い。
こちらのまばだきや、口パクに合わせて動いてくれる。

フェイストラッキング 2

感度調整とかもあるので、適当に触ってください。

フェイストラッキング 3

パラメータの設定

パラメータの設定ができます。

setting icon

とりあえず、オートセットアップを一回実行しておけばいいと思います。

モーションセットアップ

じゃあ、オートセットアップ

モーションセットアップ 2

OK をクリック。

モーションセットアップ 3

違いはよく分からないっす。

とりあえず、これだけやっておきたいパラメータ

とりあえず、Auto Breath の「自動呼吸」をオン。
つむぎちゃんが微妙に上下して呼吸をはじめます。

eye open left /right の「自動まばたき」をそれぞれオンにしておきましょう。
つむぎちゃんがまばたきをするようになります。

アクションの設定。

任意のキーを押したときに何かしらのアクションが実行されるように設定します。

ガチンコのアイコンをクリック。

action icon

キーコンビネーションに関連付けされているキーをクリックすると、設定されているアクションが実行されます。
実行されたアクションはそのまま維持されますので、実行後はもう一度実行して、解除してください。

key setting 1

キーコンビネーションのREC ボタンを押すと、任意のキーを指定できます。

キー1 とキー2 を同時に押さないと起動しないので、同じキーにしておくと起動しやすいです。

key setting 2

一番下のプラスボタンをクリックすると、アクションを定義できます。

key setting 3

アクションタイプをクリックして、アクションタイプを選択します。

背景を変える程度のアクション設定なら簡単ですが、そのほかは仕込みが要りそうです。

key setting 4

用意されているアクション

うるうる。

うるうる

がーん

がーん

きらーん

きらーん

てれ

てれ

設定画面を閉じたいときは、このボタンをクリックします。

閉じるマーク

背景を切り替える

このアイコンをクリックします。

背景アイコン

一覧から選択して切り替える。

backgroung 1

カラーピッカー ※透過設定

背景色をカラーパレットから決める。

backgroung 2

ストリーミング配信(OBS)をする場合は、カラーピッカーにて「透過」を使うようです。

backgroung 透過を許可

基本的には、カラーパレットから任意の色背景を設定する機能がと思います。

backgroung カラーピッカー

別の背景画像や、動画を挿入したい場合。

https://github.com/DenchiSoft/VTubeStudio/wiki/Loading-your-own-Backgrounds

下記のフォルダに配置します。

C:\Program Files (x86)\Steam※\steamapps\common\VTube Studio\VTube Studio_Data\StreamingAssets\Backgrounds

※C:\Program Files (x86)\Steam はSTEAM インストール先のフォルダによって異なります。

(対応している形式)

種類フォーマット
Image.jpg
.png
Videomp4
.webm(一部のプラットフォームではサポートされていない場合があります)

例えば、マイクラのプレイを録画した動画をフォルダ内に置きます。

backgrounds folder

アプリを再起動してから、背景を確認。
リストにマイクラ動画が追加されていますね。

sellect movie

選択すると、動画が背景として適用されました。
画像ではわかりにくいですが、背景でマイクラのプレイ動画が流れています。

VTube Studio background movie

リアルタイムでLive2D との合成画面を作る。

OBS(Open Broadcaster Software Studio)を使用するようです。
オープンソースの動画配信ツールです。

雑に説明すると、こんな感じ。

見取り図

https://obsproject.com/ja/download

OBS ダウンロード

OSB のインスト―ル

Windows ユーザーなので、Windows がアクティブな状態で、「ダウンロードインストーラー」をクリック。

OBS ダウンロード 1

インストーラーをダウンロード。

OBS ダウンロード 2

ダウンロードしたファイルを、ダブルクリックして実行。

OBS ダウンロード 3

OBS install 1

OBS install 2

インストール先を指定してもいいし、別にそのままでもOK です。

OBS install 3

OBS install 4

完了です。
このまま、OBS を起動します。

OBS install 5

OSB の起動

初回起動では、自動構成ウィザードが起動するようです。
使用目的を選択すると、目的に応じた設定に変更してくれるそうで、助かります。

OBS start 1

OBS start 2

設定を適用して完了。

OBS start 3

起動画面。

OBS start 4

画面の合成

画面出力を「ソース」として定義すると、OBS に取り込まれます。

OBS へソースとして取り込むの図
VTube Studio を取り込み

先に、VTube Studio を起動しておきます。

ソース画面のプラスボタンを押します。

OBS sorce 1

ゲームキャプチャをクリック。
※ウインドウズキャプチャだとうまくいかないです。

OBS sorce 2

新規作成にチェックを入れて、任意の名前を決めます。

OBS sorce 3

  • モードを「特定のウィンドウをキャプチャ」に設定します。
  • ウィンドウ 欄をクリックして、リストから「VTube Studio」を選択します。
  • 「透過を許可」にチェックを入れます。

上記の3つを実施すると、
画面がプレビューされますので、確認してOK をクリックします。

OBS sorce 4

VTube Studio の方の背景設定を「カラーピッカー」にして、透過をオンにすると背景が透過されます。

OBS sorce 5

一度ソースを作成すると、設定がのこり、認識された時点で自動的に取り込んでくれます。

そのほかのソースを取り込み

同じような要領で、適当にキャプチャしましょう。

OBS sorce 6

リモートデスクトップ接続を取り込んでみます。

OBS sorce 7

ウィンドウの一覧から、起動中のリモートデスクトップ接続を選択。

OBS sorce 8

OK を押すと画面が合成されます。

サイズを変更したり、ソースの順番を変更します。
※画面が重なっている場合に、順位が上のソースが優先して表示されます。

OBS sorce 9

合成完了です。

録画か、配信スタートです。

OBS sorce 10

配信設定、録画設定は、ファイル >「設定」を開いて、各種タブで設定できます。

OBS sorce setting 1
OBS sorce setting 2
OBS sorce setting 3

動画の音声でリップシンクさせたい。

リップシンクは、マイクの音声に合わせて口がパクパク動く機能の事です。
できれば、マイクの音声ではなく、録画の音声に合わせてパクパクさせたい。

VOICEVOX:春日部つむぎ

以前に作成した動画につむぎちゃんバージョンとして焼き直ししました^^

仮想ミキサーを使えば、デスクトップ音声をリップシンクの入力に使えるとの事。

3teneを使って合成音声でリップシンクさせるのと、OBS Studioの同期オフセットを調整して声とリップのタイミングを合わせる実験をしてみました。

同じこと考える人はいますね。大変参考になりました。
助かります!ありがとうございました。

仮想ミキサーのインストール

下記のサイトから、Voicemeeter を入手。
スピーカーの音声をマイク入力として流したいだけなので、簡単そうなヤツで。

https://vb-audio.com/Voicemeeter/index.htm

インストーラーを実行。

インストーラーが起動してきます。

すぐにインストールが終わりました。

リップシンクの設定。

こういうイメージでバーチャル配線します。

OBS に入力した動画の音声トラックをモニターに出力、
VTubeStudio のマイク入力にバイパスするイメージです。

OBS の設定。

VB-Audio VocieMeeter VAIO というデバイスが増えているので、Input をOBS のモニタリングデバイスに設定します。
OBS が拾った音をモニタリングするデバイスを「VoiceMeeter Input(VB-Audio VocieMeeter VAIO)」に設定して、モニターの出力先を仮想ミキサーのインプットになるように設定します。

※ファイル >設定 >音声タブ

VTube Studio の設定。

マイクの入力にVB-Audio VocieMeeter VAIO のOutput を設定します。

マイクを使うにチェック、マイクプレビューにもチェックを入れておくと、
下の結果パラメータのプレビューが音に反応して動くので、入力の確認に役立ちます。

もう一か所、口パクパクのパラメータをフェイストラッキングではなく、
「VoiceVolume(マイクのボリューム)」に連動するように設定します。

動画の取り込みとモニター出力の設定

ムービーは、「メディアソース」で取り込みます。

ソース名を適当に決めてOK をクリック。

メディアファイルを選択してOK をクリックします。
これで動画がソースとして取り込まれます。

オーディオの歯車マークをクリックし、プロパティを開きます。

メディアソースの音声がモニタリングされるよう(モニターと出力)に設定します。
モニター出力は、VTube Studio にマイク入力として取り込まれます。

動画を再生すると、音声に合わせてつむぎちゃんの口がパクパクしてくれます。

録画する時は、デスクトップはミュートしておきましょう。
両方録音されてハモってしまいます。

以上です。

(Visited 534 times, 1 visits today)

コメントを残す

メールアドレスが公開されることはありません。