SeaGate Reloaded

HMDを被った自分そっくりなサイバー世界のアバターを、HMDを被ったリアル世界の本人が操作しているところ。これぞ正にヒューマン・デジタルツイン...でしょ😅

自分の顔のアバターでいろいろ遊んでますが、この顔でメタバース界隈をうろつくのは恥ずかしいので、Meta Quest 2を被せてたりしてる。 でも、手ぶらだと変な感じなので、タッチコントローラーを持たせることにした。でも、まあ、どっちにしても変かなあ...😅

身体の動作確認ができた ので、今度はシェイプキーで表情の作成。漫画チックなお顔なので、リアルなアバターよりは楽だね。

太陽の塔のリギングとスキ二ングが、ざっくりと出来たので、動作テスト。胴長短足なのであちこち破綻しているけど、思いのほかいい感じで動いてるかも♪

太陽の塔にボーンを仕込んでいるところ。うまく動くかなあ。。。

相変わらずですが、アバターにダンスを踊らせる手順がこなれてきたので、NO MORE 映画泥棒の カメラ男 をリメイク。

しつこく遊んでますが、若干修正して リメイクしました。 こちらは、かまいたちの濱家さんのダンス映像を解析してモーションを生成したので、ちゃんとしたモーションキャプチャ・データと違って うまく踊れてないけど、どうしても もう一度 、いくちゃんと踊ってみたかったのでw

パリピ孔明OP「チキチキバンバン」踊ってみた。金曜の夜は パーリーナイト🕺 公開されているFBXデータ を自分のアバターのボーンにRemapしてみたけど、さすがにモーションキャプチャしたデータは滑らかに動くね～

ついに、僕の分身のアバターも、表情と手・指、声を手に入れた！ しかし、AIで高品質のコンテンツが生成できる時代だからこそ、デジタルなのに 手作り感、コレジャナイ感 溢れるコンテンツに、味わいを感じるようになるかもね 😅

以前 試した Plask で動画ファイルの映像から BVH形式のモーションデータを生成し、自分自身のリアルアバターに適用して、ハマいくの「ビートDEトーヒ」踊ってみたよ。 いくちゃんと一緒に踊れる日が来るとは。。。うれしいなあ💓

前回 、顔・目・口等に設定したシェイプキーを、 VRM Blend Shape Proxy でグループ化して、アバターの表情を変えるテスト。視線に合わせて、目玉も動くようになった。 いろいろ突っ込みどころ満載だけど、一応、これで最低限アバターに必要な機能は実装できたかな。 しかし、テクスチャを貼ると、とたんに不気味の谷に落ちるなあ。簡易作成の限界か。リアルアバターだと特に難しいね。。。

リアリスティックなアバターの表情を作るのは難しいね。。。

昨日 の続き。トトロと一緒に、ネコバスを待っているところ。 決して、毎日遊んでいるわけではありません。夜間、休日にシコシコとやっていた作業を、小分けにして放出しているだけですので。。。😅

アバターからCG用の人物添景が比較的簡単に つくれるようになった ので、カオナシと一緒に電車に乗ってみた。 もう、ジ〇リパークには行かなくてもいいね😅

VRM形式のアバターを簡易的に作る手順が確立出来たので、メタバースだけじゃなく、CGの人物添景に流用できれば一石二鳥と思っていろいろ試してた。 FBXファイル等で書き出せば、 Twinmotion 等に取り込むことは出来るのだけど、一番大変なのはアバターのポージングなので、 Mixamo やBVH等の既存のモーションをアバターのリグにリマップして、手直しする方法に落ち着いた。 一から手動でポーズを付けるよりも楽。 Mixamo からダウンロードしたマネキンとj自作のアバターがシンクロして動くのが面白い。 でも、 Twinmotion 等ではモーション付きの人物添景をインポートしても、今のところ静止ポーズになっちゃうのが残念。。。

VRM形式の人型アバターの作成と編集、操作の手順を確立したくて、色々テストしている過程でできた副産物。リアルアバターの ミャクミャク様コス 😅 WebカメラによるフェイストラッキングとLeap Motionによるハンドトラッキングで操作できるようにしたけど、表情の実装が課題。こればっかりは、地道にやるしかないかなあ。。。

Blenderでアバターを少しブラッシュアップ。少し手馴れてきた気がする。 VRM Add-on for Blender で、VRMファイルを直接エクスポートできるようになったので、Unityに持っていかなくてもよくなり、めっちゃ楽。今のところ、大きな不具合もないようだし。 で、作ったアバターで遊んでみた。「S君、それは駄目だなあ」「そうですか？参りましたねえ」みたいな😅 アバターに目隠し入れるのもなんですが。

再び、 Twinmotion で水の表現のテスト。 カオナシが線路をとぼとぼ歩くシーンを作りたかったのですが、さすがに、 Twinmotion だけだと難しいですね。 それと、水と半透明のテクスチャは相性が悪かった。。。

ハロウィンの夜は、渋谷に遊びに行ってました。と言っても、 バーチャルの方 ですけど。正直、普段はあまり人がいませんが、ハロウィンはイベントもあるし、アバター姿がハロウィンの仮装と重なるせいか、そこそこの人出でした。 平日の夜であまり遊んでる時間はなかったのですが、作り溜めてきたアバターをとっかえひっかえして、練り歩いてきましたよ。みんなそれぞれ自慢のアバターで参加していて、お互いに見せ合いっこして、楽しかったです😅