SeaGate Reloaded

スマホ版 AIしげちゃん を Ver 2.4 にしたので、しばらく放置していたMeta Quest 2版も、アイドル中に独り言を喋ったり、勝手にアクションをするようバージョンアップした。 Quest 2もAndroidなので、移植自体はそんなに難しくないんだけど、入力デバイスの扱いがスマホと違うので、よくわからなくて実装できなかった。 ホントは、ボタンを押すと喋ったり、表情を変えたりとかしたかったんだけど。ちょっと勉強しないとね。。。

AIしげちゃん（スマホ版）Ver 2.0 ができたので、お約束通り、VR版（Meta Quest 2版）もバージョンアップして、VR空間の「しげちゃん」に会いに行ってきました。 前回 と違って表情や身振りもあるので、大きな空間でも多少は見栄えがします。でも、まあ、結局最後は「しげちゃん」をぶん投げるんですけどねw

いろいろ調整して、ようやく顔面にフィットした 後半は歓喜の踊り💃 ダンスをしても落ちないよw https://skfb.ly/oHVSB

どうせ買わない？買えない？ので、バーチャルの世界でかぶってみることにした。 けど、なかなか顔面にフィットしないので、ちょっと苦しんでるwww https://skfb.ly/oHVSB

ハンドトラッキングで物をつかんで投げるのは難しそうなので、普通にTouchコントローラーで「 AIしげちゃん VR 」をつかんで投げてみました。順番が後先ですがw まあ、それだけと言えばそれだけですが、いずれは、「しげちゃん」と言葉（ChatGPT）以外でのコミュニケーションできるようにしたいなあ...

Metaから Quest 3の今秋発売 が発表され、AppleからもXRデバイスの発表がありそうですね。 また、XR関連が少し盛り上がるかも知れないので、しばらく遠ざかっていた Meta Quest 2でのアプリ作成（と言うほどのものでないけれど）を思い出すため、XR開発の基礎を復習中。 Quest 2発売当時からはいろいろ変わっていて、開発環境の構築に手間取りましたが、その分、SDKもUnityも便利な機能が増えて開発がしやすくなりました。 前回の「 AIしげちゃん VR 」を触ってみたくて、ハンドトラッキングを試しましたが、自分の手を表示して、物体を押したりするだけならとても簡単。指の動きも条件が良ければかなりきれいにトラッキングできています。 でも、ハンドトラッキングで物をつかんだりするのは難しそう...

この間から いろいろ試している、 ChatdollKit ベースのChatGPTによるAIチャットボット「AIしげちゃん」をMeta Quest 2用にビルドし直して、Quest 2単体でVR空間の「AIしげちゃん」と会話できるようにしました。 まあ、いろいろ苦労しましたが、とりあえず動いているのでデモ用としては満足w でも、「しげちゃん」はVRM形式のアバターとしてはいろいろ問題があるので、ちょっと作り直したいんですけどね。それと、スマホ用に作ってたので、VRだと動きが乏しいので、アクション付けたい。

調子に乗ってw  ARCore Geospatial Creator for Unity でAndroid用のARアプリをビルドして、駅前にTAROMAN置いてみました。 Unityで駅前にTAROMANを配置してARアプリをビルド 実際の駅前でARアプリで眺めても、開発環境とほぼ同じ Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。

先日のGoogle I/O 2023で公開された、 ARCore Geospatial Creator for Unity でARコンテンツを作成してみました。 Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。 今回はオクルージョンのテストもしてみました。この辺りは PLATEAU のデータがないので、自前で遮蔽物となる3D建物モデルを用意したのもあって、ちょっとズレてしまいましたが、ちゃんと建物の後ろに隠れて表示されています。 ARCoreの Streetscape Geometry API も試してみたいですね。

「AIしげちゃん」バージョンアップ中。 ChatdollKit  で公開されている ChatGPTStreamSkill.cs を組み込むことで、ChatGPTの応答・音声合成が速くなった。 合わせて、ChatGPTの応答を、句点ごとに区切ってウィンドウ表示するようにしたので、読みやすくなったかな。

昨日はオフにした分、今日は一日がっつりお仕事。息抜きに、新たな展示室が公開された 東京国立博物館バーチャル展示「 エウレカトーハク！◉８９ 」をMeta Questで覗いてきた。 前回 はメタバース内で映像を眺めるだけだったけど、今回は国宝の「松林図屛風」「八橋蒔絵螺鈿硯箱」の世界に入り込んで体験できるようになっていて、バーチャルならではの仕掛けがあってよかった。 で、2枚目の参加証明NFTをもらったよ。

今日も一日、仕事部屋兼XR部屋に籠ってお仕事。ここのところ週末に仕事を持ち帰らないと、こなせなくなってるなあ。。。 で、仕事の息抜きに、東京国立博物館創立150年記念バーチャル展示「 エウレカトーハク！◉８９ 」をMeta Quest 2で覗いてきた。 展示は3部構成になっていて、段階的に公開されるらしいので、まだ、第1部しか見られなかったけど、来場記念のNFTがもらえた。初めてのNFTだ。

今週末は、某業界団体の資料作りでがっつりお仕事。仕事部屋兼XR部屋にずっと籠ってたんだけど、運動不足になりそうなので、仕事の合間に「OhShape」「Beat Saber」「Racket: Nx」でVRフィットネス。 東京のワンルームマンションでは2m×2mのスペースの確保が難しかったけど、自宅の仕事部屋兼XR部屋ならそれくらいのスペースは確保できるので、安心して運動できる。 でも、VRフィットネスに熱中しすぎて、仕事が中途半端になってしまった。体も痛くなりそうだし、月曜日がやばいなあ。。。

アバター WoW の余韻もあってか、以前も少し紹介しましたが、 「theBlu」 という、海底の様子を眺める（だけの）VRコンテンツで現実逃避しておりました。 この間の「Aircar」 と同様、PC用のVRコンテンツですが、新PCになって高画質でなめらかに動くようになったので、没入感も旧PCより数段上で、ただただ、ぼんやりと。。。

今日は、新PC環境で Meta Quest 2の Link/Air Link環境を整備した。旧PCの GTX 1660Ti では不安定でかろうじて動いてるって感じだったけど、新PCでは非常に安定して動作する。通信環境はほとんど変わらないので、やはりグラボの威力は絶大だね。 で、サイバーパンクな世界観が好きなVRゲーム 「 Aircar 」で少し遊んでみたけど、高画質かつ滑らかに動くので、没入感が半端ない。 動作が安定していて気軽に試せるので、しばらく遠ざかっていたPC-VRをまたプレイしたくなった。でも、まあ、そんなことしてる時間ないかあ。。。

HMDを被った自分そっくりなサイバー世界のアバターを、HMDを被ったリアル世界の本人が操作しているところ。これぞ正にヒューマン・デジタルツイン...でしょ😅

アバターからCG用の人物添景が比較的簡単に つくれるようになった ので、カオナシと一緒に電車に乗ってみた。 もう、ジ〇リパークには行かなくてもいいね😅

VRM形式のアバターを簡易的に作る手順が確立出来たので、メタバースだけじゃなく、CGの人物添景に流用できれば一石二鳥と思っていろいろ試してた。 FBXファイル等で書き出せば、 Twinmotion 等に取り込むことは出来るのだけど、一番大変なのはアバターのポージングなので、 Mixamo やBVH等の既存のモーションをアバターのリグにリマップして、手直しする方法に落ち着いた。 一から手動でポーズを付けるよりも楽。 Mixamo からダウンロードしたマネキンとj自作のアバターがシンクロして動くのが面白い。 でも、 Twinmotion 等ではモーション付きの人物添景をインポートしても、今のところ静止ポーズになっちゃうのが残念。。。

VRM形式の人型アバターの作成と編集、操作の手順を確立したくて、色々テストしている過程でできた副産物。リアルアバターの ミャクミャク様コス 😅 WebカメラによるフェイストラッキングとLeap Motionによるハンドトラッキングで操作できるようにしたけど、表情の実装が課題。こればっかりは、地道にやるしかないかなあ。。。

Blenderでアバターを少しブラッシュアップ。少し手馴れてきた気がする。 VRM Add-on for Blender で、VRMファイルを直接エクスポートできるようになったので、Unityに持っていかなくてもよくなり、めっちゃ楽。今のところ、大きな不具合もないようだし。 で、作ったアバターで遊んでみた。「S君、それは駄目だなあ」「そうですか？参りましたねえ」みたいな😅 アバターに目隠し入れるのもなんですが。