SeaGate Reloaded

AIしげちゃん（スマホ版）Ver 2.0 ができたので、お約束通り、VR版（Meta Quest 2版）もバージョンアップして、VR空間の「しげちゃん」に会いに行ってきました。 前回 と違って表情や身振りもあるので、大きな空間でも多少は見栄えがします。でも、まあ、結局最後は「しげちゃん」をぶん投げるんですけどねw

「しげちゃん」のアバターは、見ての通りw 自作なので、いろいろ設定を間違えているところもあって、騙しだまし動かしていたんだけど、 BlendShapeの設定等を見直し て、ようやく ChatdollKit のサンプルで実装されていた機能がほぼ全て動くようになったので、Ver 2.0としてビルドした。 回答内容によって顔の表情が変わったり、gpt-3.5-turbo-0613 の Function Calling によって、お天気の情報なんかも教えてくれるようになったので、APIを ChatGPT-4 に切り替えれば、もう、本物の「しげちゃん」は要らないかもしれないなあ...

VRM形式のアバターのBlendShape（シェイプキー）を見直し中。 初めに作った時は、目・鼻・口・上顎・下顎・舌のシェイプキーを分けて作っていなかったので、表情のアニメーション時に支障が出ることがあり、分けることにした。 ニュートラル 喜（JOY） 怒（ANGRY） 哀（SORROW） 楽（FUN） 驚（SURPRISED）

OpenAI APIがアップデートして、 GPT-4、GPT-3.5の0613版がリリース されました。 ユーザーの入力に応じて適切な外部の関数を呼び出すことができる仕組みで、ChatGPTが苦手なリアルタイムの情報等を、別のAPIに問い合わせた結果を元に答えさせることができるとのこと。 で、 ChatdollKit でも、gpt-3.5-turbo-0613 の Function Calling を利用して、外部の天気予報APIから指定した都市の天気を回答するサンプルが実装されたので、「AIしげちゃん」に組み込んでみました。 gpt-3.5-turboでは天気に関する話をしても、天気予報にはアクセスできないの一点張りだけど、gpt-3.5-turbo-0613では「東京は晴かな？」とか、会話の続きで「大阪はどうかな？」と言っても、ちゃんと天気予報を返してますね。偉い子w

Automatic1111/stable-diffusion-webui用のMov2mov拡張機能 を使用して、少し前に流行っていた、既存の動画を元にAI動画を生成してみました。 「白いTシャツを着た、ポニーテールの若い日本人女性」といった感じのプロンプトを与えていますが、表情はほとんど変わらないのに、服は時々ブラウスに入れ替わったりして、一貫性があるのかないのか、なかなか難しいな。。。

いつの間にか、Andoid版のGoogleマップで イマーシブビュー が使えるようになってました。大阪でもいくつか見れますね。気が付かなかった...

前回 は顔の3DメッシュからMetaHumanを自動的に作成する Mesh to MetaHuman を試しましたが、今回はiPhoneの「 Live Link Face 」アプリを使用して自分の顔・表情をキャプチャし、自分自身に似たキャラクターの作成を試してみました。 iPhoneで顔・表情のアニメーションをキャプチャし、Unreal Engineに取り込んでからは、前回の Mesh to MetaHuman とほぼ同じ手順です。 やはり、似てないですねw でも、前回より日本人ぽくなりました。ただ、自分自身には似ていませんが、叔父さんの若い頃に似てる気がします。骨格が似てるからかなあ? MetaHuman Animator は、本来、高品質のフェイシャル アニメーションをiPhone等の簡単な機材だけで作れる優れものですが、今回はキャラクターの作成のみに使用しました。

OpenAIが発表した、テキストや画像から3Dモデルを生成するオープンソースのAI「 Shap-E 」を試してみました。 AUTOMATIC1111の拡張機能（ Stable Diffusion WebUI Txt/Img To 3D Model ）を使用して、画像から3Dモデルを作成してみます。 作成元の犬（コーギー）の画像 作成された3Dモデル（OBJ形式） 作成された3Dモデル（OBJ形式）をBlenderにインポートしてカラー表示するには、「オブジェクトモード」を「頂点ペイント」に変更する必要があります。 幼児の粘土細工のようですが、自然言語や画像のような大量の学習は難しそうなので、今のところはこの程度なんでしょう。 しかし、今後、学習量が増えたら精度の高い3Dモデルも生成できるのではないかと、期待が膨らみますね。人間だって、練習しないと上達しませんから。

顔の3Dモデルのメッシュを元に、似た顔のMetaHumanを自動的に作成してくれる Mesh to MetaHuman で、自分自身に似たキャラクターの作成を試してみました。 Avatar SDK で写真から顔の3Dモデルを作成 Track Active Frameで目・唇・ほうれい線を指定 Mesh To MetaHumanでMetaHumanの生成 この時点で既に元の顔写真とは全然に似てねー！ まあ、Avatar SDK自体テクスチャで胡麻化してるところ大だしね MetaHuman Creator で肌・髪・目等を調整 全く別人、日本人っぽくなくなってしまいました... Unreal Engineに召還してみましたが、誰？って感じw

いろいろ調整して、ようやく顔面にフィットした 後半は歓喜の踊り💃 ダンスをしても落ちないよw https://skfb.ly/oHVSB

どうせ買わない？買えない？ので、バーチャルの世界でかぶってみることにした。 けど、なかなか顔面にフィットしないので、ちょっと苦しんでるwww https://skfb.ly/oHVSB

「これって何でレンダリングしたの？」「えーっと、Stable Diffusion」っていう日が来るかもね... まあ、来ないと思うけどw

ハンドトラッキングで物をつかんで投げるのは難しそうなので、普通にTouchコントローラーで「 AIしげちゃん VR 」をつかんで投げてみました。順番が後先ですがw まあ、それだけと言えばそれだけですが、いずれは、「しげちゃん」と言葉（ChatGPT）以外でのコミュニケーションできるようにしたいなあ...

Metaから Quest 3の今秋発売 が発表され、AppleからもXRデバイスの発表がありそうですね。 また、XR関連が少し盛り上がるかも知れないので、しばらく遠ざかっていた Meta Quest 2でのアプリ作成（と言うほどのものでないけれど）を思い出すため、XR開発の基礎を復習中。 Quest 2発売当時からはいろいろ変わっていて、開発環境の構築に手間取りましたが、その分、SDKもUnityも便利な機能が増えて開発がしやすくなりました。 前回の「 AIしげちゃん VR 」を触ってみたくて、ハンドトラッキングを試しましたが、自分の手を表示して、物体を押したりするだけならとても簡単。指の動きも条件が良ければかなりきれいにトラッキングできています。 でも、ハンドトラッキングで物をつかんだりするのは難しそう...

西宮の森永乳業の工場跡地に ポップサーカス というサーカス団がテントを張って興行をやっているので、家族で見に行ってきました。 近くで見ると大きなテントでワクワクしますね。サーカスを見るのは子供の時に木下大サーカスを見て以来、50年振りくらいじゃないだろうか... 子供の時に見たサーカスとは少し違って、世界中のパフォーマーが繰り広げる エンターテインメントショー、パフォーマンスでした。 コロナ禍で団員の皆さんもとても苦労したようですが、素晴らしいパフォーマンスを見せてもらって、とても楽しい時間を過ごせました♪

今度は Twimotion でレンダリング。Enscape とはまた少し雰囲気が変わりますね。

大阪で「マルビル」と言えば こちらですが、1976年の竣工で、長らく大阪・梅田のランドマークでしたが、今では高層ビルに取り囲まれて、すっかり影が薄くなってしまいました。 5月末で閉館、夏からは解体されて新しいビルに建て替えられるということで、何か記念に残しておこうかなと思って、 2007年頃に作成した大阪・梅田界隈の建物モデル + PLATEAU をEnscapeでレンダリング。 しばらく大阪を離れていたこともあって、昔からある馴染の古いビルがなくなっていくのは少し寂しいですね。