SeaGate Reloaded

以前のバージョン では、音声認識・合成にGoogle Cloud Speech APIを使用してたんだけど、落ち着いた大人の女性の声って感じだったので、音声認識・合成周りを Microsoft Azureの音声サービス に変更した。 今度は、アバターの外見より少し幼い感じの声になってしまったけど、妹設定としてはまあまあ良い感じになったんじゃないかなw

いつも、おじさん だと何なので、アバターを差し替えて、声を女性に。 ChatGPT のキャラクター設定を変更すれば、サブカルチャーに詳しくカワイイものが大好きな、妹設定の少女型のアンドロイドのAIチャットボットのできあがり。 まあ、妹設定の割には、落ち着いた声だけどねw

AIしげちゃん（スマホ版）Ver 2.4 をバージョンアップしたばかりだけど、いろいろ機能を増やしたせいでUIが混乱してしまったので、少し整理した。 マイクボタンを押すと音声入力待機状態になったり、アイドル時に独り言を喋ったり、ポーズを取ったりするようにしたのは、簡単にデモができるようにするため。 人に見せる時、取り敢えずサクッと「AIしげちゃん」が喋ったりしてくれないと間が持たないので、独り言を言う機能を専用のボタンに割り当てて、動作・表情はアバターをタッチした時に行うように変更した。 これで、ワンタッチで喋ったり動いたりしてくれるので、デモしやすくなったねw  しかし、大阪の天気予報を聞くと、大阪弁で回答するChatGPTはお茶目だね。

スマホ版 AIしげちゃん を Ver 2.4 にしたので、しばらく放置していたMeta Quest 2版も、アイドル中に独り言を喋ったり、勝手にアクションをするようバージョンアップした。 Quest 2もAndroidなので、移植自体はそんなに難しくないんだけど、入力デバイスの扱いがスマホと違うので、よくわからなくて実装できなかった。 ホントは、ボタンを押すと喋ったり、表情を変えたりとかしたかったんだけど。ちょっと勉強しないとね。。。

生成AI(GPT-3.5/4)と音声認識・合成(Google Cloud Speech)により、VRM形式の3Dアバターと音声対話できるスマホアプリ 【基本機能】 音声による質問を認識し、生成AIの回答を音声で話す 生成AIの回答等に応じて3Dアバターの表情や動作が変わる 【追加機能】 生成AIの回答を音声だけでなくテキストウインドウでも表示 気象庁の気象情報APIを利用し、指定した地域の天気予報等を答える 環境センサーと連携し、温湿度の値や不快指数等を答える スマートリモコンと連携し、部屋の照明や家電製品を制御する ウェイクワード(起動音声コマンド)の代わりにマイクボタンをタッチすることで、音声入力待機状態にできる 音声入力待機時に待機ウィンドウをクリックすると、プリセットされた質問をランダムに行い、生成AIに回答させることができる アイドル時にプリセットされた独り言をランダムに喋る。 3Dアバターをクリックすると、プリセットされた独り言をランダムに喋らせることができる タイトルをタッチするとプリセットされた動作をランダムに行う。 ChatdollKit をベースにさせていただき、いくつか機能を追加して、概ねやりたかったことはできたので、ほぼ完成版かなw

Googleローカルガイド の特典で Googleストア の15%割引クーポンもらったので、 Pixel 6a は娘にあげることにして Pixel 7a を買った。 折しも Google創立25周年記念キャンペーン 中だったので、限定トートバックもついてきた。うれしいね～🎁 しかし、Pixel 6aと7aは見た目も重量もほとんど一緒なので目新しさがないなあ... で、早速 Pixel 7aに「 AIしげちゃん 」をインストールしようとしたら、エラーが出てインストールできない。どうもPixel 7以降は64bitアプリしか利用できなくなったらしく、「AIしげちゃん」も64bitアプリとしてリビルドしたら無事動いた。よかった～😆 Tensoe G2チップのおかげか「AIしげちゃん」もきびきび動いている気がするw

「 AIしげちゃん 」に話しかける前のウェイクワード（iPhoneの「Hey Siri」とか、Googleの「OK Google」みたいな音声コマンド）の代わりに、スクリーンのタイトル部分をタッチすれば、リスニング状態に切り替わるようにした。 いちいち「こんにちわ～」とか呼び掛けてから話すのは面倒くさいし、ちょっと恥ずかしいので... それから、 こちらを参考 に、「 AIしげちゃん 」がアイドル状態の時、独り言を喋る機能も追加した。こちらから話し掛けない限り喋ってくれないので、ちょっと寂しかったからw もっとも、あらかじめ定義してある言葉をランダムに喋っているだけだけどね。

少し前からGPT-4 APIが使えるようになってたんだけど、ようやく「 AIしげちゃん 」で試してみた。 ついでに、気象データの取得先を気象庁の天気予報JSONに変更したり、仕事部屋に設置している環境センサーの値と不快指数を答えられるようにしたり、照明だけでなく扇風機やLEDテープライト等のオン・オフも制御できるようにしたので、ますます、しげちゃん はできる子になったなあw こうやって会話を見ると、GPT-4は3.5に比べて感情が豊かな気がする。ただ、GPT-4 APIの単価は高いので、「AIしげちゃん」のデモ程度なら当面はGPT-3.5のママでいいかなあ...

取り敢えず AIチャットボット（AIしげちゃん）の改造 が終わりまして、ChatGPTのFunction callingを利用して、スマートリモコン（Nature Remo）経由で部屋の照明がオン・オフができるようになりました。 今までは会話しかできませんでしたので、家の中の家電製品も操れるようになって、ちょっとだけ実用的になりましたかね。 まあ、会話の部分に関してはChatGPTなので、今でも十分、GoogleアシスタントやAlexaよりは優秀ですけどね。

Android版AIしげちゃん を、ChatGPTのFunction callingを利用して、スマートリモコン（ Nature Remo ）経由で部屋の照明がオン・オフができるように改造中。

AIしげちゃん（スマホ版）Ver 2.0 ができたので、お約束通り、VR版（Meta Quest 2版）もバージョンアップして、VR空間の「しげちゃん」に会いに行ってきました。 前回 と違って表情や身振りもあるので、大きな空間でも多少は見栄えがします。でも、まあ、結局最後は「しげちゃん」をぶん投げるんですけどねw

「しげちゃん」のアバターは、見ての通りw 自作なので、いろいろ設定を間違えているところもあって、騙しだまし動かしていたんだけど、 BlendShapeの設定等を見直し て、ようやく ChatdollKit のサンプルで実装されていた機能がほぼ全て動くようになったので、Ver 2.0としてビルドした。 回答内容によって顔の表情が変わったり、gpt-3.5-turbo-0613 の Function Calling によって、お天気の情報なんかも教えてくれるようになったので、APIを ChatGPT-4 に切り替えれば、もう、本物の「しげちゃん」は要らないかもしれないなあ...

前回 は顔の3DメッシュからMetaHumanを自動的に作成する Mesh to MetaHuman を試しましたが、今回はiPhoneの「 Live Link Face 」アプリを使用して自分の顔・表情をキャプチャし、自分自身に似たキャラクターの作成を試してみました。 iPhoneで顔・表情のアニメーションをキャプチャし、Unreal Engineに取り込んでからは、前回の Mesh to MetaHuman とほぼ同じ手順です。 やはり、似てないですねw でも、前回より日本人ぽくなりました。ただ、自分自身には似ていませんが、叔父さんの若い頃に似てる気がします。骨格が似てるからかなあ? MetaHuman Animator は、本来、高品質のフェイシャル アニメーションをiPhone等の簡単な機材だけで作れる優れものですが、今回はキャラクターの作成のみに使用しました。

顔の3Dモデルのメッシュを元に、似た顔のMetaHumanを自動的に作成してくれる Mesh to MetaHuman で、自分自身に似たキャラクターの作成を試してみました。 Avatar SDK で写真から顔の3Dモデルを作成 Track Active Frameで目・唇・ほうれい線を指定 Mesh To MetaHumanでMetaHumanの生成 この時点で既に元の顔写真とは全然に似てねー！ まあ、Avatar SDK自体テクスチャで胡麻化してるところ大だしね MetaHuman Creator で肌・髪・目等を調整 全く別人、日本人っぽくなくなってしまいました... Unreal Engineに召還してみましたが、誰？って感じw

ハンドトラッキングで物をつかんで投げるのは難しそうなので、普通にTouchコントローラーで「 AIしげちゃん VR 」をつかんで投げてみました。順番が後先ですがw まあ、それだけと言えばそれだけですが、いずれは、「しげちゃん」と言葉（ChatGPT）以外でのコミュニケーションできるようにしたいなあ...

Metaから Quest 3の今秋発売 が発表され、AppleからもXRデバイスの発表がありそうですね。 また、XR関連が少し盛り上がるかも知れないので、しばらく遠ざかっていた Meta Quest 2でのアプリ作成（と言うほどのものでないけれど）を思い出すため、XR開発の基礎を復習中。 Quest 2発売当時からはいろいろ変わっていて、開発環境の構築に手間取りましたが、その分、SDKもUnityも便利な機能が増えて開発がしやすくなりました。 前回の「 AIしげちゃん VR 」を触ってみたくて、ハンドトラッキングを試しましたが、自分の手を表示して、物体を押したりするだけならとても簡単。指の動きも条件が良ければかなりきれいにトラッキングできています。 でも、ハンドトラッキングで物をつかんだりするのは難しそう...

この間から いろいろ試している、 ChatdollKit ベースのChatGPTによるAIチャットボット「AIしげちゃん」をMeta Quest 2用にビルドし直して、Quest 2単体でVR空間の「AIしげちゃん」と会話できるようにしました。 まあ、いろいろ苦労しましたが、とりあえず動いているのでデモ用としては満足w でも、「しげちゃん」はVRM形式のアバターとしてはいろいろ問題があるので、ちょっと作り直したいんですけどね。それと、スマホ用に作ってたので、VRだと動きが乏しいので、アクション付けたい。

調子に乗ってw  ARCore Geospatial Creator for Unity でAndroid用のARアプリをビルドして、駅前にTAROMAN置いてみました。 Unityで駅前にTAROMANを配置してARアプリをビルド 実際の駅前でARアプリで眺めても、開発環境とほぼ同じ Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。

先日のGoogle I/O 2023で公開された、 ARCore Geospatial Creator for Unity でARコンテンツを作成してみました。 Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。 今回はオクルージョンのテストもしてみました。この辺りは PLATEAU のデータがないので、自前で遮蔽物となる3D建物モデルを用意したのもあって、ちょっとズレてしまいましたが、ちゃんと建物の後ろに隠れて表示されています。 ARCoreの Streetscape Geometry API も試してみたいですね。

「AIしげちゃん」バージョンアップ中。 ChatdollKit  で公開されている ChatGPTStreamSkill.cs を組み込むことで、ChatGPTの応答・音声合成が速くなった。 合わせて、ChatGPTの応答を、句点ごとに区切ってウィンドウ表示するようにしたので、読みやすくなったかな。