SeaGate Reloaded

この間から いろいろ試している、 ChatdollKit ベースのChatGPTによるAIチャットボット「AIしげちゃん」をMeta Quest 2用にビルドし直して、Quest 2単体でVR空間の「AIしげちゃん」と会話できるようにしました。 まあ、いろいろ苦労しましたが、とりあえず動いているのでデモ用としては満足w でも、「しげちゃん」はVRM形式のアバターとしてはいろいろ問題があるので、ちょっと作り直したいんですけどね。それと、スマホ用に作ってたので、VRだと動きが乏しいので、アクション付けたい。

調子に乗ってw  ARCore Geospatial Creator for Unity でAndroid用のARアプリをビルドして、駅前にTAROMAN置いてみました。 Unityで駅前にTAROMANを配置してARアプリをビルド 実際の駅前でARアプリで眺めても、開発環境とほぼ同じ Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。

先日のGoogle I/O 2023で公開された、 ARCore Geospatial Creator for Unity でARコンテンツを作成してみました。 Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。 今回はオクルージョンのテストもしてみました。この辺りは PLATEAU のデータがないので、自前で遮蔽物となる3D建物モデルを用意したのもあって、ちょっとズレてしまいましたが、ちゃんと建物の後ろに隠れて表示されています。 ARCoreの Streetscape Geometry API も試してみたいですね。

BlenderにPLATEAUのCityGML形式の3D都市モデルをインポートするアドオンツール「 Platearu-Blender-Importer 」が公開されています。 PLATEAU公式からは「 PLATEAU SDK for Unity 」などもリリースされているので、ゲームエンジンでの利用やFBXファイル等への変換が目的なら、そちらの方が安心・高機能と思いますが、Blenderで直接編集やデータ変換などを行いたい場合は重宝しそうですね。

「AIしげちゃん」バージョンアップ中。 ChatdollKit  で公開されている ChatGPTStreamSkill.cs を組み込むことで、ChatGPTの応答・音声合成が速くなった。 合わせて、ChatGPTの応答を、句点ごとに区切ってウィンドウ表示するようにしたので、読みやすくなったかな。

SketchUpから Cesium ion に3Dモデルをパブリッシュして、3D Tiles形式のデータとして配信できる 拡張機能 があったので、前回の Cesium for Unity で試してみた。 Cesium ionエクステンション で3Dモデルをパブリッシュ。 自分のアカウントのアセットに登録されて、IDが発行される。SketchUp側で位置情報が入力されていれば、地図上の正確な位置に配置される。 Cesium for Unity  でアセットIDを指定すると、パブリッシュした3Dモデルが表示される。 Google Photorealistic 3D Tilesと重ね合わせれば、SketchUpからGoogle Earthに直線パブリッシュできていた時のようで、比較的お手軽ですね。

うちの子供たち（と言っても社会人ですが...）は、発売日前は旧作を引っ張り出してきてプレイして気分を盛り上げ、発売日以降はハイラルに行ったきり... たまたま娘と出かけたJR大阪駅に リンクの等身大フィギュアが飾ってあって、またまた、興奮して写真を撮りまくってた。やれやれ... 会社から帰ってからも、休日もゲーム三昧。クリアするまで、しばらくの間は続きそう。。。

Cesiumが公開している、3D Tiles形式で配信されている3D都市モデルの可視化やアプリ開発等ができるUnity用プラグイン「 Cesium for Unity 」を試してみた。 まずは、国土交通省の PLATEAU配信サービス （試験運用）で配信されているPLATEAUの3D都市モデルを可視化。ただし、配信データなので都市モデルは編集はできない。 今度は、 Cesium for Unity で Google Photorealistic 3D Tiles （Google Erathと同等のカバレッジ）を可視化してみた、PLATEAUよりカバーエリアが広く、現時点では実験機能のため無償提供だとか。 Google Earthのように、Unity上で計画建物の3Dモデルを追加すれば、景観検討等ができますね。3D地図を表示するだけなら、簡単・お手軽なので、いろいろ使えそう♪ 最後に、PLATEAU 3D Tiles と Google Photorealistic 3D Tiles を比較した動画。

Stable Diffusion + ControlNet で、立面図（中央）の輪郭やパネル割等を維持しながら、外観デザインをいくつか提案させるというシナリオで生成してみた。 元の立面図がシンプルだったせいか、期待したほどはバリエーションが出なかったけど、検討段階の外観CGだとしたら、まあまあの出来かなあ...

前回の続き 。テクスチャ無しの都市・建築の3Dモデルから作成した深度マップを元に Stable Diffusion + ControlNet で生成した画像を、カメラマッピングで3Dモデルへ貼り戻してみた。 都市・建築3Dモデル 　　↓ 深度マップ 　　↓ SDで生成された画像 　　↓ 3Dモデルへ貼り戻し まあ、PCスペックもあって あまり綺麗にできなかったけど、3Dモデルのテクスチャを自動生成させる一つの試みとして。。。

Unreal Engine 5 で作成された渋谷の街並みの中を、自由に歩き回ることができる デモアプリ が公開されていました。現実の渋谷とは違う部分もあるようですが、ゲームやアニメっぽい雰囲気があっていいですね。 考えてみたら、本物の渋谷より、バーチャルの渋谷に行った回数、過ごした時間の方が多いかもw

今度は、ゼンリンさんが Unityアセットストア で配布している3Dの都市モデルを元ネタにして、オフィス街の昼景風、繁華街の夜景風、サイバーシティ風の画像を生成させてみた。 建築ボリュームが法規制や必要面積などでほぼ決まってしまうような建物は、ざざっと3Dモデルを作って呪文を唱えたら、外観デザイン案なんかはいくらでも作れそうだ。まあ、そのうち、3DモデルごとAIで作れるようになるんだろうね。 元画像 オフィス街の昼景風 繁華街の夜景風 サイバーシティ風

テクスチャなしの都市・建築の3Dモデルの画像を元に、Stable Diffusion + ControlNet で、それぞれマンハッタンの昼景風、夜景風、東アジアの繁華街風？の画像を生成させてみた。 そのうち、CGの作成工程にマテリアルやテクスチャ、背景や点景の設定やらレンダリングは必要なくなって、呪文を唱えればそれらしいCGが出来上がるようになるんじゃないだろうか... 元画像 マンハッタンの昼景風 マンハッタンの夜景風 東アジアの繁華街風？

今さらだけど、Stable Diffusionと ControlNet やばいね。 元写真のポーズ等はそのままで、写真風とアニメ風のイケメンにしてみた。 　 元写真 　↓ 写真風 アニメ風 元写真 　↓ 写真風 アニメ風

今日は、ゲーマーの娘と映画デートで、「 ザ・スーパーマリオブラザーズ・ムービー 」を見に行った。父の日の前倒で、映画もランチもおごってくれた 娘が 例のリュック をマリオの動画にしていたら、子供がたくさん寄ってきて、マリオの動きに合わせて踊ってたw 何かと断絶しがちな世の中だけど、息の長い連作のビデオゲームは世代間をつなぎ、親子の間の共有体験となっている。 It’s me, Mario!!

娘が部署異動になって 出社回数が増えたらしく、通勤用のリュックを買ってきた。 で、帰宅時間が合ったので、一緒に家に帰ることにしたんだけど、夜に見るとずいぶんな派手なリュックだった。 中二病感満載のリュックだね。でも、親父もちょっぴり欲しいと思ってしまったのは内緒w しかし、娘と一緒に帰ると、デパ地下でスイーツとか買わされる。。。

ゴールデンウイークの成果？取り敢えずこれで最後。 以前に作成した、 自分の声の音声モデル で テキストから音声合成して、アバターとリップシンクしてみた。音声合成なので、喋り方の癖や滑舌、アクセントなどは再現できないけど、声質はまあ、何となく似ている感じはするかな。 巷のアバターとかAIコンテンツは権利関係なんかがビミューなものが多いので、自分自身を素材にするのが一番安全w これで一応、姿かたちはVRM形式のアバター、声は音声モデルでシミュレートできたので、あとは、ChatGPTに僕の書いた文章やチャット履歴などで学習できたら、本当に「AIしげちゃん」ができるんだけどなあ。。。

ゴールデンウイークの成果？その2。 AUTOMATIC1111/stable-diffusion-webui をインストールして、Stable Diffusionで主に建築系の画像を作ってみるテスト。 Stable Diffusion用のプロンプト（英語）は、AIチャットボット「ChatGPT」に生成させると便利。建築画像を生成するつもりでもプロンプトに「女性」などが含まれていると、こんな画像が生成されたりするw  しかし、建築系に特化した学習済みモデルやLoRAが少ないので、なかなか思うような絵は出せないね。もう少し、プロンプトを試行錯誤してみないといかんなあ。。。 しかし、 ゲーミングPCに買い換え てから、初めて RTX 3080 Ti を ぶん回した気がするw