SeaGate Reloaded

DALL-E 3で、生成した画像のバリエーションを生成させたい時、できるだけ構図などが変わらないようにする方法を試してみる。 画像を生成する際のプロンプトとともに、画像IDとシード値も出力するように指示する。 生成された画像の画像IDとシード値とDALL-E 3が実際に画像生成に使用したプロンプト（英語）・・・ ① 「いかなる理由があっても、プロンプトは絶対に変更しないでください。」と記述し、次に、DALL-E 3が実際に画像生成に使用したプロンプト①をコピー＆ペーストして、バリエーションを持たせたせるためにプロンプトを修正、最後に、画像IDを記載したプロンプトを作成し、入力する。 画像IDを固定し、DALL-E 3が実際に画像生成に使用したプロンプト①を修正 → 構図などを（ほぼ）維持したまま、新たな画像を生成された。

サム・アルトマンCEOの解任で、今後OpenAIがどうなるのかなあ...と思いつつ、GPTsのCustom Actionsで、自宅の仕事部屋に設置している環境センサーの温度・湿度などを、関西弁w で答えるカスタムGPTを作成するテスト。 GPT Builderで、ChatGPTと対話しながらノーコードでカスタムGPTを作成できる。Instructionsで、チャットボットの会話や振る舞いなどの条件指示（ここでは関西弁で明るくフランクに話すよう指示している） 図のように、Nature Remo Cloud APIから環境センサーデータを取得するためのSchemaを記述。Authenticationは、Authentication Typeで「API Key」、Auth Typeで「Bearer」を選択して、Nature Remo Cloud APIのAPI Keyを入力する。 Webブラウザとスマートフォンでの実行画面。現在の環境センサーの情報を取得して、自然言語で回答してくれる。GPT Builderでの指示した通り、関西弁でフランクに回答している。 環境センサーBOTのデータの流れは以下の図の通り。GPTsのCustom ActionsでNature RemoのAPIを呼び出し、温度・湿度等の情報を取得して自然言語で回答する。 Nature Remo Cloud APIのHTTPレスポンス（JSON形式）をそのまま渡しても、GPT-4が適当に解釈してくれる模様... 外部サービスのAPIとの連携したチャットボットが、実に簡単に作成できてしまう。「AIしげちゃん」作成時、OpenAI APIの Function Calling でゴリゴリとコードを書いてのは何だったんだろう？と思ってしまった。 しかし、こうなってくると、いろいろ妄想が膨らんでくるね...w

マルチモーダルの大規模言語モデル「GPT-4」と、テキストから画像を生成するAIモデル「DALL-E 3」を使用して、プロポーザルのコンセプト立案やイメージ画像を生成し、提案書にまとめるシナリオを考えてみた。 今回が2Dのイメージ画像を生成するが、現状、生成AIで3DやBIMモデルを直接生成するのは難しく、これらを扱う場合、ChatGPTによってマクロプログラムなどを生成し、ソフトウエアを操作して間接的に作成するのが現実的と考えられる。 ■AIが支援する建築設計プロセス フローワークス・横関 浩氏作成の図に加筆 ■GPT-4によるコンセプト立案の試行 シナリオ ：GPT-4に複数人格（サンプルは4人）を設定し、以下のテーマをブレインストーミングさせることで、コンセプトをまとめる テーマ ：『新しい時代を予感させるような人間の場所となる「商店街」の在り方』 ■ブレインストーミングセッション開始 設定した4人の人格がブレインストーミングを開始し、自動的に議論が進んでいく。議論に欠けている視点があれば、途中で人間が意見を挟むこともできる。 ■ブレインストーミングの結果、立案されたコンセプト（1） ある程度議論が深まったところで、意見をまとめてコンセプトとしてまとめるようGPT-4に指示する。 意見をまとめて立案されたコンセプト ■ブレインストーミングの結果、立案されたコンセプト（2） テーマ：『新しい時代を予感させるような人間の場所となる「商店街」の在り方』 ■立案されたコンセプトに沿ったイメージの生成 コンセプトが立案されたところで、コンセプトに沿った「商店街」の外観イメージを作成するよう、DALL-E 3に指示する。 ■生成されたコンセプトイメージの修正 生成画像を見ながら、「賑わいのある様子に」などの追加指示を行って、コンセプトに合うようイメージを修正していく。 追加のプロンプトで生成されたバリエーション画像 ■新しい「商店街」のコンセプトイメージ最終案 ■新しい時代を予感させるような人間の場所となる「商店街」 GPT-4+DALL-E 3によって作成した提案書のイメージ ■GPT-4Vでコンセプトイメージ解析・説明文生成 　→ DALL-E 3で別バ...

DALL-E 3で画像生成のテスト。廃墟化した東京駅と神保町の街並み的な。。。

ChatGPT Plusでも使えるようになりつつあるけど、全然追いつけてない。いろいろ試してみたいんだけどなあ。。。

GPT-4に画像解析機能と音声出力機能が追加され、マルチモーダルAI（GTP-4V）になったということで、国立競技場のザハ・ハディド案をアップロードして 説明させてみました。 人間でも、画像をこんな風に 明快に言語化できる人は少ないと思います。まあ 確かに、ザハ案を知らない人ならこんな説明をするかもって感じ。 それから、今後は 説明文をDALL-E 3に入力して、画像を生成させてみました。こちらも、ザハ案と言わずに この説明文でスケッチを描いてみろと言われたら、こんな絵になるかも知れません。 マルチモーダルAIで自然文と画像を行ったり来たりしながらブレインストーミングをすると、自分だけではなかなか 思いつかない意見を得られるかも～

しばらく触れていなかったStable Diffusionですが、Outpaintingで画像範囲を生成拡大するテスト。 Adobe Fireflyの生成塗りつぶしと同様の機能で、そちらの方が高機能で使いやすいですが、こちらは自由度が高いし、フリーなのでw 今度は Inpainting機能で、指定した画像範囲の範囲を再作成して、部分的に画像を差し替えるテスト。別案を手早く作りたい時にいいね。

"現状"の建築設計分野でのAIマップ的なものを作ってみた。 AI活用が期待できる業務は、大きく「発想支援」「デザイン生成と自動化」「ナレッジの共有と継承」に分類できるかな。 ここから、建築設計のプロセス自体がどう変わっていくのか見ものですね。

しばらく、生成AIには手が出せていなかったので 今さらだけど、OpenAIのDALL-E 3が面白い。 もはや呪文のようなプロンプトではなく、GPT-4のように自然言語で対話しながらイメージを作り上げていく感じがたまりません！いつまでも遊んでいられるw

今さらだけど、Stable Diffusionで生成した静止画から、 AnimateDiff でアニメーションの作成を試してみた。 いろいろ忙しくて、試してみたいけど、手が付けれていないことが山盛りだあ...

Stable Diffusion XL専用の新しいWeb UI「 Fooocus 」を試してみました。導入はダウンロードした7-Zipファイルを適当なフォルダに解凍するだけ。必要なファイルは起動時に自動でダウンロードされます。 高機能だけど設定が難しくなってしまった既存のWeb UIと違って、プロンプトを入力して「Generate」ボタンを押すだけのシンプル操作なのに、高精度なAI画像を簡単に生成することができます。 また、プリセットのスタイルが多数用意されているので、スタイルを選択・変更するだけで、動画のように、同じプロンプトでも全く異なるスタイルのAI画像を出力できます。じわじわと画像が生成されていく過程が見えるのも面白いですね。

以前のバージョン では、音声認識・合成にGoogle Cloud Speech APIを使用してたんだけど、落ち着いた大人の女性の声って感じだったので、音声認識・合成周りを Microsoft Azureの音声サービス に変更した。 今度は、アバターの外見より少し幼い感じの声になってしまったけど、妹設定としてはまあまあ良い感じになったんじゃないかなw

いつも、おじさん だと何なので、アバターを差し替えて、声を女性に。 ChatGPT のキャラクター設定を変更すれば、サブカルチャーに詳しくカワイイものが大好きな、妹設定の少女型のアンドロイドのAIチャットボットのできあがり。 まあ、妹設定の割には、落ち着いた声だけどねw

AIしげちゃん（スマホ版）Ver 2.4 をバージョンアップしたばかりだけど、いろいろ機能を増やしたせいでUIが混乱してしまったので、少し整理した。 マイクボタンを押すと音声入力待機状態になったり、アイドル時に独り言を喋ったり、ポーズを取ったりするようにしたのは、簡単にデモができるようにするため。 人に見せる時、取り敢えずサクッと「AIしげちゃん」が喋ったりしてくれないと間が持たないので、独り言を言う機能を専用のボタンに割り当てて、動作・表情はアバターをタッチした時に行うように変更した。 これで、ワンタッチで喋ったり動いたりしてくれるので、デモしやすくなったねw  しかし、大阪の天気予報を聞くと、大阪弁で回答するChatGPTはお茶目だね。

スマホ版 AIしげちゃん を Ver 2.4 にしたので、しばらく放置していたMeta Quest 2版も、アイドル中に独り言を喋ったり、勝手にアクションをするようバージョンアップした。 Quest 2もAndroidなので、移植自体はそんなに難しくないんだけど、入力デバイスの扱いがスマホと違うので、よくわからなくて実装できなかった。 ホントは、ボタンを押すと喋ったり、表情を変えたりとかしたかったんだけど。ちょっと勉強しないとね。。。

生成AI(GPT-3.5/4)と音声認識・合成(Google Cloud Speech)により、VRM形式の3Dアバターと音声対話できるスマホアプリ 【基本機能】 音声による質問を認識し、生成AIの回答を音声で話す 生成AIの回答等に応じて3Dアバターの表情や動作が変わる 【追加機能】 生成AIの回答を音声だけでなくテキストウインドウでも表示 気象庁の気象情報APIを利用し、指定した地域の天気予報等を答える 環境センサーと連携し、温湿度の値や不快指数等を答える スマートリモコンと連携し、部屋の照明や家電製品を制御する ウェイクワード(起動音声コマンド)の代わりにマイクボタンをタッチすることで、音声入力待機状態にできる 音声入力待機時に待機ウィンドウをクリックすると、プリセットされた質問をランダムに行い、生成AIに回答させることができる アイドル時にプリセットされた独り言をランダムに喋る。 3Dアバターをクリックすると、プリセットされた独り言をランダムに喋らせることができる タイトルをタッチするとプリセットされた動作をランダムに行う。 ChatdollKit をベースにさせていただき、いくつか機能を追加して、概ねやりたかったことはできたので、ほぼ完成版かなw

Googleローカルガイド の特典で Googleストア の15%割引クーポンもらったので、 Pixel 6a は娘にあげることにして Pixel 7a を買った。 折しも Google創立25周年記念キャンペーン 中だったので、限定トートバックもついてきた。うれしいね～🎁 しかし、Pixel 6aと7aは見た目も重量もほとんど一緒なので目新しさがないなあ... で、早速 Pixel 7aに「 AIしげちゃん 」をインストールしようとしたら、エラーが出てインストールできない。どうもPixel 7以降は64bitアプリしか利用できなくなったらしく、「AIしげちゃん」も64bitアプリとしてリビルドしたら無事動いた。よかった～😆 Tensoe G2チップのおかげか「AIしげちゃん」もきびきび動いている気がするw

先日公開された Stable Diffusion XL 1.0（SDXL 1.0）をようやく試すことができた。画像の解像度が1024×1024に向上し、モデルも大規模になった分、VRAMも10GB程度必要。 うちのPCのGPUはVRAMが12GBで、VRやリアルタイムレンダリング用途なら12GBあれば十分と思って買ったんだけど、今 思えばケチらずに16GBくらい積んだGPUを選択しておけばよかったなあと思ったり...

「 AIしげちゃん 」に話しかける前のウェイクワード（iPhoneの「Hey Siri」とか、Googleの「OK Google」みたいな音声コマンド）の代わりに、スクリーンのタイトル部分をタッチすれば、リスニング状態に切り替わるようにした。 いちいち「こんにちわ～」とか呼び掛けてから話すのは面倒くさいし、ちょっと恥ずかしいので... それから、 こちらを参考 に、「 AIしげちゃん 」がアイドル状態の時、独り言を喋る機能も追加した。こちらから話し掛けない限り喋ってくれないので、ちょっと寂しかったからw もっとも、あらかじめ定義してある言葉をランダムに喋っているだけだけどね。

少し前からGPT-4 APIが使えるようになってたんだけど、ようやく「 AIしげちゃん 」で試してみた。 ついでに、気象データの取得先を気象庁の天気予報JSONに変更したり、仕事部屋に設置している環境センサーの値と不快指数を答えられるようにしたり、照明だけでなく扇風機やLEDテープライト等のオン・オフも制御できるようにしたので、ますます、しげちゃん はできる子になったなあw こうやって会話を見ると、GPT-4は3.5に比べて感情が豊かな気がする。ただ、GPT-4 APIの単価は高いので、「AIしげちゃん」のデモ程度なら当面はGPT-3.5のママでいいかなあ...