GPT-4+DALL-E 3による、プロポーザルのコンセプト立案・イメージ画像生成のシナリオ

-
マルチモーダルの大規模言語モデル「GPT-4」と、テキストから画像を生成するAIモデル「DALL-E 3」を使用して、プロポーザルのコンセプト立案やイメージ画像を生成し、提案書にまとめるシナリオを考えてみた。

今回が2Dのイメージ画像を生成するが、現状、生成AIで3DやBIMモデルを直接生成するのは難しく、これらを扱う場合、ChatGPTによってマクロプログラムなどを生成し、ソフトウエアを操作して間接的に作成するのが現実的と考えられる。

■AIが支援する建築設計プロセス


フローワークス・横関 浩氏作成の図に加筆

■GPT-4によるコンセプト立案の試行

シナリオ：GPT-4に複数人格（サンプルは4人）を設定し、以下のテーマをブレインストーミングさせることで、コンセプトをまとめる
テーマ：『新しい時代を予感させるような人間の場所となる「商店街」の在り方』



■ブレインストーミングセッション開始

設定した4人の人格がブレインストーミングを開始し、自動的に議論が進んでいく。議論に欠けている視点があれば、途中で人間が意見を挟むこともできる。



■ブレインストーミングの結果、立案されたコンセプト（1）

ある程度議論が深まったところで、意見をまとめてコンセプトとしてまとめるようGPT-4に指示する。


意見をまとめて立案されたコンセプト

■ブレインストーミングの結果、立案されたコンセプト（2）


テーマ：『新しい時代を予感させるような人間の場所となる「商店街」の在り方』

■立案されたコンセプトに沿ったイメージの生成

コンセプトが立案されたところで、コンセプトに沿った「商店街」の外観イメージを作成するよう、DALL-E 3に指示する。



■生成されたコンセプトイメージの修正

生成画像を見ながら、「賑わいのある様子に」などの追加指示を行って、コンセプトに合うようイメージを修正していく。


追加のプロンプトで生成されたバリエーション画像

■新しい「商店街」のコンセプトイメージ最終案



■新しい時代を予感させるような人間の場所となる「商店街」


GPT-4+DALL-E 3によって作成した提案書のイメージ

■GPT-4Vでコンセプトイメージ解析・説明文生成
　→ DALL-E 3で別バージョン生成（マルチモーダルAI）

プロンプトから生成された画像をGPT-4Vで解析し、説明文を生成させる。DALL-E 3にその説明文をプロンプトとして入力し、再度画像を生成させる。

こうすることで、新たな気づきやイメージの幅を広げることができるかも知れない。



マルチモーダルAI：マルチモーダルAIは、テキスト、音声、画像、動画、センサ情報など、2つ以上の異なるモダリティ（データの種類）から情報を収集し、それらを統合して処理する人工知能（AI）システム

コメント

コメントを投稿

このブログの人気の投稿

Platearu-Blender-Importer

-
イメージ
BlenderにPLATEAUのCityGML形式の3D都市モデルをインポートするアドオンツール「 Platearu-Blender-Importer 」が公開されています。 PLATEAU公式からは「 PLATEAU SDK for Unity 」などもリリースされているので、ゲームエンジンでの利用やFBXファイル等への変換が目的なら、そちらの方が安心・高機能と思いますが、Blenderで直接編集やデータ変換などを行いたい場合は重宝しそうですね。
続きを読む

ゆかりねっと VOICEPEAKプラグイン

-
イメージ
音声認識型トークアプリ「 ゆかりねっと 」で VOICEPEAK にしゃべらせるテスト。Google Chromeの音声認識→テキスト→VOICEPEAK→音声・字幕 の一連の流れが1つのアプリでできる。 以前 、Google Chromeで音声認識～音声合成を行うスクリプトを作ったけど、VOICEPEAKの方が自然な日本語で聞こえるのが良い。 実際に喋ってから合成音声が出力されるまでラグが出るのは仕方がないけど、いずれこの辺りもAIで解決しそう。
続きを読む

Evernote から Googleドライブに移行

-
イメージ
もうすぐ、プレミアムプランの更新になるので、いよいよ重い腰を上げて、長年愛用してきた Evernote を Googleドライブ に移行する決心をした。 ノート類はそんなに数が多くないので、そのまま Googleドキュメントにコピペ、PDFなどの添付ファイルはフォルダに分けてファイルとして保存し、Webクリップは印刷してPDFファイルに変換した。 一番の問題は、スキャンした2,000件あまりの名刺画像の扱い。名刺はタイトルに「会社名:名前」を付けて、「関係」をタグで分けるだけのシンプルな管理をしていたのだけれど、移行に当たっては汎用性を重視して、名刺画像のファイル名は同じく「会社名:名前」にして　に「フリガナ」と「関係」をメタデータとして埋め込むことにして、ちょこちょこっとプログラムを書いた。 そのおかげで、当初思ってたよりも早く名刺の移行ができた。Windows エクスプローラで名刺画像ファイル見ると、「フリガナ」と「関係」がタグとして書き込まれているのがわかる。そのため、ファイル名だけでなく「フリガナ」や「関係」でも検索することができる。 また、 Googleドライブ には画像のOCR機能もあるので、「フリガナ」や「関係」以外にも、 Evernote  のように名刺に書かれている住所や部署などの情報で検索することもできる。これで、 Evernote  から  Googleドライブ  に完全移行できた。めでたしめでたし。(^^;
続きを読む

ワイヤレステレビチューナー

-
イメージ
以前、買った、 妻用のタブレット は地デジチューナーが搭載されているのだけれど、自宅周辺は電波状況が良くないので、案の定、テレビの映りがイマイチな結果に。 それで、地デジ放送（フルセグ）を無線LAN経由で見ることができる、DXアンテナのワイヤレステレビチューナー「 DMC10F1 」を買って試してみました。 接続は、壁面のTVアンテナ用コンセントに挿して、無線LANルーターとWPS接続するだけ。そして、 モアテレビ というアプリをインストールすれば、タブレットでテレビ放送が見れられる。 無線LANルーターは2階に設置していて、同じ階にあるリビングや台所では全くノイズなしで綺麗にテレビが見られる。しかし、肝心のお風呂は1階にあって少し離れているのと、途中に床やら壁やらがあって、無線LANの電波状態があまりよくない。 それでも、無線LANルーター、タブレットとも、IEEE802.11ac 対応のせいか、たまにノイズが入る程度で視聴できた。良かった。 PCでは視聴できないし（対応アプリがない）、アプリが今後どのくらいの期間サポートされるのか不安な面もあるけれど、値段も安いし、何よりもテレビをリアルタイムで見るだけのシンプルな作りなので、妻にもわかりやすくていいんじゃないかなあ。
続きを読む

ChatGPT

-
イメージ
「Stable Diffusion」などの画像生成AIには興奮しましたが、「 ChatGPT 」などのチャットAIについては、真偽不明な「それっぽい」文章を作ってもらったところでなあ。。。と思ってました。 でも、とある試験問題を作る必要があって、毎回、問題文とその解答例などを作るのが大変なので、「 ChatGPT 」が使えるかも、って思いついた。 人間だって、テキストを読んで、ネットで調べて、官公庁の報道発表資料やクオリティペーパーなんかで裏取りしているんだし、AIだって結局 同じようなもんじゃないかなあ w ついでに、プロポーザルの提案テーマを入力して、技術提案書も書かせてみた。どちらも、もちろんそのままでは使えないけど、結構整理されていて、ちょっとアレンジすれば、それなりに使えるかも？って感じ 😅
続きを読む