SeaGate Reloaded

DALL-E 3で画像生成のテスト。廃墟化した東京駅と神保町の街並み的な。。。

GPT-4に画像解析機能と音声出力機能が追加され、マルチモーダルAI（GTP-4V）になったということで、国立競技場のザハ・ハディド案をアップロードして 説明させてみました。 人間でも、画像をこんな風に 明快に言語化できる人は少ないと思います。まあ 確かに、ザハ案を知らない人ならこんな説明をするかもって感じ。 それから、今後は 説明文をDALL-E 3に入力して、画像を生成させてみました。こちらも、ザハ案と言わずに この説明文でスケッチを描いてみろと言われたら、こんな絵になるかも知れません。 マルチモーダルAIで自然文と画像を行ったり来たりしながらブレインストーミングをすると、自分だけではなかなか 思いつかない意見を得られるかも～

しばらく触れていなかったStable Diffusionですが、Outpaintingで画像範囲を生成拡大するテスト。 Adobe Fireflyの生成塗りつぶしと同様の機能で、そちらの方が高機能で使いやすいですが、こちらは自由度が高いし、フリーなのでw 今度は Inpainting機能で、指定した画像範囲の範囲を再作成して、部分的に画像を差し替えるテスト。別案を手早く作りたい時にいいね。

しばらく、生成AIには手が出せていなかったので 今さらだけど、OpenAIのDALL-E 3が面白い。 もはや呪文のようなプロンプトではなく、GPT-4のように自然言語で対話しながらイメージを作り上げていく感じがたまりません！いつまでも遊んでいられるw

Twinmotion 2023.2 の新機能、アニメーション付きFBXのインポート（早期アクセス、gLTF/glB形式にも対応）、リアルタイムGI（間接ライティングをリアルタイム適用）を試してみました。 自作のアニメーション付き3Dモデルがインポートできるのは良いね！ 以前、Lumionにアニメーション付きのアバターをインポート しようとして、力業でやってみたけど、ソフト側で対応してくれるのはありがたい。 アニメーション付きの点景やキャラクターが自作できることで、よりリアルなイメージが作成できそう。

今さらだけど、Stable Diffusionで生成した静止画から、 AnimateDiff でアニメーションの作成を試してみた。 いろいろ忙しくて、試してみたいけど、手が付けれていないことが山盛りだあ...

無料配布期間中にゲットしたTwinmotionが、2023.2からはコミュニティ版としてしか使えなくなってしまったので、通常版にアップグレードした。 まあ、今のところ使うアテはないのだけれど、また、何か作りたくなるかもしれないので。。。

Stable Diffusion XL専用の新しいWeb UI「 Fooocus 」を試してみました。導入はダウンロードした7-Zipファイルを適当なフォルダに解凍するだけ。必要なファイルは起動時に自動でダウンロードされます。 高機能だけど設定が難しくなってしまった既存のWeb UIと違って、プロンプトを入力して「Generate」ボタンを押すだけのシンプル操作なのに、高精度なAI画像を簡単に生成することができます。 また、プリセットのスタイルが多数用意されているので、スタイルを選択・変更するだけで、動画のように、同じプロンプトでも全く異なるスタイルのAI画像を出力できます。じわじわと画像が生成されていく過程が見えるのも面白いですね。

先日公開された Stable Diffusion XL 1.0（SDXL 1.0）をようやく試すことができた。画像の解像度が1024×1024に向上し、モデルも大規模になった分、VRAMも10GB程度必要。 うちのPCのGPUはVRAMが12GBで、VRやリアルタイムレンダリング用途なら12GBあれば十分と思って買ったんだけど、今 思えばケチらずに16GBくらい積んだGPUを選択しておけばよかったなあと思ったり...

> VRoid Hub ※ 大阪・関西万博公式キャラクター「ミャクミャク」の二次創作物です。

Amazon Prime Day 2023で買った品物が届くのを待ってる。早く届かないかなあ...

以前、知人に教えてもらった VERAS を試してみました。テキストプロンプトベースでAI画像が生成ができるRevit、SketchUp、Rhinoceros用のアドインツールです。 以前試してみた ように、Stable DiffusionとControlNetがあれば、手動で同じようなことができますが、3Dモデラーのアドインになっているので、コンセプトデザインを元に気軽にいろんなイメージを試してみることができます。 トライアル版は無料で30回まで画像生成できますが、あっという間に30回に達してしまったw 実用性は、まあ、微妙ですが、画像生成ボタンが「RENDER」になっているのがいいですね。

VRM形式のアバター を、 VRM Automatic Photographing でポーズと表情をつけて撮影し、 kohya_ss でLoRA（追加学習データ）を自作してみた。 上が学習元の画像。今回は60枚程度撮影し、Epoch数を20に設定して生成に2時間程度かかった。テストなので、取り敢えずキャプション・データはなしで。 元画像がアニメ調のアバターなので、アニメ系のモデルとは相性がいいですね。いろいろ作業を省略したにもかかわらず、それなりに特徴を捉えて画像を生成してくれている感じ。 しかし、実写系はかなり厳しいですね。多数の失敗作の中から、何とか鑑賞に堪えられる「奇跡の一枚」w をチョイス。でも、まあ、初めてにしてはそれなりかなと思ったり。

前回 は顔の3DメッシュからMetaHumanを自動的に作成する Mesh to MetaHuman を試しましたが、今回はiPhoneの「 Live Link Face 」アプリを使用して自分の顔・表情をキャプチャし、自分自身に似たキャラクターの作成を試してみました。 iPhoneで顔・表情のアニメーションをキャプチャし、Unreal Engineに取り込んでからは、前回の Mesh to MetaHuman とほぼ同じ手順です。 やはり、似てないですねw でも、前回より日本人ぽくなりました。ただ、自分自身には似ていませんが、叔父さんの若い頃に似てる気がします。骨格が似てるからかなあ? MetaHuman Animator は、本来、高品質のフェイシャル アニメーションをiPhone等の簡単な機材だけで作れる優れものですが、今回はキャラクターの作成のみに使用しました。

OpenAIが発表した、テキストや画像から3Dモデルを生成するオープンソースのAI「 Shap-E 」を試してみました。 AUTOMATIC1111の拡張機能（ Stable Diffusion WebUI Txt/Img To 3D Model ）を使用して、画像から3Dモデルを作成してみます。 作成元の犬（コーギー）の画像 作成された3Dモデル（OBJ形式） 作成された3Dモデル（OBJ形式）をBlenderにインポートしてカラー表示するには、「オブジェクトモード」を「頂点ペイント」に変更する必要があります。 幼児の粘土細工のようですが、自然言語や画像のような大量の学習は難しそうなので、今のところはこの程度なんでしょう。 しかし、今後、学習量が増えたら精度の高い3Dモデルも生成できるのではないかと、期待が膨らみますね。人間だって、練習しないと上達しませんから。

顔の3Dモデルのメッシュを元に、似た顔のMetaHumanを自動的に作成してくれる Mesh to MetaHuman で、自分自身に似たキャラクターの作成を試してみました。 Avatar SDK で写真から顔の3Dモデルを作成 Track Active Frameで目・唇・ほうれい線を指定 Mesh To MetaHumanでMetaHumanの生成 この時点で既に元の顔写真とは全然に似てねー！ まあ、Avatar SDK自体テクスチャで胡麻化してるところ大だしね MetaHuman Creator で肌・髪・目等を調整 全く別人、日本人っぽくなくなってしまいました... Unreal Engineに召還してみましたが、誰？って感じw

「これって何でレンダリングしたの？」「えーっと、Stable Diffusion」っていう日が来るかもね... まあ、来ないと思うけどw

今度は Twimotion でレンダリング。Enscape とはまた少し雰囲気が変わりますね。