GPTsのCustom ActionsでNature Remoのセンサー情報を回答するカスタムチャットボット作成

-
サム・アルトマンCEOの解任で、今後OpenAIがどうなるのかなあ...と思いつつ、GPTsのCustom Actionsで、自宅の仕事部屋に設置している環境センサーの温度・湿度などを、関西弁w で答えるカスタムGPTを作成するテスト。

GPT Builderで、ChatGPTと対話しながらノーコードでカスタムGPTを作成できる。Instructionsで、チャットボットの会話や振る舞いなどの条件指示（ここでは関西弁で明るくフランクに話すよう指示している）



図のように、Nature Remo Cloud APIから環境センサーデータを取得するためのSchemaを記述。Authenticationは、Authentication Typeで「API Key」、Auth Typeで「Bearer」を選択して、Nature Remo Cloud APIのAPI Keyを入力する。



Webブラウザとスマートフォンでの実行画面。現在の環境センサーの情報を取得して、自然言語で回答してくれる。GPT Builderでの指示した通り、関西弁でフランクに回答している。



環境センサーBOTのデータの流れは以下の図の通り。GPTsのCustom ActionsでNature RemoのAPIを呼び出し、温度・湿度等の情報を取得して自然言語で回答する。

Nature Remo Cloud APIのHTTPレスポンス（JSON形式）をそのまま渡しても、GPT-4が適当に解釈してくれる模様...



外部サービスのAPIとの連携したチャットボットが、実に簡単に作成できてしまう。「AIしげちゃん」作成時、OpenAI APIのFunction Callingでゴリゴリとコードを書いてのは何だったんだろう？と思ってしまった。

しかし、こうなってくると、いろいろ妄想が膨らんでくるね...w

コメント

コメントを投稿

このブログの人気の投稿

Evernote から Googleドライブに移行

-
イメージ
もうすぐ、プレミアムプランの更新になるので、いよいよ重い腰を上げて、長年愛用してきた Evernote を Googleドライブ に移行する決心をした。 ノート類はそんなに数が多くないので、そのまま Googleドキュメントにコピペ、PDFなどの添付ファイルはフォルダに分けてファイルとして保存し、Webクリップは印刷してPDFファイルに変換した。 一番の問題は、スキャンした2,000件あまりの名刺画像の扱い。名刺はタイトルに「会社名:名前」を付けて、「関係」をタグで分けるだけのシンプルな管理をしていたのだけれど、移行に当たっては汎用性を重視して、名刺画像のファイル名は同じく「会社名:名前」にして　に「フリガナ」と「関係」をメタデータとして埋め込むことにして、ちょこちょこっとプログラムを書いた。 そのおかげで、当初思ってたよりも早く名刺の移行ができた。Windows エクスプローラで名刺画像ファイル見ると、「フリガナ」と「関係」がタグとして書き込まれているのがわかる。そのため、ファイル名だけでなく「フリガナ」や「関係」でも検索することができる。 また、 Googleドライブ には画像のOCR機能もあるので、「フリガナ」や「関係」以外にも、 Evernote  のように名刺に書かれている住所や部署などの情報で検索することもできる。これで、 Evernote  から  Googleドライブ  に完全移行できた。めでたしめでたし。(^^;
続きを読む

ゆかりねっと VOICEPEAKプラグイン

-
イメージ
音声認識型トークアプリ「 ゆかりねっと 」で VOICEPEAK にしゃべらせるテスト。Google Chromeの音声認識→テキスト→VOICEPEAK→音声・字幕 の一連の流れが1つのアプリでできる。 以前 、Google Chromeで音声認識～音声合成を行うスクリプトを作ったけど、VOICEPEAKの方が自然な日本語で聞こえるのが良い。 実際に喋ってから合成音声が出力されるまでラグが出るのは仕方がないけど、いずれこの辺りもAIで解決しそう。
続きを読む

TDPT（Three D Pose Tracker）

-
イメージ
続いて、Webカメラだけで、全身のモーションキャプチャができる TDPT（Three D Pose Tracker） のテスト。 左上がWebカメラの映像だけど、AIによる画像認識で、単眼のWebカメラだけでトラッキングしたとは思えない精度。 それなりのGPUを搭載したPCが必要ではあるけど、モーションデータはBVHやVMDで書き出せるし、今後が期待できる。しかし、僕自身、踊れたらよかったんだけど。。。
続きを読む

Platearu-Blender-Importer

-
イメージ
BlenderにPLATEAUのCityGML形式の3D都市モデルをインポートするアドオンツール「 Platearu-Blender-Importer 」が公開されています。 PLATEAU公式からは「 PLATEAU SDK for Unity 」などもリリースされているので、ゲームエンジンでの利用やFBXファイル等への変換が目的なら、そちらの方が安心・高機能と思いますが、Blenderで直接編集やデータ変換などを行いたい場合は重宝しそうですね。
続きを読む

ARCore Geospatial Creator for Unity

-
イメージ
先日のGoogle I/O 2023で公開された、 ARCore Geospatial Creator for Unity でARコンテンツを作成してみました。 Unityの開発環境内でGoogleマップのリアルな3D都市モデルを参照しながらARコンテンツを配置できるので、実際の場所でどのように見えるのか把握しやすいですね。 今回はオクルージョンのテストもしてみました。この辺りは PLATEAU のデータがないので、自前で遮蔽物となる3D建物モデルを用意したのもあって、ちょっとズレてしまいましたが、ちゃんと建物の後ろに隠れて表示されています。 ARCoreの Streetscape Geometry API も試してみたいですね。
続きを読む