SeaGate Reloaded

TDPT（Three D Pose Tracker）の続き 。動画からでも全身のモーショントラッキングができるので、YouTubeにアップされている乃木坂46の「制服のマネキン」から。 スカートを履いている上に、足を交互に動かしたり 一回転したりと、かなり複雑な動きのダンスなのに、破綻せずにトラッキングできている。 テスト機能だけど ハンドトラッキングもできるので、決めのL字型の指のポーズもそれなりに再現できていてスゴイね。 こちらは「ロマンスのスタート」。以前、同様のWebサービス「 Plask 」でもやってみたけど、TDPTの方がきれいにトラッキングできているね。

今日は、梅田のオフィスに出社した娘と帰りの時間を合わせて、ライトアップされた夙川の夜桜を眺めながら帰宅。 夙川の水面に映り込む桜並木のライトアップは圧巻でした🌸🌸🌸

続いて、Webカメラだけで、全身のモーションキャプチャができる TDPT（Three D Pose Tracker） のテスト。 左上がWebカメラの映像だけど、AIによる画像認識で、単眼のWebカメラだけでトラッキングしたとは思えない精度。 それなりのGPUを搭載したPCが必要ではあるけど、モーションデータはBVHやVMDで書き出せるし、今後が期待できる。しかし、僕自身、踊れたらよかったんだけど。。。

で、Webカメラによる上半身モーションキャプチャ（ Webcam Motion Capture ）と音声認識・字幕（ ゆかりねっと ）→音声合成（VOICEPEAK）を組み合わせてみた。 リアルタイムでボイチェンできたら、完璧なんだけどなあ。。。

Webcam Motion Capture のテスト。雨なのでお花見にも行けず、仕事の合間にこんなコトばかりしてるけどw しかし、単眼のWebカメラだけで、手指のモーションがここまでトラッキングできるのはすごいね。もう、 Leap Motion いらないじゃない。 音声合成もモーショントラキングも、AI技術で どんどん進化しそうで楽しみ♪

音声認識型トークアプリ「 ゆかりねっと 」で VOICEPEAK にしゃべらせるテスト。Google Chromeの音声認識→テキスト→VOICEPEAK→音声・字幕 の一連の流れが1つのアプリでできる。 以前 、Google Chromeで音声認識～音声合成を行うスクリプトを作ったけど、VOICEPEAKの方が自然な日本語で聞こえるのが良い。 実際に喋ってから合成音声が出力されるまでラグが出るのは仕方がないけど、いずれこの辺りもAIで解決しそう。

先週末は、ほぼほぼ 部屋に籠って宿題してたけど、気分転換に、ハマいく の「ビートDEトーヒ」踊ってみた。たまには、気分転換しないとねw 今度は自分のアバターに「ビートDEトーヒ」躍らせてみた。本物の方もこんな風に踊れたらいいんだけどな。しかし、今更ながらアバターのBlendShapeがバグってて、表情を変更するとが顔面が崩壊することが発覚。なので、目パチ・口パクのみw

セールで安かったのでポチってしまった Pixel Buds Pro が届いた。でも、東京出張のお供に持って行ってた、 Pixel Buds A-Series が見当たらない。新幹線の車内に忘れてきたみたい。 忘れ物センターに電話したら、広島駅の車庫で見つかったらしい。着払いで送ってもらうことになったんだけど、新しいイヤホンが届いたと同時に、前のものを忘れるとはねえ。。。 でも、 Pixel Buds A-Series  はなかなかいい感じ。NCが強力なので、通勤電車の中で活躍しそう。Pixel Buds A-Seriesの方は、帰ってきたら 寝フォンにしようかな。

大学入学時にあげた2in1のタブレットPCが、就職して自分でPCを買ったので戻ってきた。古い機械だけど、軽作業なら問題なく動くので、タブレットスタンドを買ってきて、自宅の仕事部屋兼XR部屋に並べて使うことにした。 マウスもキーボードもスピーカーもワイヤレスなので、2台のPCで共用できるからデスク周りがすっきりして良い。それに、タブレットPCは独立したPCとしても、メインPCのワイヤレスのサブディスプレイとしても使えるので、TPOに応じて使い分けられて便利～