LiveChromaKey＋LivePointers - Flashによる次世代UIの研究
川崎です。こんにちは。
FLARToolKit の登場以降、AR（拡張現実）の応用例が数多く提案され、一部は既に実用化されてきました。技術的には、以前から存在する部分もありますが、Flash を使うことで、より手軽に AR に取り組めるようになったのがポイントと思います。先日リクルートが公開した DESIGN SHOWCASE 第3弾でも、FLARToolKit 作者の Saqoosha さん＋ga4 さんのユニットが WORDS WORKS と題した AR 作品を発表されています。
そんな中、川崎もこのところ個人的に、ActionScript 3.0 を使った次世代ユーザインターフェースの開発に取り組んでいるので、ご紹介します。
1つ目は、ブルースクリーン不要で画像合成を実現する LiveChromaKey、もう１つは、画像認識で指サック等をポインティングデバイスとして利用できる LivePointers という、2つのライブラリです。先週18日（木）に大崎のアドビさんの会議室で開催された Spark project 勉強会 #09 で、開発の状況について発表させていただきました。
LiveChromaKey（ライブ・クロマキー）
LiveChromaKey は、ブルースクリーン不要で通常のウェブカメラのみで画像合成を実現するライブラリです。通常のクロマキー合成ではブルーバックまたはグリーンバックの背景が必要になりますが、LiveChromaKey は背景を自動認識することで、オフィスや自宅など任意の場所で画像合成できます。
これはオフィスで撮影していますが、背景がエジプト旅行に行っている気分になれます。
前景（人物部分）は、静止画でなくて、ライブ映像になります。（⇒デモ1）
こちらは、前景（人物）と背景（オフィス）の間の空間でスライドショウを楽しむデモです。
これまでの FLARToolKit を用いた AR では、ウェブカメラのライブ映像の上に 3D オブジェクトなどを載せるデモが多くありましたが、LiveChromaKey では、前景～背景間に任意の Sprite を差し込めるのがポイントです。（⇒デモ2）
差し込む Sprite として、時間をズラした前景を再利用することも可能です。
残像拳のように、タイムラグを付けた自分の腕を表示しています。（⇒デモ3。以下同じ）
ひとりおそ松くん。（シェーのポーズは難しかった…）
ひとり EXILE。（ちょっと緊張気味です…）
※撮影協力は、うっちー。1人では画面キャプチャ撮れなかったです。ありがとう。w
LivePointers（ライブ・ポインタ）
LivePointers は、リアルタイム描画できる速度に単純化したクラスタ分析のアルゴリズムを用いて、ウェブカメラの画面上の色付マーカーを自動抽出するライブラリです。
カラーボールの色、座標、大きさなどを認識しています。（⇒デモ4）
現在は、彩度の強い単色のみが対象となっていますが、ボール以外でも例えば、近所の100円ショップで売っているマジックとか、『指サック』も認識可能です。
今回の発表では、LiveChromaKey＋LivePointers を組み合わせて、画面内に講演者（川崎）を表示させたままの状態で、『指サック』を使ったプレゼン操作（ページ送り・戻し）でプレゼンさせていただきました。マウス・キーボード不要で、指サックのみで操作できます。
（↑発表時のイメージです）
⇒発表資料は コチラ（Slideshare版）または コチラ（Flash版）
正直なところ、今すぐにも商用利用できるクオリティ（画質・精度）には至っていませんが、既にライブでデモできる速度は確保しており、自宅 PC に留まらず、例えば街角のデジタルサイネージのユーザインターフェースも含めて、様々な応用例が考えられるのではないでしょうか。
