Augmented Reality 技術 (拡張現実技術)について、

どのレベルでのアーキテクチャか、というのがわからなかったのでズレてるかもしれませんし、図示ではなく文章で説明しますが、参考までに。。

主な仕組みとしては、カメラ等で現実世界を撮影して、そのカメラの二次元の映像を元に仮想物体のための三次元空間の定義を行い、カメラ映像に三次元描画用のライブラリを用いて仮想物体を上乗せする、という処理を繰り返すことになります。

カメラの映像から三次元空間を定義する、というところが難しいのですが、このあたりはライブラリを利用することが多いです。例えば有名な ARToolKit は既出のマーカー認識機能を持っていて、画像マーカーをあらかじめ定義しておくと、カメラ画像からマーカー位置を中心点として３次元空間を定義してくれます。動作としては、RESTfulJapan さんが紹介しているサイトの動画がわかりやすいと思います。最近だと、マーカレス技術の ptam 等も注目を集めていて、カメラの画像だけの情報で自分の三次元位置を把握できるものもあります。

一旦カメラの情報から三次元位置が取れてしまえば、一般的なＡＲアプリケーション上では、背景がカメラ画像で、カメラが定義した三次元空間を中心とする純粋な三次元プログラミングができます。例えば、ARToolKit を利用してマーカーの位置を三次元空間の中心と定義している場合、中心点の少し上にボールを描いて、中心点に半透明に同程度の大きさの黒い円（影）を描けば、あたかもボールが浮いているような映像をレンダリングすることができます。三次元プログラミングには、OpenGL 等を利用することになりますので、三次元プログラムの知識と理論は必須です。

ARToolKit には、単純なサンプルプログラムも含まれていますので、これ以上のことは直接ダウンロードしてソースコードを見ていただくのがよいかと思います。