映像の顔認識をやっているという確証はありませんでしたが､やっているのがほぼ確実なものとして､音声指紋認識 (Acoustic fingerprint) が挙げられます｡

これは､Last.fm や midomi の類似曲検索にも使用されている技術です｡

Fun with YouTube's Audio Content ID System は､ﾛﾁｪｽﾀｰ大学の学生さんが､曲に色々な操作を加えて YouTube にｱｯﾌﾟし､どのような操作なら著作権のﾌｨﾙﾀｰをくぐり抜けられるかをﾃｽﾄした結果をまとめたものです｡

これによると､

1. YouTube は､すべてのｱｯﾌﾟされた動画をﾁｪｯｸしている｡(曲に無関係なﾀｲﾄﾙでも削除される)
2. 曲の速度や音程のちょっとした変更ではﾌｨﾙﾀｰに引っかかる｡
3. 最初の30秒だけを空白にしたものはﾌｨﾙﾀｰをくぐり抜けたので､YouTube がﾁｪｯｸしているのは最初の30秒｡

だそうです｡

この技術を使えば､ｱｯﾌﾟされた動画の音楽と似た音楽の動画を関連動画に出す事ができるでしょう｡

さらに､Google の研究者である Shumeet Baluja 氏の発表､“Video Suggestion and Discovery for YouTube: Taking Random Walks Through the View Graph”

http://www.esprockets.com/papers/adsorption-yt.pdf

を見ると､関連動画を見たﾕｰｻﾞｰが多い動画ほど関連性が高い､という判断もしているようです｡(PDF の2ﾍﾟｰｼﾞ目､Figure 2)

Google の検索に使われているﾍﾟｰｼﾞﾗﾝｸと似た発想で､ﾕｰｻﾞｰを判断基準に使っているわけですね｡

これによって､関連動画ﾘｽﾄをさらにﾘﾌｧｲﾝする事ができるでしょう｡

ご参考になれば幸いです｡