映像に合わせて音楽が変化していくような

映像に合わせて音楽が変化、とは、芸術的な効果を狙ったランダムな音楽のランダムな変化でしょうか。それとも、手持ちの音楽の適切な選択のことでしょうか。前者なら、芸術的志向が高いので、あまり発表はされていないと思います。芸術祭で見たことがありますが、いまgoogleでちょっと検索しても、でてきません。手をセンサーに近づけると、映像と音楽がランダムに変化するものでした。

リンクは、C++でのMIDIの扱い方を示した本です。音楽はMIDIがいいんですよね？音色番号と高さを指定するだけで、楽器音が出ますから。

MIDIのコーディング

MAX/MSPはちょっと見てみましたが、マルチメディア用言語ということで音楽は完璧ですが、動画の解析がどうですかね。movieやimovieクラスに、動画の各ピクセルを取り出して、何色か判断する、なんていうメソッドが見当たらないので、動画に合わせた動作は、謎です。REALbasicは、MIDIの扱いと、動画のピクセルを取り出して評価するのが割と簡単なので、おすすめです。ただ実行速度は期待できません。もちろんMax/MSPで、そうして各ピクセルを取り出す方法があれば、そっちがいいんじゃないでしょうか。動画とMIDIを扱う言語なので、その目的の場合は、REALbasicより習得が楽だと思います。

アップルのiTunesには、ビジュアライザという機能があります。これの機能をオンにすると、曲を再生するときに、さまざまなビジュアルエフェクトを表示させることができます。ビジュアライザはプラグインなので、フリーソフトウェアでもいくつかリリースされています。

以下のページにいろいろなプラグインが紹介されています。