この前の映画『テルマエ・ロマエ』の使用料に関して疑問があるので質問します。

小説や漫画を映画などにする際、使用料払って許可しているわけですが、著作権隣接権にならないのはなぜでしょうか？

音楽だと実演家(つまり歌手など)に隣接権が与えられています。
映画だと俳優に与えられています。
でも、小説や漫画を映画やアニメにする際、隣接権があってもいいように思えます。

理由は、音楽を作る→誰かが演奏する。
小説や漫画を作る→映画やアニメを作る。
これに違いがあるように思えません。
より詳しく書くと音楽を演奏する際、楽譜を見て演奏します。
映画やアニメも漫画や小説をみてやらないと無理だと思います。

長文申し訳ないですが、どうして映画やアニメが著作権隣接権に該当しないのかを教えていただきたい。
解釈が間違っているかもしれないですが、お願いします。