（性的な話注意）同じ専門学校の男友達に最近少しだけ嫌な部分があります。

調子にのってますね。彼自信も歯止めが利いてないんだと思います。
こんな時は中途半端に受け流すんじゃなくて、バッサリ言った方がお互いに幸せです。

たとえばこんな感じでしょうか？
「その話題は面白くないです。これ以上そんな事を言うなら、お話したくありません」

参考になれば。

「私ってバクマンの亜豆さんほど大事にしたい存在にはなれなかったんだ。
ごめんものすごくがっかりしたわ。」
といえばオタクには通じやすいかもしれないですが、
そろそろ洒落にならないレベルだったらその言葉すら余計なお世話ですね。
まずは警察に相談したりネットで防犯をしらべておいたほうがいいですよ。
「相手が過去いじめにあって…」はここでは全く関係ありません、
むしろ、（オタクが原因ではなく）
まわりの人間に空気読めない言動をする点が原因で
いじめられていたのだろうと考えをかえたほうがよいです。
とにかく一度でもチャンスを与えたら
自分の人生が終わるとおもって
しっかり警戒して身をまもってください。
父親としばらく同居するのもいいかもしれません。
そしてもう二人きりでは会わないときっぱり告げること。
　
今後も、オタク趣味をもっていると男性ばかりでなく女性からも
空想と現実をとりちがえた言動で被害をうけそうになることが頻繁におこります。
非オタがみれば、すでにいやがらせやいたずらをこえた、
一般的には犯罪といわれる行為になっていても
オタクで趣味が共通している前提があると、
不思議に気づき難いのです。
　
現状では相手の男性が独身であるか、何浪している何歳の人間かも
正確なところはわかりません。
いじめの話もふくめて
すべて相手の自己申告で、嘘かもしれないことですよね。
二股・三股を平気でかける人間も
手当たり次第の女をダマしてはヤリ捨てしたいという人間も
世の中にはほんとうにたくさんいます。
同じ専門学校という前提を取り除いてみたら、相手のやっていることはすでにもう痴漢ですよね。
見知らぬおじさんが女子専門学校生に体さわらしてとかセックスさせてとか言ってきたら
普通は悲鳴をあげて逃げるか周りの人間と捕まえて警察につきだします。
顔見知りだから大丈夫とかいうものではありません。
「見知らぬおじさんがやったらこの行為はどう意味になるのか？」
よく考えてはねつけるところははねつける、逃げるところは逃げるべきです。
　
同人ちゃんねる : 事件事故から
http://doujinch.com/archives/28768440.html
http://doujinch.com/archives/28768211.html
http://doujinch.com/archives/26866200.html
http://doujinch.com/archives/26867661.html
http://doujinch.com/archives/21047894.html
この辺も勉強になるとおもいます。（もっとヒドイ話もありますがソフトなところを選びました）
オタ活動のなかでは一段と、自分で自分を守る心得が必要です。
気をつけてください。

なお、逆の立場で迷惑をかけているとしたらそれもやめたほうがいいです。
とにかく、現実と空想をわきまえた行動をとりましょう。
参考リンク　　腐女子です。 私には兄がいます。ある日、その兄が仲の良い男友… - 人力検索はてな

「下ネタはオッケーだけど、実際のえっちな話は無理！」と、一度きちんと話すしかないでしょう。
男の側の心理でいえば、背が小さくておっぱい大きくて、10代なんていったら、そりゃもう相当魅力的に見えるでしょう。下手にシモネタに共感してくれてただけに、手を出す事への妄想が募っています。貴方に実際に手を出したり、レイプしないだけでも、相当我慢強く接してくれているような気がします。
なので、上記の事を言っても駄目なようなら、友達付き合い自体を辞めると伝えるべきです。
これは、本当に友達付き合いを辞めるかどうかは別です。そう言って脅すのです。
流石に友達付き合いさえも出来ないとなれば、完全に諦めてくれるかも知れません。
でも、それでも無理なら、本当に友達付き合い自体を辞めるしか無いでしょうね。貴方が魅力的に見えて仕方ないと思うので、貴方を近くで見るたびに誘惑にかられるはずで、友達付き合いを続けている限り、結局彼は相当な我慢で貴方に接する事になります。
多分、結局貴方が折れない限りは触られたりはしないでしょうけれども、危険な状態がずっと続くと考えると怖いでしょう？いつ何時何があるか分かりません。すぐに思いつく状況となると、飲み会とかですかね。貴方が酔い潰れたら相当危険です。
なので、彼とお付き合いする気が無ければ、上記手続きを踏んだ上で、さようならして下さい。