私は二次創作をしています。

アンチの定義にもよります。
何回も見に来る人というのは、それだけジャンルのことが好きではあるので、潜在的な顧客でもあります。
で、見た結果、うまく感想を言おうとしても言えず、「大手の○○さんよりはヘタだけど（または大手の○○さんそっくりで）この作品は超好き」のような（書き手にとってみれば、かなりひどい）褒め方をする人もいます。これをあなたがアンチといっているのであれば、あなたの被害妄想気味（自称していらっしゃるとおりの豆腐メンタル）がメインの原因なので、上手くつきあいを選ぶことで対処できます。
自分の経験では、ほめ方がひどい人は、実際会ってみると、小～中学生だったりします。自分では何も作れないので、創作者の喜ぶ言葉を知らない純真すぎる人です。特に、退屈して一日に何回も二次創作を見に来るような人は、責任ある仕事をなにももってないようなお子さん、または、精神がお子さんのままの人で、退屈をやぶってくれる作品をみせてくれた人にはお礼のつもりでなにかひどい感想をいちいち書き込んできたりします。
小中学生とはさすがにつきあえないとおもえば切る（ブロックする、出入り禁止とする）し、改善の余地がありそうな人なら、「比べられるのは正直、不愉快です。○○さんでも他の人も、それぞれ自分の個性を大事にしてる人が多いので、どんな二次創作を読んでもうかつに比べるようなことは絶対に言わないという約束でなら以後もつきあいます」と告げるのもよいでしょう。
　
他に、勘違いの褒め言葉だけでなく、もっと実害があるような言動を、ネットだからと平気で行う人も確かにいます。それは実害の種類によって、サーバー管理者にお願いしてアカウント削除をしてもらうとか、単にツイッターなら鍵アカウントにして、実害が出たタイミングなどをしらべて上手くブロックなりミュートをかけてしまうなど、ネット技術で相手をつきとめられて、どうにかなるものも結構あります。（むしろ、「この人オープンアカウントで荒し上等のつもりか、挑発的なことを言っちゃうから大嫌い。警告も兼ねて捨てアカで文句をいってやったけど、通報することも知らないらしい、ほんとバカ」という理由でアンチ化する人もいるようです。その場合はこちらの勉強不足とか、創作姿勢の表明のような部分で改善ができそうです）

質問者さんの二次創作における行動で、どういう風に改善したら楽しくやっていけるかは直接みていないので詳しくアドバイスできませんが、
うまく二次創作を長くつづけている人は、発表やフォロワーとの付き合いにおける手法もかなりその人なりに洗練されてます。
その方によって、結局は、無視する・距離をとる・警告しておいてそれを踏み越えて来たものには積極的に対抗策をとる、のどれかにおさまる感じです。
だまってジャンル移動も確かに、対処法の一つではありますが、おっしゃるとおり、区別できていないのでお友達になれそうな人も切ってしまう損害があります。
可能なら、即売会やオフ会で実際にフォロワーさん（この人なら安心と思える人）と顔をあわせてみれば、「あ～それ、あの人だよ、ひどいよねえ。いつもブロックしないのかなって見てた」など親切に教えてもらえることもあるかもしれません。
どうにかして、うまく自分なりのやり方をみつけてください。
２チャンネル系の同人・ふじょし系の板のまとめサイトに、ひどいトラブル（警察沙汰にせざるをえないレベルのものも含めて）もたくさんのっているので、読んでみると参考になるかもしれません。

　
　
あと蛇足ですが今の松とかは、巨大ジャンルなので、勘違いした行動を取る二次創作者も、勘違いした行動をとる読者も、両方多いイメージがあります。巨大ジャンルでできたフォロワーのお友達より弱小ジャンルのほうがかえって長続きする人をみつけやすいかもですよ…。

　
……　ルソー「かつて世になくまた後にもないであろう著述に私はいま
手を染めようとしている（略）。私の書物を愛し得ない人があったとし
ても私はその人を非難しはしない。しかし私の書物を読んでなお私を愛
さない人はあわれむべきである」（P294-295）
http://booklog.jp/users/awalibrary/archives/1/400336581X
──　クレッチマー／内村 祐之・訳《天才の心理学 19880516 岩波文庫》
　

　Rousseau, Jean-Jacques 17120628 Switz　17780702　66 ／France
　Kretschmer, Ernst　　　18881008 Duitch 19640208　75 ／
　Uchimura, Yuhshi　　　 18971112 Japan　19800917　82 ／

アンチの人は、嫉妬やストレス発散からあなたを攻撃しているのでしょう。
自分も創作をしているけれど、あなたほどうまく・心に残る作品ができない。
自分はこんなに嫌なことがあったのに、こいつは呑気に創作して楽しそうだ。とりあえず通りすがりだけど八つ当たりしてしまえ…等。

同じ創作者として、好きなものを否定されるのはとても辛い気持ちはとてもよく分かります。
反対に共感する言葉をもらえたときは、同じ気持ちの人がここにもいた！と、とてもうれしくなりますよね。
けれどもファンでもアンチでも、見てくれるということはあなたの作品に対して何かしらの思いを持ってくれている。そんな作品を作れることに自信を持ってください。

かといっていちいちアンチにコメントするのも疲れると思いますので、基本的には相手にせず、忘れるのが一番だと思いますよ。
周りの方に迷惑をかけるようであれば対策が必要ですが、そんな一部の方のためにせっかくの創作時間が削られるのはもったいないです。