男性です。
アポなしで来られると「話し合いをせねば」より「怖い」が勝ってしまうので、住所がわかってるなら、手紙でも電報でも「会いたいので、都合のよい日時を教えて」といったん断りを入れてみた方が良いと思います。
また、もし別れ話そのものが男性からの一方的なものである、と思われても、決して男性を責めず「自分の気持ちが中途半端なままなので、すっきりさせたい」と、あくまで自分のワガママであることを伝えれば、同情から会ってくれることもあるかもしれません。
重ねて言いますが、男性に非があるように思わせると、ガードをガッチガチに固めますのでお気をつけください。