これは正直にはっきり断った方がいいと思います。自分は男性なのですが、女性的な遠回しな断り方は、ものすごくイライラさせられますので。
個人的には特定の相手がいないのなら、食事くらいいいじゃんと思う。
二人で食事することそのものが嫌でなければ別にしれっとしてればいい。クチャらーとかで食事自体がいやなら別だけど。
誤解させる云々を気にしてるんなら、食事に行ったときにでもなにげに釘差すとかしておけばいいんじゃね?
あなたが特別じゃないのよ、ということだけ伝わればそれでOK
でも、ほれたはれたはいつスイッチ入るかわからないので、曖昧にしておくのも悪くないとは思いますけどね。
その人の知り合いとか親戚とかにつながる可能性もあるし。