昨今議論されつつある共謀罪ですが、

この共謀罪の成立の成否に関わる準備行為は、違法行為でなくても良いのでしょうか？

テレビ討論で政治家の方が話していたところによると、
犯罪を謀議したけど、実際はその場の悪乗りに過ぎず誰も実行を決意していなかったが、
その内の一人が決行の可能性も考慮して預金を引き下ろしただけでも準備行為と認められるみたいなことを話していました。

私はてっきり共謀罪の成立の成否に関わる準備行為は、それ自体が違法行為であることだとかが条件だとばかりに思っていました。

準備行為の構成要件はどうなっているのでしょうか？
あまり緩く準備行為を捉えると、共謀の有無とは無関係にちょっと食材を買い込むだけでも共謀の意志ありだとか、ちょっと気晴らしに遠出するだけで下見だとか認定されることになるようで怖いです。