消費税の免税事業者について教えてください。

平成14年資本金300万円で有限会社を設立し、現在、新会社法により資本金300万円の株式会社となっています。

売上高は、
平成14年度：1,000万円未満
平成15年度：1,000万円未満
平成16年度：1,000万円以上
平成17年度：1,000万円未満
平成18年度：1,000万円未満
平成19年度：1,000万円未満
となっており、平成16年度に1,000万円を超えたため課税業者として消費税を納めています。
しかし、平成16年のみでその後は1,000万円未満の売り上げが続き、今期もその見込みです。
一度でも1,000万円を超えると、その後1,000万円未満が続いても課税業者のままで、免税事業者にはならないのでしょうか。