今の質問文は意味が二通りに取れるので、どっちなのかはっきりさせてください。
PCで録音したらノイズが多かったのでPCMレコーダを買ったけど、最初使っていたマイクが使えなかったと言う意味なのか、それともマイクは使えたけど、ノイズが改善しないってことなのか、どっちでしょう?それと、使ったマイクとPCMレコーダの型名を教えてください。
その辺がはっきりしないので、まずは一般論として、マイク録音でノイズを少なくしたければ相応の機材は必要になります。PCのマイク端子はとんでもなく低品質&高ノイズであり、PC用に売られているマイクはそれに合わせて作られているため、ろくな物はありません。また、いかなる高級マイクもPCのマイク端子につないだ時点で全くの無駄となります。そもそもPCにまともなマイクは直結できない(オーディオインターフェースが必須)ですけどね。
またPC用のマイクはプラグインパワー方式(エレクトレット・コンデンサー型)になっていて、最も一般的なダイナミック型マイクとは電気的に互換性が全くありません。なのでコネクタの形が同じでも、機器側が対応していないことはよくある話です。
基本方針としてはできうる限り、録音段階でノイズを抑える努力が必要で、録音後に小細工することは最後の手段です。一度入ってしまったノイズを後から消すのは限界があるし、音質にも影響してしまいます。とてつもない高級機材は必要ありませんけど、だからと言ってクソとしか表現できない安物を使っているようでは論外です。
録音レベルを自動にすると無音時には小さな音を拾おうとして利得を大きくするのですからノイズが入ります。録音レベルは手動調整で録音する必要が有ります。また、ノイズを小さく音源の音を大きくするには、音割れする寸前の大きな音声で録音しなければなりません。マイク回路のノイズ対策とは技術的にあまり簡単ではないのですから、パソコン内蔵のマイク回路はノイズが目立たないように故意に利得を小さくして、つまりマイクを口に近づけて大きな声で叫ばなければ適正な音量で録音されないように設計されています。こんな装置で録音された音源は、再生の際にボリウムを大きくしなければならず、必然的にアンプのノイズが強調されてしまいます。つまり現有の装置で録音するなら、録音レベル計(ある種の録音ソフトには付いています)を見ながらマイクに口を近づけて大きな声で録音する事です。音質が良いといわれている音源を使用するとマイク感度もよくノイズ無く音声を録音する事が出来ます。私が所有している例では古い商品ですがSound blaster Live!などです。それにしても、パソコンの音源ではマイクに向かって話すのを録音することができるだけで、物音や自然の音、大勢の会話などをノイズなく録音するのは無理だと思います。こんなのには超低雑音アンプが必要です。
ノイズ軽減策としてこのような物があります。
http://www.atamanikita.com/technic/technic-mic-noize.html
http://www.0405.net/radio/html/04ura/1hard/01pop.html