「采女司」という役職が、略されて「采女」になってしまったようです。百官名 - Wikipedia
> もともと、女性を指す言葉だったという事実があるのかどうかがまず疑問ですね。小野妹子を女だと勘違いするかのように(笑)。1号さんの補足で、http://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q1130571901のベストアンサーではないほうの回答が参考になるんじゃないかと。