Yahoo!メールでPOP before SMTPを設定していませんか?
http://help.yahoo.co.jp/mail/whatisymail/whatisymail-50.html
その場合、Qdmailに渡すパラメータを次のようにしてみてください。
$param = array( 'host' => 'xxx.net', 'port' => 25, 'from' => 'xxx@xxx.net', 'protocol' => 'POP_BEFORE', 'pop_host' => 'xxx.net', 'pop_user' => 'myname', 'pop_pass' => 'mypass' );
送る側のサーバードメインと自称メールアドレスが異なると届きませんよ。