レスポンシブWebデザインのSEOについてお詳しい方、ご教授ください。

今、独学でレスポンシブWebデザインのサイトを制作しておりますが、
端末ごとに割愛したいコンテンツなどを【 display:none; 】で非表示にしておりますが、このタグがある場合Google検索等でペナルティになるんでしょか？

GoogleそのものはレスポンシブWebデザインでの制作を推奨しているようですが、実際【 display:none; 】を記述してあるサイトがペナルティを受けたという話しもちらほら聞きます。
しかし、不正でない使い方をすればペナルティを受けないとも聞きます。

レスポンシブWebデザインを制作する上で、ペナルティを受ける・受けないのボーダーラインは、具体的にはどのようなラインなんでしょうか？

お詳しい方、是非ご教授お願いいたします。