私自身はそのような経験が無いので詳しいことはわかりませんが、
調べて見た限りでは、このあたりの情報でしょうか。
SPARC: インタフェースの MAC アドレスが一意であることを確認する方法 (Solaris のシステム管理 (IP サービス)) - Sun Microsystems
また、MACアドレスはLANドライバ上で簡単に変更できてしまうので、
http://www.google.co.jp/search?q=MAC%E3%82%A2%E3%83%89%E3%83%AC%...
簡単に回避できそうです。
重複した MAC アドレスが引き起こすネットワーク関連の問題について
- ThinkCentre S50 ultra small、M51 / ThinkPad X30、X31、X32、T30、T40p、T41p、T42p、T43、T43p、R50p、R51、R52
MACアドレスはNICのROMに書き込まれています。異なるマザーボード上に搭載されているNICのMACアドレスが重複するというのは、普通、考えられません。
一方、OSレベルで参照するMACアドレスは、LinuxでもWindowsでも、NICドライバが管理しています。
「MACアドレスを変更する」にあるように、ソフトウェア的に、このMACアドレスを変更することができます。
ご質問のケースでは、クラスタOSのNICドライバが、同じ型式のNICを同一ハードと見なし、同じMACアドレスを割り当ててしまったのではないでしょうか。
こうした場合、NICドライバを最新のものにすると治ることがあります。
また、そもそもNICドライバがクラスタに対応していない可能性もあるので、マザーボードかNICのメーカーに問い合わせるといいでしょう。
こちらでMACアドレスが重複していたケースが紹介されていました。
建前上ユニークなはずですが、人為的なミスなどで重複するケースもあるんでしょうね。
手作業だとあるんですね。。