新規接続した端末のOSがWindowsXPだった場合のみLANネットワークへの接続を禁止したいと考えています。

稚拙な知識で回答します。
通常であれば、LAN内にActive Directoryを動かしているWindows Serverを置いて、ドメイン環境で行う制限だと思います。
Active DirectoryでユーザのOSのバージョンによって接続を拒否するというやり方だと思います。

頑張ってください。

ActiveDirectoryによる制限は、あくまでドメイン参加している端末のドメイン上リソースへのアクセスを制限するものなので、LAN接続そのものを遮断するのは不可能です。

LANに接続した端末を、ルータ他のネットワーク機器からOS判定して特定のOSのみを確実に遮断するというのは、恐らく不可能かと思われます。
接続端末のOSを判定するには、SNMPなりWMIなりといった、ネットワーク管理プロトコルに端末が反応すれば可能ですが、そのためには判定機器側が端末側の管理用セキュリティを通過する必要があります。
また端末側で管理プロトコルが有効になっていなかったり、パーソナルファイアウォール等で遮断していたり等でそもそも不可能な場合もあります。

端末のネットワークへの接続自体を遮断する方法としては、「MACアドレス管理により、事前にMAC登録された端末のみを通信可能とする」くらいしかないかと思われます。

接続自体ではプロトコルのやりとりをするだけなので、OSなど名乗らないから無理ですよね。よく公衆LANなどにあるように、最初仮接続させて、ブラウザベースでパスワードなど送信させればすぐにOSはわかりますよね。それで本接続はできないとする。