(C#,VS2008)Webスクレイピングをしています。hiddenタグに隠れているトランザクショントークンを取得したいのですが,プログラムからHTTPリクエストしてHTMLソースを取得しても<hidden～/hidden>の部分だけスッポリ抜けています。プログラムからこのフィールドをどのようにしたら取得できるでしょうか?

（１）リファラ監視されている

キーワードは Referer

（２）cookiesで管理されている

キーワードは Cookie と　CookieContainer

（３）クライアントスクリプトで動的に生成されている

などなど、サイトによって対応はさまざまなので

どこのサイトをターゲットにしているのかによって対応も変わります。

（オートパイロットや攻撃対策として、わざと行っている可能性が高いので

　URLを書かれても返答できないと思いますけど・・・。）

（１）や（２）のようなものであれば

HTTPのハンドシェイク時に適宜対応するだけですが

（３）は互換機能を実装するか

もしくはオートパイロット的なものにするか正直なところ実現は難しいかも。