Googleのリアルタイム検索でtwitterの投稿が対象になりましたが、あれは技術的にどうやっているのでしょうか？インデックス云々ではなくtwitterから情報を取得する部分の質問です。

http://markezine.jp/article/detail/7544はどうですか？

契約に関しては、各自が Twitter 側と個別交渉することになります。たぶん、交渉相手となるには何らかの組織の体(会社、NPO、など)を成している必要があるでしょう。

契約なしでどこまで使えるかは、Streaming API 自身に書かれています。日本語で読みたい場合は、Twitter API 日本語訳の「ストリーミング API」の項目のところを見てください。

要約すると

• public_timelinme 取得系
  • firehose public_timeline 丸ごと全部 (特定の組織にのみ公開)
  • gardenhose firehose より精度が落ちる (情報抜けがある) (契約が必要)
  • sample gardenhose よりさらに精度が落ちる (情報抜けが多い。REST API の public_timeline 取得とほぼ同じか少し上の精度) (契約は不要)

• 検索結果取得系
  • birddog 最大40万ユーザを追跡可能 (特定の組織にのみ公開)
  • shadow 最大8万ユーザを追跡可能 (契約が必要)
  • partner 契約版の track 最大20万キーワードの追跡が可能 (契約が必要)
  • restricted 契約版の track 最大1万キーワードの追跡が可能 (契約が必要)
  • filter 最大400ユーザ(follow)、200キーワード(track)の追跡が可能 (契約不要)
  • links URLを含むすべての public な tweet を取得 (いまのところ非公開)
  • retweet retweet された tweet をすべて取得 (いまのところ非公開)

という感じになります。