はてな人力検索 ～ 算術的な、余りに文系的な ～

簡単に出来そうな例としてgoogleの検索結果を用いてみますと、
ばらつきはありますが、純増してるみたいですよ
（もう少し賢く検索してくれる人が出てくることを願ってのたたき台です）

　
比較用に下記も検索してみました
リニューアル前年

さらに前　

正確さを求めるなら、プログラムでデータを抜くに勝る方法は無いと思います。
こんな感じで、データを抜いてみました（プログラムは後述します）。

1. http://q.hatena.ne.jp/list でページを指定して、質問詳細の URL を手に入れる
2. 質問詳細のページを取得して、質問や回答の情報を抜き出す

質問一覧からデータを抜き出している間にも、一覧は更新されていくので、多少、手でも作業しましたが、こんな感じのデータを取得できます。

F～H列は、Excel で集計するために、計算式を入れました。

このデータを元に、月単位の質問者数を集計したのが以下になります。

データの抜き出しに、とても時間がかかるので 2010年12月からのデータになってます。

日単位のデータをグラフにしたものは、別の質問の回答で書いてますので、そちらも良かったら。
http://q.hatena.ne.jp/1334129663#a1141936

最後に、データを抜き出したプログラムのソースを貼りつけておきます。
言語は Ruby です。
やっつけで作ったので、汚いですけど　=)

require 'net/http'
require 'uri'

Net::HTTP.version_1_1

MAY_BE_CONTINUE = 100


RE_Q1 = %r|<span class="user-name"><a href="[^"]+">([^<]+)</a>|
RE_Q2 = %r|<div class="question-badge"><span class="badge-point">.*class="badge-point-count">(\d+)<span>|
RE_Q3 = %r|<span class="info-time">[^0-9]*([0-9/: ]+)</span>|
RE_A = %r|class="user-name"><a href="/[^>]+/">([^<]+).*class="timestamp"><a href=[^>]+>([0-9/: ]+)</a>|
           

def extract_data(download_url)

    msg = "loading #{download_url} ..."
    $stderr.print msg + "\r"

    response = nil
    begin
        response = http_get(download_url,10)
    rescue Object => err
        $stderr.print "\n"
        $stderr.print "Skip - " + err + "\n\n"
        return
    end

    first = true
    response.body.each_line { |line|
        userid = ""
        point = 0
        if line =~ %r|<li class="list-question-jinriki clearfix[^"]*"><a href="/(\d+)"| then
            url = "http://q.hatena.ne.jp/#{$1}"
                q_id = $1
            rrr = http_get(url,10)
            qqq = false
            rrr.body.each_line { |line2|
                if line2 =~ /class="questioner-title"/ then
                    if RE_Q1 =~ line2 then
                        userid = $1
                    end
                    qqq = true
                end
                if line2 =~ /class="question-badge"/ then
                    if RE_Q2 =~ line2 then
                        point = $1
                    else
                        point = 0
                    end
                end
                if qqq && line2 =~ /class="subinfo info-time-container"/ then
                    if RE_Q3 =~ line2 then
                        puts "Q #{q_id} #{userid}   #{$1}   #{point}"
                    end
                    qqq = false
                end
                if line2 =~ /class="answer-title"/ then
                    if RE_A =~ line2 then
                        puts "A #{q_id} #{$1}   #{$2}"
                    end
                end
            }
        end
    }

    $stderr.print ' ' * msg.length + "\r"


    return MAY_BE_CONTINUE
  
end



$http_clazz = Net::HTTP

def http_get( uri_str, limit = 10 )
    raise ArgumentError, 'http redirect too deep' if limit == 0

    uri = URI.parse(uri_str)
    response = nil

    target = $http_clazz.new(uri.host, uri.port)
    target.read_timeout = 600
    target.start { |http|
        if uri.query.nil? then
            response, = http.get(uri.path)
        else
            response, = http.get(uri.path + '?' + uri.query)
        end
    }

    return response
end



case ARGV.length
when 0
    N1 = 708
    N2 = 1800
when 1
    N1 = ARGV[0].to_i
    N2 = 1800
when 2
    N1 = ARGV[0].to_i
    N2 = ARGV[1].to_i
else
    $stderr.puts "Bad argument !"
    exit
end

(N1..N2).each { |i|
    url = "http://q.hatena.ne.jp/list?page=#{i}"
    $stderr.puts url
    ret = extract_data(url)
    i += 1
}