スクレイピングしMYSQLに書き込む方法を聞きたいです。

> phpも捨てきれていませんが
PHP しか分かりませんのでコメント欄へ


肝心なのは、どのようにしてＤＢ挿入用の配列データを生成するかだと思います。
（前回の回答ではキチンと位置出しするのが面倒で実際には使えないようですね）

function getData()
{
$result = array();
// 何度もアクセスするのは申し訳ないのでローカルに保存したファイル名を
// 指定しました。運用時は URL に変更してください。
$src = file_get_contents('./day003-j.html');
$src = mb_convert_encoding($src,'UTF-8', 'sjis-win');
$src = str_replace("\r\n","\n", $src);
// 抜き出したいデータ部分を特定
// ソース中の最初の tbody 部だと仮定
if (preg_match('!<tbody>(.+?)</tbody>!s', $src, $mch)) {
$tbody = $mch[1];
} else {
throw new \UnexpectedValueException('no match "tbody"');
}
// 表の各行のデータを抽出
if (preg_match_all('!<tr>(.+?)</tr>!s', $tbody, $mch)) {
$rows = $mch[1];
} else {
throw new \UnexpectedValueException('no match "tr"');
}

// 下準備
$ary = array(); // １行分のデータ一時保持用変数
$span = array(); // 各列の rowspan の値を保持する変数

// 各行ごとに処理する
foreach ($rows as $row) {
// rowspan の値と列データを抽出
if (preg_match_all('!<td(?:.*?)(?:rowspan="([^"]+)")?>(.+?)</td>!us', $row, $mch)) {
// rowspan の次の行は列データの数が少なくなるので
// これを頼りに処理を分ける
if (count($ary) > count($mch[2])) {
// extra row
// rowspan の値を調べつつ処理する
foreach ($span as $i=>&$sp) {
// rowspan が 2 未満の列はこの行で新しく値がセットされる
if ($sp-- < 2) {
$ary[$i] = array_shift($mch[2]) ?: ''; // td の数が合わない場合は空だとする
// この行から新しく rowspan が始まる場合の対応
$s = array_shift($mch[1]) ? : 1;
if ($s > 1) {
$sp = $s;
}
}
}
} else {
// normal row
$ary = $mch[2];
$span = $mch[1];
}
$result[] = $ary;

} else {
throw new \UnexpectedValueException('no match "td"');
}
}
return $result;
}

これで、ＤＢ挿入用の２次元配列が得られます。
それを foreach() で回してプリペアドステートメントを実行すればよいでしょう。

ＤＢ挿入時は、何をもって更新と判断するかが問題でしょう。
地域が拡大するかもしれませんし、復旧時間も訂正されるかも知れませんよね？
全く同じもの以外は全て挿入しておいて、目視でチェックするのが確実かも知れません。

それなら全てのカラムを結合したものがユニークであるように制約をつければどこか一つでも違わないと挿入できないのでお手軽だと思います。
（制約に反する場合は ignore で無視すればＯＫだと）

全列データを連結してハッシュをとり、それをユニーク制約がついた列に収めるようにするのがあるべき姿かもしれません。


ここまで書いてきましたが、「停電地域」が rowspan で書かれている場合、それらを別の行としてＤＢに挿入すると「停電件数」が合算なのか個別なのか区別できなくなりませんか？
件数に意味が無ければ問題視する必要もないでしょうが。

わざわざありがとうございました。
ｐｈｐでも全然かまいません。助かります。
むしろ、回答頂いてなるほどという視野が広がっても、
どうも時間が取れなくて、自分の手を進められていないことがかなりもどかしい状況でして、、
最長設定にしたのに、困ったなぁ。

バックアップというほど大事でなくてもテキストで毎日保存して置くだけでも全然違うので、それをまたローカル環境でスクレイピングでチェックするのもいいと思いました。
ただ、チェックするのがそんなに多くないので、そこはちゃんと保存されているかを確認する点を踏まえてもひとつずつ自力でやる方がいい気もします。
スクレイパーは許せないのかもしれませんがｗ
まずデータベースに書き込むのを作らないとなぁ、と。とりあえずノーチェックでまず書き込んで、それでいいかな。
検索できればいいので。
たとえば、理想で言うなら最初の書き込みにはＡという値を追加で付加して、後で変化が見られたらそこを変更ではなくＢとして新しく追加して、ＡとＢとが並んでいていいと思うんです。
まぁ、エクセルとかのように統計で数値化して調べるならダメなのでしょうが、それが目的ではなく人の目で判断したいので。
しかしまぁ、時間取れないなら自らの勉強は後にしていっそ有料で誰かに依頼するかとか考えたが、訊いて高いのが怖くてそちらにいけないという、、ｗ

> ローカル環境でスクレイピング
デバッグで何度もアクセスするのは気が引けるのでこのようにしました。
リブラハック事件もあり、頻繁にアクセスするのが怖いので。

簡単に試すなら SQLite がお手軽なのでその例で示します。
MySQL なら、 DSN と SQL を少々変更するだけで良いでしょう。
＿＿SQL の OR が多分不要だと思う

hash を求めてそれを主キーにする事にします。
その為、先の関数の一部を下記に変更します。
$result[] = $ary;
↓
$rowValue = implode(',', $ary);
$hash = hash('sha256', $rowValue);
$result[] = explode(',', $hash.','.$rowValue);


テーブルはこんな感じ。
CREATE TABLE blackouts
(
hash TEXT NOT NULL PRIMARY KEY,
occurAndRestored TEXT NOT NULL,
pref TEXT NOT NULL,
municipal TEXT NOT NULL,
district TEXT NOT NULL,
scale TEXT NOT NULL,
reason TEXT NOT NULL,
renewed TEXT NOT NULL
)


try{
$dbh = new PDO('sqlite:D:/web/hatena/hatena.sqlite', null, null);
$dbh->setAttribute(\PDO::ATTR_ERRMODE, \PDO::ERRMODE_EXCEPTION);
$sth = $dbh->prepare('INSERT OR IGNORE INTO blackouts VALUES (?,?,?,?,?,?,?,?)');
foreach (getData() as $row) {
$sth->execute($row);
}

} catch (PDOException $e) {
echo $e->getMessage();
} catch (UnexpectedValueException $e) {
echo $e->getMessage();
} catch (ErrorException $e) {
echo $e->getMessage();
}

さらにありがとうございました。perlとrubyだけでphpが自前に入っていなかったので、環境整えて試してみたいと思います。

まとめて抜いてくることに比べて、それぞれに分けることがこんなに大変とは思いませんでした。

SQLiteは携帯内部のデータベースと思っていたのですが、携帯の仕様はまた新しいやつになったんですね。
そのため小さいイメージがあったのですが、調べた感じそこまで良いとも悪いともないのですが、、
スクレイピングだとSQLiteの方がいい理由があるのでしょうか、、
LAMP環境の名残？でMYSQLを使おうとしていますが。

あれこれ繋がっているのかな、、
レンタルサーバの自分の領域でも試したいけど、まずは自前のＰＣで、、、
ぅーん、一つずつ勉強してもオンライン完結への道は遠そうだ、、手作業で更新した方が早いかなｗ

MySQL を使われるのが分かっていたのに SQLite で回答したのはただの手抜きですごめんなさい。
MySQL を使うとＤＢを作ってユーザに権限を割り当てて...削除もあれもこれもだったり...で面倒だったのが正直なところです。

最近の PHP には SQLite が同梱されているハズですので、利用環境を選ばないし、メインテナンスは楽だし、それなりのパフォーマンスは出るのでもっと使われてもいいと思うのですけど。


> 手作業で更新した方が早い
状況判断をロジックにできない場合はそうなります。
その場合でもある程度まで出来るのであれば、最終判断だけ目視でやるのが現実的かと。

＞手作業で更新した方が早いかなｗ
そいうのを防ぐのがAPIの役割の一つですね。
こういうのもAPI化してくれるとありがたいけど、表の雰囲気から、元データはエクセル？とか思ってみたり。

なるほど、ではこれに対応できれば他のデータでもスクレイピング対応できるかもしれませんね。
エクセル→ウェブは一般的でしょうし、、
むしろそういうのは既にありそうだが、、
エクセルからスクレイピングは見かけましたが、ウェブに上がるから大変なのかな。
確かに、統一してくれると助かりますね。