人力検索はてな
モバイル版を表示しています。PC版はこちら
i-mobile

APIでのデータ取得のノウハウにつきまして

お世話になります。
現在APIを読み込み、データベースへ挿入をするプログラムを作っているのですが、いくつか気になる点があります。

APIの仕様上、取得したいデータが50件ずつしか一度に取得できないため、プログラムでページを指定して読み込む形(APIのURLの末尾にp=1,p=2...という形で)にしていますが1万件などと取得するデータが膨大なとき、200回APIを叩く必要があり、取得までに大変時間がかかるほか、途中で挿入に失敗しているようです…。

(API側では検索結果1万件であるのに挿入作業完了後のデータベースの行数は9500行など)

(1)このようなデータ挿入の欠落を防ぐ方法はありますでしょうか?

(2)読込時間が長いため、下記のサイトを参考に読込中にプログレスバーを表示させたいと考えておりますが、デフォルトでは「画像ファイル」の読込みのみ対応しているようでここでphpファイルを指定することは可能でしょうか?

http://p.tl/IRnr
(img/DSC00001.JPGの箇所)

始終質問ばかりで申し訳ございません。
どうぞよろしくお願いいたします。

●質問者: ビットさん
●カテゴリ:ウェブ制作
○ 状態 :終了
└ 回答数 : 2/2件

▽最新の回答へ

1 ● yu3ho7

1、先ず取得出来ていないという事はエラーが起こっているのでmysql等のエラーログを確認して取得出来ない原因を追求した方が良いと思います。

2、これは出力するページのサイズが重いとき等に使うものなのでサーバーサイドの処理が重い時には使えないと思います。
見せ方だけで良いのでしたら読み込みボタンを押したタイミングでローでディング画像等をjavascriptで表示させるだけで出来ます。


2 ● nakedfeels

(1)このようなデータ挿入の欠落を防ぐ方法はありますでしょうか?

短時間に API へアクセスを繰り返していないでしょうか?アクセス制限に引っかかっており、サーバーがエラーを返しているかもしれません。
今わかっている情報だけでは原因がわからないので、実際に API にアクセスしているプログラムを貼り付けると有効な回答が得られるかと思います。

(2)読込時間が長いため、下記のサイトを参考に読込中にプログレスバーを表示させたいと考えておりますが、デフォルトでは「画像ファイル」の読込みのみ対応しているようでここでphpファイルを指定することは可能でしょうか?

画像ファイルを指定している箇所はURLを指定しているだけなので、任意のURLを記述できます。

関連質問

●質問をもっと探す●



0.人力検索はてなトップ
8.このページを友達に紹介
9.このページの先頭へ
対応機種一覧
お問い合わせ
ヘルプ/お知らせ
ログイン
無料ユーザー登録
はてなトップ