Googleの検索結果を連続取得する際の制限

Googleの検索結果をDBに取り込むプログラムを実行したところ。
1分間に60アクセス以上連続で行うと一時的にブロックされてしまう。
プロバイダの制限なのかGoogleのブロックなのかは不明。
画像検索も同様に制限がかかる。

原因

多分プロバイダが制限をかけている

解決方法

• ブロックされた際は一分ほどアクセスを停止させる
• アクセス頻度を下げる。（1アクセス1秒とか）