百度 日本法人、「Baiduspider問題」への対応を表明

GoogleやYahoo!で「Baiduspider」と検索してみよう。検索結果にざっと目を通すと「出入り禁止」「〜がやってきた」「行儀が悪い」などと否定的な言葉が並ぶ。。Baiduspiderとは中国の検索エンジン「百度（baidu）」のWebページ収集ロボット（クローラ）の名称だが、総じてウェブマスターからの評判は悪い。実際、私自身も運営するサイトでは Baiduspider を弾いている。要は、クロール頻度が高くサーバに多大な負荷をかけてしまうことが問題なのだ。

そんな百度は日本市場への進出を既に表明しているわけだが、この度、日本のサイト運営者に対してのメッセージを発表した。百度の日本語公式サイトから引用してみよう。

さて、弊社はまもなく日本語版検索サービスを開始致しますが、それにあたり現在日本語サイトの情報収集Spiderのリサーチを実施しております。

それにより御社のサイトに過剰なアクセスが発生したため、管理者の方には多大なるご心配をおかけ致しました。

私たちは百度作業管理担当者としてこの度百度Spiderが御社のサイトにご迷惑をおかけしましたことに関して誠に申し訳なく思っております。

ようやくこの問題に目を向けて、クロールのコントロールを強化するようだ。全体的なクローラ負荷を下げる、具体的には「最大クローラ頻度を9回/秒から1回/秒にする」「中小サイトに対してクローラ頻度を20秒/回以内にコントロール」「毎日のクローラ総量をコントロールする」などとしている。

Baiduspiderのアクセスをブロックするサイト運営者が増えれば増えるほど、日本語ページの収集に支障が生じ、結果として検索サービスそのものの提供が困難になる。検索サービスを成立させるためには検索利用者だけでなく、情報収集対象となるサイト運営者に対してもメリットを与える存在である必要があり、百度が熱心に日本市場の開拓に取り組んでいきますという姿勢の表れだろう。