「非公開」でも「拒否設定」しないと グーグル・ロボットで「情報流出」

「そのサーバーの存在を隠しておくことはほぼ不可能です」

   グーグルでは、「グーグルボット(Googlebot)」と呼ばれるロボットがウェブ上を巡回しており、ロボットが「探検した成果」が、検索対象としてデータベースに反映される仕組みだ。しかも、「私のサイトは、どこからもリンクをされていないから見つからない」という訳にはいかないようなのだ。

   グーグルが提供しているウェブサイト管理者向けの文書には「Googlebot が 『非公開』のウェブサーバーから情報をダウンロードするのはなぜですか」という質問項目があり、その答えでは

「ウェブサーバーへのリンクを公開しなくても、そのサーバーの存在を隠しておくことはほぼ不可能です」

と断言している。
   グーグルボットから逃れるためには、明示的に巡回を拒否するという設定が必要だ。今回の流出事件は、ID・パスワードをかけていなかったのはもちろん、この設定を怠っていたことが原因だとも言えそうだ。