Subscribe Subscribe | Subscribe Comments RSS
資訊技術、資訊教學與ㄚ亮頭路的相關記事
上個月學校終於拉近夢寐以求的光纖網路(10M/2M),但好景不長,飆網的快感很快就消失了。
查看防火牆的log檔,赫然發現有數個IP不停地從校內的伺服器拉圖片檔,循線追查,兇手竟然是我崇拜的大神–Google,真是晴天霹靂!!!
據Google的說明,應該是在建立索引,而且「只有應網主要求後 Google 才會停止為該網站建立索引」,而且申請後也不能馬上見效必須等待……平常甚為崇拜Google 大神的我真的有點幻滅
Google大神給我的的回答:
我根據Google大神的指示,在校內被爬的伺服器的網頁根部放入robots.txt檔,效果不錯