Apacheでネットワークのクローラー(Crawler)を拒否する方法
設定内容:
<Location />
SetEnvIfNoCase User-Agent “spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
Deny from XXXX
Deny from env=bad_bot
</Location>
SetEnvIfNoCase User-Agent “spider" bad_bot