Apacheでネットワークのクローラー（Crawler）を拒否する方法

2014年7月29日

設定内容：
<Location />
SetEnvIfNoCase User-Agent “spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
Deny from 　XXXX
Deny from env=bad_bot
</Location>
SetEnvIfNoCase User-Agent “spider" bad_bot