Este mês um de nossos sites teve toda a sua banda de tráfego consumida por robos desconhecidos, conforme tabela abaixo:
| Buscadores/Spiders visitantes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
* Robots shown here gave hits or traffic “not viewed” by visitors, so they are not included in other charts. Numbers after + are successful hits on “robots.txt” files
Para solucionar o problema nosso robot.txt foi alterado para o seguinte arquivo:
User-agent: Googlebot
Crawl-delay: 10
Disallow:
User-agent: MSNBot
Crawl-delay: 10
Disallow:
User-agent: Slurp
Crawl-delay: 10
Disallow:
User-agent: Teoma
Crawl-delay: 10
Disallow:
User-agent: Gigabot
Crawl-delay: 10
Disallow:
User-agent: Scrubby
Crawl-delay: 10
Disallow:
User-agent: Robozilla
Crawl-delay: 10
Disallow:
User-agent: KBroker
Crawl-delay: 10
Disallow:
User-agent: Ultraseek
Crawl-delay: 10
Disallow:
User-agent: *
Crawl-delay: 10
Disallow: /
User-agent: *
Crawl-delay: 20
Disallow: /mainpages
Disallow: /*.jpg
Por partes!
Liberei acesso aos robos conhecidos,
User-agent: Googlebot
Crawl-delay: 10
Disallow:
Bloqueados os desconhecido,
User-agent: *
Crawl-delay: 10
Disallow: /
Desabilitados os diretórios e arquivos com extensões especificas:
User-agent: *
Crawl-delay: 20
Disallow: /mainpages
Disallow: /*.jpg
Outras opcões, que não me interessava de momento:
desativar arquivos com ? na url
Disallow: /*?*
desabilitar o duggmirror
User-agent: duggmirror Disallow: /
desabilitar o site do WayBack
User-agent: ia_archiver Disallow: /
desabilitar google na busca por imagens
User-agent: Googlebot-Image Disallow: Allow: /*
Habilitar adsense em todo o site
User-agent: Mediapartners-Google* Disallow: Allow: /*
No próximo mês digo como foi o Outubro Vermelho!
Posted by Emule, filed under Sem categoria |
. Date: outubro 2, 2007, 9:45 am | Seja o primeiro a comentar »