O robots.txt é o primeiro arquivo que os robôs dos sites de busca procuram ao entrar no seu site pois nele existem as definições do que deve, ou não, ser indexado pelos sites de busca; por isso certos cuidados devem ser dispensados ao mesmo para evitar futuros problemas e ao mesmo tempo otimizar seu site ao máximo (SEO).

Hoje fui colocar no ar o blog corporativo da empresa onde estou trabalhando, o qual indico pra quem se interessa por tecnologia e inovação: inovaTIvidade, e precisava customizar o robots.txt para esconder certas pastas do WordPress que não tem necessidade de serem indexadas e outras páginas que prefiro que ele não indexe para evitar conteúdo duplicado.

Como sei que alguém já havia identificado essas pastas e arquivos antes, fui logo fazer uma pesquisa no oráculo para pegar este template do arquivo desenvolvido para quem usa WordPress.

Logo nos primeiros resultados encontrei um belo post do BrPoint que era exatamente o que procurava, segue o código pode usar ou acrescentar no seu site/ blog feito em WordPress:

User-agent: *
# remova certos diretorios
Disallow: /cgi-bin/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /tags/

User-agent: Googlebot
# remover scripts, css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# qualquer endereco que contenha ?
Disallow: /*?*

Se você não alterou a estrutura de permalinks padrão do WordPress para usar URLs amigáveis, remova as duas últimas linhas do código.

Pra quem não sabe muito bem o que é o robots.txt, pra que ele serve ou qual seu benefício para SEO, sugiro ler o post: Robots.txt na indexação de sites.

Compartilhe!