(Last Updated On: 06/12/2017)

O que é Robots.txt?

Robots.txt é um arquivo de texto que permite que um site forneça instruções para os bots ou robots de rastreamento dos mecanismos de pesquisa da Web, como o Google, Bing ou Yahoo, acessem ou não determinadas páginas ou pastas de um website.

Os motores de buscas usam para essa tarefa de pesquisa rastreadores, às vezes chamados de robôs, bots ou “crawlers”, para arquivar e classificar hierarquicamente as páginas de um site.

Os bots/robôs usados pelos motores de buscas estão configurados para procurar um arquivo Robots.txt no servidor antes de ler qualquer outro arquivo de um site.

Os bots fazem o rastreamento dos arquivos de um site para saber se o proprietário do mesmo deixou alguma instrução especial no arquivo Robots.txt.

O arquivo Robots.txt contém um conjunto de instruções que solicitam aos bots (robots) para ignorar arquivos ou diretórios específicos determinados pelo dono do site.

Isso pode ser para fins de privacidade ou porque o controlador do site acredita que o conteúdo desses arquivos e diretórios é irrelevante para a classificação do site nos mecanismos de pesquisa/busca.

Se um site tiver mais de um subdomínio, cada subdomínio deve ter seu próprio arquivo robots.txt.

É importante notar que nem todos os bots irão “honrar” um arquivo Robots.txt.

Alguns bots maliciosos até lerão o arquivo Robots.txt para encontrar quais arquivos e diretórios devem primeiro verificar.

Além disso, mesmo que um arquivo robots.txt instrua os bots a ignorar páginas específicas no site, essas páginas ainda podem aparecer nos resultados de busca, já que estão vinculados à outras páginas que são rastreadas.

Exemplo de um Robots.txt

Imagem de um arquivo.txt

Atenção: Atualização SSL

Em outubro ocorreu a atualização do Google Chrome e os sites sem Certificados SSL serão exibidos como não seguros para os visitantes.

Se você não tiver o seu SSL instalado, providencie sua instalação, assim que possível.

Leia também: Porque usar o Google AMP no seu site WordPress

Como o Robots.txt ajuda os proprietários de sites?
4.8 (95%) 8 votes

Publicado por Mauricio Alex

Blogueiro, radialista, diretor de tv, escritor e Empreendedor Digital.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.

Copy Protected by Chetan's WP-Copyprotect.