
Robots.txt – O que é e como criar
3 minutos Você já parou para pensar como Google, Yahoo, Bing e outros buscadores encontram todas as páginas que os usuários pesquisam? De forma simples, eles utilizam robôs de busca que percorrem toda web. A missão deles é indexar conteúdos que podem ser exibidos nos resultados de busca. No entanto, todos os sites possuem páginas que não são interessantes serem apresentadas nos resultados. Aqui, estamos falando de áreas restritas do site, como páginas de login, de acesso à intranet, além das pastas do administrador. Continue lendo→