If you have spent any time browsing through folders on your webserver you will likely have come across a file called robots.txt.
This video covers the basics of what the file is, how to properly create one, and what the alternatives are.
Code GIST: https://gist.github.com/prof3ssorSt3v...
Nesta página do site você pode assistir ao vídeo on-line What is the robots.txt File duração hora minuto segundo em boa qualidade , que foi baixado pelo usuário Steve Griffith - Prof3ssorSt3v3 11 Fevereiro 2018, compartilhe o link com seus amigos e conhecidos, no youtube este vídeo já foi visto 250 vezes e gostou 15 espectadores. Boa visualização!