If you have spent any time browsing through folders on your webserver you will likely have come across a file called robots.txt.
This video covers the basics of what the file is, how to properly create one, and what the alternatives are.
Code GIST: https://gist.github.com/prof3ssorSt3v...
На этой странице сайта вы можете посмотреть видео онлайн What is the robots.txt File длительностью часов минут секунд в хорошем качестве, которое загрузил пользователь Steve Griffith - Prof3ssorSt3v3 11 Февраль 2018, поделитесь ссылкой с друзьями и знакомыми, на youtube это видео уже посмотрели 250 раз и оно понравилось 15 зрителям. Приятного просмотра!