Файл robots.txt на вашем блоге или сайте важный элемент. Этот пост должен помочь тем, кто недавно создал свой сайт или блог. Сама тема не нова и Вы, конечно же, многократно «встречались» с этим плагином, и знаете его предназначение для ресурсов, созданных на базе WordPress.
Коротко поясню, robots.txt — особый файл в формате txt , куда заложена подсказка для поисковых роботов. Благодаря этому плагину, можно ввести запрет на индексацию, выбранных Вами страниц, записей и др., а так же, точно указать зеркало домена и расписать путь к плагину sitemap.xml .
Когда я создавал свои первые блоги и сайты, то об этом плагине мне было лишь известно, что его присутствие необходимо, но со временем узнал больше и сегодня хочу поделиться информацией, которая будет для Вас, уважаемый читатель, весьма полезной.
Для того, чтобы исключить ошибку, связанную с созданием и заполнением плагина robots.txt, необходимо выполнить проверку его на ошибку, так называемого, «хитрого пробела». В принципе, такая ошибка имеет определённую вероятность быть, но она не обязательна. И тем не менее я рекомендую Вам выполнить такую проверку.
Предлагаю посмотреть небольшой урок, как найти и устранить эту ошибку. Урок проводит преподаватель Тренинг центра «Твой старт» Михаил Гаврилов.
