Поисковик не приветствует попадание контента из файла robots.txt или sitemap.xml в результаты поиска.

Читать далее

©