Результаты поиска в результатах поиска

Очень часто мы можем наблюдать выдачу поисковиков, содержащую десятки и тысячи страниц с результатами поиска на сайтах. Понятно, что это серьёзно перегружает поисковые роботы и серверы, и Google наконец-то стал рекомендовать блокировать такие страницы от индексации поисковыми ботами.

На данной странице можно прочесть следующее:

Для запрещения индексации результатов поиска или других автоматически генерируемых страниц используйте файл robots.txt.

Примерно так:

User-Agent: Googlebot (или * для всех ботов)
Disallow: /search/