Это я взяла у Дмитрия Севальнева с осеннего SEO-Апгрейда (
4. Ограничения к индексации файла через robots.txt (последняя мера, а не первая).
Кстати, сам осенний SEO-Upgrade в записи тоже можно еще пока получить, даже со скидкой. Это далеко не самая интересная и где-то сотая часть того, о чем рассказывалось действительно опытными специалистами.
Попозже я, возможно, напишу, как проверить дубли страниц. Но про это и так написано достаточно много.
