Стоит ли в файле Robots.txt закрывать от индексации тэги?

Стоит ли в файле Robots.txt закрывать от индексации тэги?
Очень любопытная статья, стоит почитать - http://www.novichkoff.ru/stoit-li-v-fajle-robots-txt-zakryvat-ot-indeksacii-tegi.html