Come bloccare Yandex bot dal proprio sito

Ho notato dai log del webserver che Yandex Bot (un robot russo) scansiona il mio sito consumando una banda enorme. Nel mio caso siamo a poco più di 2Gb al giorno e onestamente ai russi del mio sito penso che poco importi.

Yandex è il motore di ricerca più utilizzato in Russia, basta pensare che circa il 75% delle ricerche è suo; quindi fate attenzione a bloccare questo robot perchè così facendo vi escludete la visibilità verso la Russia. Nel mio caso poco mi importa in quanto non penso che i Russi siano interessati al mio Blog in quanto è scritto solamente in italiano.

Per bloccare questo robot il metodo più veloce e corretto è quello di utilizzare il file robots.txt nella root del proprio host:


# The following allows all robots to visit all files
User-agent: Yandex
Disallow: /

In questo abbiamo evitato che questo Robot abbia accesso al nostro sito, ovviamente questo metodo è valido anche per altri robot, basta cambiare Yandex con il nome del robot che volete escludere.