domingo, 24 de septiembre de 2017

Bloquear el bot de Yandex en Blogger

Nota: esto lo escribí hace un año, por lo tanto, puede que el bot de Yandex ya no sea tan molesto.

Bloquear el robot de Yandex en un blogspot.com mediante el archivo robots.txt disponible en Blogger en 2 minutos. Pero, ¿por qué? Porque me tiene re podrido y lógicamente, al ser un buscador ruso y para colmos basado en regiones, no envía nunca una visita, pero a su vez es muy pesado su spider, ya sé, estando el blog en Blogger poco importan los recursos que consuman, sí, pero distorsiona todas las estadísticas y si quieres saber la cantidad de visitas tienes que hacer cuentas, todo por un bot que abusa y que en la práctica no sirve para nada, ni para Yandex que gasta recursos, ni para Blogger ni para mí.

Volvamos a los prometido, bloquear éste (o cualquier otro) robot en 2 minutos:


En nuestro escritorio de Blogger, vamos a “Configuración” y luego a “Preferencias para motores de búsqueda”. En la parte que dice “Rastreadores e indexación” hacemos click en “Editar” Archivo robots.tx personalizado y le agregamos lo siguiente:

User-agent: yandex*
Disallow:
/

Click en el botón “Guardar cambios”. Eso es todo.

Explicación: con Disallow: / establecemos que se bloquee todo el sitio y con User-agent indicamos que la orden es para todos los robots cuyos nombres comiencen con yandex.
Esto no afecta al resto de los bots.

Aclaración: si bien en esta entrada se explica como hacerlo en Blogger, estas lineas funcionan igual en cualquier robots.txt de cualquier sitio y es aplicable para cualquier bot, solo se debe tener la posibilidad de editarlo y, de no existir, de crearlo.

No hay comentarios:

Publicar un comentario