Inicio > Curiosidades y varios > Cómo bloquear los bots de archive.org en WordPress

Cómo bloquear los bots de archive.org en WordPress

Hace unos días publicamos una entrada sobre Cómo eliminar una web de archive.org bloqueando sus bots a través de robots.txt. Hoy os explicamos como bloquear los bots de archive.org en WordPress.

Cómo muchos de vosotros utilizáis WordPress no es muy cómodo tener que subir un archivo robots.txt personalizado a través de FTP para bloquear los bots de archive.org. Además que de esta forma se pierden las carpetas y archivos que automáticamente WordPress bloquea y deja acceso.

Por esta razón hemos creado un plugin de WordPress para hacernos la vida más fácil. Hay dos opciones para bloquear los bots de archive.org:

  1. Os instaláis el plugin desde el repositorio oficial buscando por: “Block Archive.org via WordPress robots.txt“. Se instala y se activa. No tiene ajustes.
  2. Añadís las siguientes líneas de código al archivo functions.php de vuestro child theme (si no sabéis que es esto, usar la opción 1 que seguro os funcionará):
De esta forma el robots.txt estándar generado automáticamente por WordPress:

Robots.txt estándar de WordPress

Se convierte en este:

Robots.txt estándar de WordPress incluyendo bloqueo bots de archive.org

Si queréis verificar que el plugin funciona, lo que os tiene que aparecer en el robots.txt es la segunda imagen.

P.D. El plugin y el código pegado en el functions.php solo funcionan si NO existe un archivo físico de robots.txt en el directorio raíz del dominio. Y también solo funciona si WordPress está instalado en el directorio raíz del directorio. Si está instalado en un subdirectorio no funciona.

OJO: Esto elimina la web en la que se activa de archive.org y se pierde su histórico (que no se puede recuperar). Por tanto tener cuidado a la hora de utilizarlo y solo activarlo si lo que queréis es que vuestra web se desindexe de archive.org y los bots no la sigan visitando.

Página bloqueada en archive.org por directivas de robots.txt

Descubre porqué somos Apasionados del Marketing

Mira también

Estrategias de Marketing para centros educativos

Estrategias de Marketing para centros educativos

Hoy os queremos presentar una metodología que usamos para conseguir matrículas de colegios, academias y …

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Los comentarios de está página están moderados y no siempre aparecerán inmediatamente en la página al ser enviados. No se permiten comentarios contrarios a las leyes españolas. Tampoco se permiten descalificaciones personales, comentarios maleducados, ataques directos, ridiculizaciones personales, calificativos insultantes de cualquier tipo, estén dirigidos a los autores de la página o a un comentarista. Por favor cíñete al tema, no utilices los comentarios como autopromoción sin aportar nada, no comentes de manera repetitiva, y mucho menos con varias identidades o suplantando a otros comentaristas. Los comentarios que incumplan estas normas serán eliminados.
Destacar que todos los enlaces que consideremos inadecuados, estén rotos o lleven a contenidos contrarios a las leyes españolas serán eliminados.

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.