Inicio > Curiosidades y varios > Cómo impedir a los bots acceder a tu sitio WordPress

Cómo impedir a los bots acceder a tu sitio WordPress

Últimamente me han preguntado varias personas como puede ser que haya determinadas páginas web bien posicionadas en términos muy competidos, pero que en herramientas como AHREFS, MajesticSEO o MOZ no tienen casi enlaces entrantes. Una de las formas de conseguirlo es bloqueando el acceso a los bots de estos servicios a las páginas que enlazan al “money-site”.

Hace un año ya escribí algo respecto al tema de los bots o arañas web y como impedir que puedan acceder a nuestro WordPress. Os recomiendo echarle un vistazo ya que tiene mucho contenido que aquí no se va a repetir: Controla el acceso de los bots o arañas web a tu WordPress.

Lo que pasa que ese post era un post más genérico dirigido a todos los bots. Esta vez nos vamos a centrar en los bots de servicios online que permiten obtener el perfil de enlaces de una web.

Link Privacy: Bloquea herramientas de monitorización de enlaces entrantes (backlinks)

Bloquear bots que quieran saber a quien enlazas

Básicamente este es el resumen de lo que hoy os vamos a explicar como hacer:

  • Bloquear los bots que analizan páginas web para encontrar enlaces hacia otras webs y que después realizan informes de enlaces para que podamos hacernos una idea de los enlaces que tiene una web y podamos inferir qué esfuerzo de linkbuilding están realizando y cual es su estrategia. O sea, bloquear las herramientas de monitorización de enlaces (backlinks).

Si instalamos unos de estos plugins que hoy os vamos a presentar, el bot no puede acceder para leer la web y analizar los enlaces salientes. Por tanto todos esos enlaces no van a aparecer en los resúmenes que hagan de dominios que estén enlazados en las webs que tengan bloqueado su acceso.

Esto hace que haya dominios posicionados en términos competidos donde sea imposible determinar porqué están posicionados realizando un análisis de su perfil de enlaces obtenido de un servicio online.

Spyder Spanker Pro ssNuke

Bloquea los bots con Spyder Spanker

Ahí os presentaba el plugin Spyder Spanker Pro para evitar el acceso a WordPress de bots “malignos”. Este plugin sigue siendo igual de válido, aunque su sistema de actualizaciones no nos acaba de convencer. De Spyder Spanker existen tres versiones:

  • Spyder Spanker Classsic: No permite detener ataques en tiempo real. Es necesario actualizar las IPs a bloquear manualmente y no se tiene acceso a las actualizaciones de otros usuarios (ellos lo llaman: “community updates”.
  • Spyder Spanker Pro: Es la versión profesional de pago que incluye todo lo que acabamos de detallar que la versión Classic no permite (precios: Pro para dominios propios: 50,46 USD; Developer para dominios ilimitados propios y de terceros: 71,78 USD).
  • Spyder Spanker ssNuke (lanzado en septiembre de 2014 después de la publicación del post anterior): Además de las características de la versión Pro permite bloqueos por país, solo permitir el tráfico que decidamos, además de permitir bloquear a Moz y Semalt (necesita tener la versión Pro Developer y obtener una suscripción: 19,00 USD/mes, 89,00 USD/año, 159,00 USD/bianual).

Muy importante a la hora de usar Spyder Spanker: Necesita tener una versión de PHP 5.2 o superior, CURL, una versión de MySQL 4 o superior y el ionCube Loader (esto puede no estar disponible en todos los alojamientos web, por lo que es importante comprobar que se cumplen todos los requisitos -> Para eso recomendamos instalar primero la versión Classic gratuita y ver si funciona).

El tema de la suscripción no nos hace mucha gracia, por lo que empezamos a buscar alternativas para poder bloquear los bots que nos interesen de una forma sencilla y sin dejar un rastro en la web.

Link Privacy: Grupo de Facebook

Bloquea bots con: Link Privacy

Uno de los plugins gratuitos que llevamos utilizando unos meses y que permite una funcionalidad parecida a Spyder Spanker es “Link Privacy“.

Link Privacy permite proteger páginas de WordPress de bots y nada más activarlo y con los ajustes por defecto empieza a funcionar. Su pantalla de configuración contiene una serie de bots por defecto para los cuales nos permite ajustar si permitimos que accedan (Action está vacío) o si bloqueamos su acceso (Action es Deny o alguna de las otras dos opciones).

Este es un ejemplo de la configuración de Link Privacy:

Link Privacy Plugin: Configuración

Además de los bots que conoce, al final se pueden añadir bots propios: Solo hay que ponerle un nombre y la URL del mismo:

Link Privacy: Añadir Bot

Por tanto no hay que editar nada y rápidamente lo podemos tener funcionando.

Una de las ventajas de Link Privacy es que intenta no dejar ninguna huella (“footprint”) en las instalaciones de WordPress, dificultando así su detección por parte de Google y de competidores. Al intentar acceder a la carpeta dentro de plugins muestra un mensaje de error 404.

Para los bots se pueden establecer tres formas distintas de bloqueo:

  • Impedir el acceso (“Deny”).
  • Mostrar una página vacía (“Cloak Empty Page”).
  • Añadir el bot a robots.txt y bloquearlo desde ahí (“Add to Robots.txt”).

Lo que mejor funciona (y lo que usamos nosotros) es el primero: DENY.

CUIDADO con bloquear el GOOGLEBOT, porque entonces Google no podrá acceder a la web y no la podrá indexar.

Para obtener automáticamente las actualizaciones de “Link Privacy”:

  • Para actualizar el plugin y que haya menos posibilidades de detectar que está instalado, no usa una función propia de actualización, sino que usa “GitHub Updater que comprueba si existe una versión actualizada del plugin en el repositorio de Link Privacy en Github.
  • Hay que instalar ese plugin para que vaya comprobando periódicamente si hay actualizaciones disponibles. Link Privacy nos avisará con un mensaje que no se puede quitar por si no está instalado. OJO: Por defecto Github Updater se instala en la carpeta github-updater-master cuando debería de ser: github-updater. Lo más sencillo es entrar por FTP y modificarlo. Si no se modifica y se deja con la carpeta original, no se va el mensaje de Link Privacy diciendo que es imprescindible instalar ese plugin para las actualizaciones (Link Privacy comprueba que el archivo github-updater/github-updater.php está instalado y activo).

Además de la web para obtener el plugin (web Link Privacy) también hay un grupo de Facebook para solucionar dudas.

Por cierto: Si entráis a su web hay un botón en el que pone “Get The Free Plugin now!”, que si pincháis os lleva a un carrito de compra, pero donde el precio del plugin es 0 USD:

Link Privacy: Comprar el plugin por 0 EUR.

Le dais a “Check Out”, rellenáis vuestros datos y le dais a “Place Order”. En unos minutos os llega un email con el enlace para la descarga. No hay que poner tarjeta de crédito ni nada, lo único que necesitáis es un email al que tengáis acceso.

Por cierto, la versión actual en el momento de la publicación de este post es la: 1.2.5.3.

 

Esperamos que os haya parecido interesante y os sirva. Para cualquier duda o pregunta, dejarnos un comentario.

Imágenes: Shutterstock: Ociacia

Descubre porqué somos Apasionados del Marketing

Mira también

Se acaba el 2014: Recopilamos el año.

Se acaba el 2014: Recopilamos el año.

Y ya se acaba el 2015. Un año con una estrategia distinta en el blog. …

2 comentarios

  1. Me interesa su asesoría o eventual apoyo para asegurar que una página web (HTML5 o WordPress, aun no se determina), no sea de ninguna forma indexada o rastreada en internet, el propósito de la misma es porque se digitalizarán y subirán materiales que deben ser accesados y solo del conocimiento de los alumnos inscritos a los cursos, por eso el interés de que esa página NO aparezca en buscadores, ni ninguno de los artículos, títulos o materiales del mismo, gracias.

    • Hola Raúl. La mejor y única forma efectiva de proteger una página web para que no sea indexada o rastreada en internet es protegiendo el acceso a la misma con una contraseña por ejemplo a través del archivo .htaccess. Si la página es accesible y por mucho que se indique a los buscadores que no la indexen / rastreen, siempre pueden hacerlo. Por tanto: Para impedir indexación la única solución es impedir el acceso protegiéndolo con contraseña.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Los comentarios de está página están moderados y no siempre aparecerán inmediatamente en la página al ser enviados. No se permiten comentarios contrarios a las leyes españolas. Tampoco se permiten descalificaciones personales, comentarios maleducados, ataques directos, ridiculizaciones personales, calificativos insultantes de cualquier tipo, estén dirigidos a los autores de la página o a un comentarista. Por favor cíñete al tema, no utilices los comentarios como autopromoción sin aportar nada, no comentes de manera repetitiva, y mucho menos con varias identidades o suplantando a otros comentaristas. Los comentarios que incumplan estas normas serán eliminados.
Destacar que todos los enlaces que consideremos inadecuados, estén rotos o lleven a contenidos contrarios a las leyes españolas serán eliminados.