Inicio > BUSCADORES > Google requiere un archivo robots.txt para indexar una web

Google requiere un archivo robots.txt para indexar una web

Investigando la optimización SEO en páginas web realizadas con DRUPAL he vuelto a encontrar la siguiente afirmación de John Mueller (analista de Google) del 1 de diciembre de 2008:

Si Googlebot no puede acceder al archivo robots.txt (porque por ejemplo el servidor devuelva un código de error 5xx) entonces no va a indexar la página web.

Lo cual significa que si no hay archivo robots.txt, Google no va a indexar la página web.

El comentario está en Google Webmaster Help: “When does link exchange between sites owned by the same company cause a google penalty“. El usuario es JohnMu y la entrada es de 1 dic 2008, 13:21. La entrada está bajando bastante hacia abajo en la conversación.

Descubre porqué somos Apasionados del Marketing

Mira también

La velocidad de las páginas sí tendrá influencia en el posicionamiento

La velocidad de las páginas sí tendrá influencia en el posicionamiento

Después del post que publicamos hace unos días: “La velocidad de carga de las páginas …

Un comentario

  1. Se me ha olvidado añadir lo siguiente al final del post:
    Yo tengo mis dudas que esto sea cierto, ya que habitualmente me encuentro con páginas realizadas por otras empresas / personas y muchas de ellas están indexadas en Google, sin tener robots.txt.
    Voy a hacer unos cuantos experimentos con este tema. Os mantengo informados.