Inicio > BUSCADORES > Google requiere un archivo robots.txt para indexar una web

Google requiere un archivo robots.txt para indexar una web

Investigando la optimización SEO en páginas web realizadas con DRUPAL he vuelto a encontrar la siguiente afirmación de John Mueller (analista de Google) del 1 de diciembre de 2008:

Si Googlebot no puede acceder al archivo robots.txt (porque por ejemplo el servidor devuelva un código de error 5xx) entonces no va a indexar la página web.

Lo cual significa que si no hay archivo robots.txt, Google no va a indexar la página web.

El comentario está en Google Webmaster Help: “When does link exchange between sites owned by the same company cause a google penalty“. El usuario es JohnMu y la entrada es de 1 dic 2008, 13:21. La entrada está bajando bastante hacia abajo en la conversación.

Descubre porqué somos Apasionados del Marketing

Mira también

Error 401: Contenido eliminado

Cómo eliminar correctamente contenido de una web

Cuando eliminamos una página o una noticia de una página web, normalmente eliminamos a la …

Un comentario

  1. Se me ha olvidado añadir lo siguiente al final del post:
    Yo tengo mis dudas que esto sea cierto, ya que habitualmente me encuentro con páginas realizadas por otras empresas / personas y muchas de ellas están indexadas en Google, sin tener robots.txt.
    Voy a hacer unos cuantos experimentos con este tema. Os mantengo informados.