Inicio > BUSCADORES > Google requiere un archivo robots.txt para indexar una web

Google requiere un archivo robots.txt para indexar una web

Investigando la optimización SEO en páginas web realizadas con DRUPAL he vuelto a encontrar la siguiente afirmación de John Mueller (analista de Google) del 1 de diciembre de 2008:

Si Googlebot no puede acceder al archivo robots.txt (porque por ejemplo el servidor devuelva un código de error 5xx) entonces no va a indexar la página web.

Lo cual significa que si no hay archivo robots.txt, Google no va a indexar la página web.

El comentario está en Google Webmaster Help: «When does link exchange between sites owned by the same company cause a google penalty«. El usuario es JohnMu y la entrada es de 1 dic 2008, 13:21. La entrada está bajando bastante hacia abajo en la conversación.

Descubre porqué somos Apasionados del Marketing

Mira también

Indexar contenidos de forma inmediata en Bing

La semana pasada BING oficialmente recomendó que todos deberíamos usar su herramienta «Enviar direcciones URL» …

Un comentario

  1. Se me ha olvidado añadir lo siguiente al final del post:
    Yo tengo mis dudas que esto sea cierto, ya que habitualmente me encuentro con páginas realizadas por otras empresas / personas y muchas de ellas están indexadas en Google, sin tener robots.txt.
    Voy a hacer unos cuantos experimentos con este tema. Os mantengo informados.