Google disminuirá tasa de rastreo para páginas web este 2022

Sí, tal como lo lees: Google disminuirá tasa de rastreo para páginas este 2022. Esto, en principio, parece una mala noticia, toda vez que muchos dueños (o responsables de sitios web), experimentamos en 2021 considerables retrasos en los tiempos de indexación por parte de Google.

¿Por qué Google disminuirá tasa de rastreo para sitios web en 2022?

Esta propuesta, la de que Google disminuirá tasa de rastreo, fue discutida recientemente en el podcast de Search Off the Record, conducido por el “representante de búsqueda” de Google, John Mueller, junto con Martin Splitt y Gary Illyes.

Pero ¿por qué? La respuesta radica en la “conservación (o ahorro) de recursos computacionales”. Y no es que el Google Bot sea un particular consumidor de energía, sino que, de acuerdo a los invitados al podcast, es posible ser mucho más eficientes en el uso de los recursos.

Incluso uno de los integrantes del podcaste (parece ser que Gary), bromea al decir que este año van a alimentar al Google Bot con comida saludable, como lo serían las ensaladas (gulp!).

Mueller prosigue la conversación afirmando que mucha gente había mostrado su descontento respecto al performance del rastreo y la indexación de los sitios web. Martin responde a esto que lo más seguro es que en 2022 se ponga mucha más atención a estos temas, y que seguramente se enfocarán al tema “sostenible” del rastreo y de la indexación.

Recursos computacionales en juego

Martin explica que realizar tareas computacionales es un trabajo que no podría considerarse precisamente “amigable” para el ambiente. Para ello, pone el ejemplo del minado de criptomonedas, que tiene un impacto real en el medio ambiente y que, de hecho, es posible medir con diversas herramientas.

Esto es especialmente cierto cuando la electricidad usada para el minado de criptomonedas proviene de plantas que usan carbón para generar electricidad, lo que tiene un impacto más que considerable en el ambiente.

En este punto, se explica que Google es una empresa que consume electricidad que no se genera de fuentes fósiles (carbon-free) desde 2007 (o 2009).

Lo anterior no quiere decir que no sea posible disminuir todavía más, el uso de recursos energéticos, con el fin de no tener un impacto tan grande en el ambiente.

¿Cómo se logrará disminuir el impacto ambiental de los rastreos de Google?

Para alcanzar una mejor “sostenibilidad”, Gary explica que hay una manera en la que están pensando en hacerlo, y esa es reducir la actualización de rastreos (refresh crawls), lo que explica de la siguiente manera:

Algo que hacemos, y que posiblemente no necesitariamos hacer tan frecuentemente, es la actualización de rastreos. Esto significa que una vez que hemos descubierto un documento, una URL, entonces vamos, la rastreamos, y entonces, eventualmente, regresamos y revisitamos esa URL. Eso es una actualización de rastreo.

Y entonces, cada vez que regresamos a esa URL, esa acción siempre será una actualización de rastreo. Ahora, ¿qué tan frecuentemente necesitamos regresar a esa URL?

En este punto, Gary explica que todo dependel tipo de página de que se trate, y de los contenidos de sus URL’s. Se ejemplifica la página de The WallStreet Journal que, al ser una página de noticias, actualiza su home page constantemente, con el fin de reflejar las últimas novedades.

Pero su página About Us seguramente no recibe tantas actualizaciones, por lo que no es necesario que el bot de Google regrese a ella tan frecuentemente para revisar si han habido cambios o actualizaciones.

Por esta razón, no es necesario que el citado bot regrese tantas veces a páginas en las que se sabe que no habrá actualizaciones. Realizar esta tarea, por pequeña que se vea, multiplicada por millones de páginas, que contienen cientos de miles de millones de URLs, es una tarea computacional que requiere recursos energéticos y que, además, resulta una acción innecesaria.

Definitivamente tenemos un área de oportunidad en lo que respecta a las actualizaciones de rastreo. Porque en algunas ocasiones simplemente es un desperdicio que estemos regresando a la misma URL una y otra vez.

En ocasiones estamos visitando páginas 404 (no encontradas), sin razón alguna. Y estas son cosas en las que básicamente podemos mejorar para reducir nuestra huella energética todavía más.

¿Cómo afectará a tu sitio web la disminución de la tasa de rastreo de Google?

Para empezar, esta es sólo una idea o proyecto. No es un hecho consumado que vaya a realizarse, ni existe, al parecer, un roadmap de acciones ni temporalidades.

Pero imaginemos que comienza a implementarse, ¿cómo afectaría a tu sitio web esta medida? La respuesta es: depende.

En general puede decirse que la medida es positiva. Al ahorrarse recursos de rastreo (crawl budget) en sitios o páginas grandes, tales como la del ejemplo de The WallStreet Journal, esto permitirá (según creo), que este budget sobrante pueda destinarse a otras páginas, posiblemente, no tan relevantes.

Dicho lo anterior, recordemos que durante 2021, especialmente durante la segunda mitad, los usuarios de Google Search Console estuvieron quejándose porque el bot de Google rastreaba y descubría las URL’s de un sitio, pero no las indexaba.

Limitar las actualizaciones de rastreo y el presupuesto de rastreo para las páginas afectará, creo yo (y en caso de que efectivamente se implemente), en mayor medida, a los pequeños sitios web, que luchan encarnizadamente por hacerse presentes en el buscador de Google.

El podcast de Search Off the Record

Si deseas escuchar el podcast, te dejo el recurso de YouTube a continuación:

Si te gusta el SEO, pueden interesarte otros de mis artículos, como aquel respecto al fin del porcentaje de rebote como métrica esencial para Google y el SEO, o bien, el relativo a marcar texto en negritas sí ayuda al SEO.

Pero bueno, y tú ¿qué opinas sobre este tema?

---

Gracias por visitar mi página y dar lectura a mis artículos. Te recomiendo que te suscribas a la newsletter del blog, y visites las demás categorías: SEO, Historia, Videojuegos, Turismo.