El Google Crawler o GoogleBot, és un software que és l’encarregat de rastrejar les pàgines web per indexar-les als servidors de Google. Per això, saber com funciona pot ajudar a optimitzar el vostre contingut i a ajustar lo segons les pautes de qualitat del motor de cerques. El crawler més popular és GoogleBot, el rastrejador de Google, però, cada motor de cerca té el seu propi Crawler.
Els crawlers també són coneguts com aranyes, spiders o bots, i totes aquestes paraules fan referència a Programes que tenen els cercadors com Google i que naveguen per la web seguint enllaços d’una pàgina a una altra. Crawling es refereix al rastreig i la lectura que fan els bots de cada motor de cerca en arribar a una Pàgina. Els crawlers revisen el codi amb què va ser programada la pàgina per verificar si hi ha algun problema i si el seu contingut està optimitzat per als motors de cerca.
El primer pas que realitza GoogleBot és buscar a la web quines són les noves URL que pot indexar, cosa que es realitza de forma automàtica i, segons Hubspot, pot prendre 1.375 minuts. És a dir, si vas publicar una pàgina web nova, probablement el crawler de Google la pugui indexar en poc menys d’un dia.
De fet, quan es crea una pàgina nova els servidors de Google reben un ping que els indica que hi ha nou contingut per catalogar. És important esmentar que els propietaris dels llocs web poden contribuir que el crawler de Google faci això en menys temps i de manera més efectiva. Per fer-ho, s’ha d’enviar, de forma manual, el sitemap a Google a través de Google Search Console.
El crawler de Google també sencarrega de llegir i analitzar el codi dels llocs que va trobar. A més, segueix totes les cadenes d’enllaços que estiguin vinculats al lloc, cosa que hem de tenir present en el moment de fer interlinking. És important saber que l’únic que llegeix GoogleBot és codi, així que les pàgines han d’estar optimitzades al màxim perquè s’indexin correctament. Per exemple, el crawler no pot veure què hi ha a una imatge, però pot llegir els seus atributs alt.
Finalment, el crawler de Google envia les dades que va trobar i analitzar als seus servidors, per fer la indexació i definir el rànquing de pàgines que apareixeran a les SERPs per a determinats tipus de cerca. Aquest llistat de pàgines es realitza tenint en compte més de 200 criteris d’avaluació, per això és que és tan important aprendre SEO. Amb una bona estratègia pots saber com indexar una web a Google de manera ràpida i senzilla.
Els crawlers són una de les eines més importants per al funcionament de l’Internet tal com el coneixem. En especial, perquè permeten que un motor de cerca com Google pugui organitzar tot el contingut que és a la web. El procés de web spidering, com també se’l coneix a l’anàlisi que fan els web crawler, és fonamental per tenir actualitzada la base de dades dels motors de cerca i indexar els continguts en funció de la seva optimització i la rellevància que puguin tenir per a les cerques dels usuaris.
