Motoarele de căutare reprezintă portalul prin care accesăm informațiile aflate pe internet. Dar în spatele acelor interfețe simple pe care le cunoaștem cu toții există mii de microprocesoare și algoritmi care analizează permanent (crawling) world wide web-ul și indexează (organizează) conținutul pentru ca noi să îl putem accesta în materie de milisecunde.
Imaginează-ți tot Internetul ca o mare pânză de păianjen în care fiecare intersecție de pe acea pânză reprezintă o pagină, iar pânza reprezintă link-urile. Pentru a găsi toate documentele de pe Internet, Google folosește programe software numite spiders („păianjeni”) sau crawlers ( „târâtori”) cu care scanează toate site-urile de pe Internet pe care apoi le stochează pe niște calculatoare uriașe numite servere.
Unul din spiderii cu care Google scanează se numește Googlebot. Acesta se folosește de link-uri pentru a găsi paginile web. Adică, dacă spiderii încep să răscolească Internetul de pe site-ul A, iar către site-ul A sunt linkuri de la site-ul B, C și D, păienjenii vor urmări legăturile de la site-ul A către site-urile B, C și D.
