A keresőrobot , vagy webbejáró ( eng. Web crawler ; megtalálható a " web spider " név is) egy olyan program , amely a keresőmotor szerves részét képezi, és arra készült, hogy az internetes oldalakat válogatja , és információkat vigyen be azokról a kereső adatbázisa .
A cselekvés elve szerint a "pók" egy hagyományos böngészőhöz hasonlít . Az oldal tartalmát elemzi, valamilyen speciális formában tárolja a kereső szerverén, és linkeket küld a következő oldalakra. Az oldalfeltérképezés sorrendjét, a látogatások gyakoriságát, a hurokvédelmet és az értelmes információk kiemelésének kritériumait információ-visszakereső algoritmusok határozzák meg . A legtöbb esetben az egyik oldalról a másikra való áttérés az első és a következő oldalakon található linkek segítségével történik.
A keresőmotor-tulajdonosok gyakran korlátozzák a pók behatolási mélységét a webhelyen és a beolvasott szöveg maximális méretét, így előfordulhat, hogy a túl nagy webhelyeket a keresőmotor nem indexeli teljesen. A közönséges pókok mellett léteznek úgynevezett „ harkályok ” – olyan robotok, amelyek „megérintenek” egy indexelt webhelyet, hogy megállapítsák, hogy az elérhető-e.
Ezenkívül számos keresőmotor lehetőséget biztosít a felhasználónak, hogy önállóan vegye fel a webhelyet az indexelési sorba . Ez általában jelentősen felgyorsítja az oldal indexelését, és azokban az esetekben, amikor semmilyen külső hivatkozás nem vezet az oldalra, általában szinte az egyetlen módja annak, hogy jelezze a webhely létezését. Egy webhely gyors indexelésének másik módja a keresőszolgáltatásokhoz tartozó webelemző rendszerek hozzáadása a webhelyhez. Például a Google Analytics , a Yandex.Metrika és a Рейтинг@Mail.ru .
A robots.txt fájl segítségével korlátozhatja a webhelyindexelést . Az indexelés elleni teljes védelmet más mechanizmusok is biztosíthatják, például jelszó beállítása az oldalon, vagy regisztrációs űrlap kitöltése a tartalom elérése előtt.