Az indexelés a keresőmotorokban ( webes indexelés ) az a folyamat, amelynek során egy keresőmotor- robot információt ad hozzá (egy webhelyről) egy adatbázishoz , amelyet ezt követően ( teljes szöveges ) információk lekérésére használnak az indexelt webhelyeken .
Az oldallal kapcsolatos információk leggyakrabban kulcsszavakat tartalmaznak (a kulcsszavak meghatározásának algoritmusa a keresőtől függ ), cikkek, linkek, dokumentumok, képek, hanganyagok stb. is indexelhetők.
Vannak bizonyos korlátozások az indexelt adatok típusaira ( javascript , flash fájlok).
Az indexelés szabályozására (például egy adott oldal indexelésének tiltására) a robots.txt fájl és az olyan utasítások használatosak, mint a Disallow, Allow, User-agent, Crawl-delay és mások. Ezenkívül az indexelés szabályozására a <noindex> címkéket és a <nofollow> attribútumot használják , amelyek bezárják a webhely tartalmát a Yandex és a Google robotjaitól ( a Yahoo a <nofollow> címkét használja).
| Információk keresése az interneten | |
|---|---|
| Eszközök | |
| Indexelés | |
| Kérés | |
| keresési eredményeket | |
| Egyéb | |