In principe werken alle zoekmachine spiders volgens hetzelfde principe – ze crawlen het Web en indexeren pagina’s, die worden opgeslagen in een database en gebruiken later verschillende algoritmes om de pagina ranking, relevantie, etc. van de verzamelde pagina’s te bepalen.

Hoewel de algoritmen voor het berekenen van de rangschikking en de relevantie sterk verschillen tussen zoekmachines, is de manier waarop zij sites indexeren min of meer uniform en het is zeer belangrijk dat u weet waarin spiders geïnteresseerd zijn en wat zij verwaarlozen.

Over het algemeen kan een spider bot alleen de tekst inhoud van een webpagina indexeren. Maar een webpagina kan veel afbeeldingen, flash objecten, video’s en inhoud gegenereerd door client-side scripts (zoals JavaScript) bevatten, al deze soorten inhoud zijn niet indexeerbaar door de meeste zoekmachine bots.

Deze Webpage Spider View Tool simuleert een zoekmachine door het weergeven van de pure tekst inhoud van een webpagina met de nadruk op trefwoorden.