Hoe werken zoekmachines?

Zoekmachines indexeren webpagina’s met behulp van robots/spiders. Dit zijn programma's die webpagina's downloaden en vervolgens nuttige informatie verzamelen van de pagina, zoals woorden en links. De links worden weer aan de spider als input gegeven om weer gedownload te worden. De gevonden woorden worden opgeslagen in een gigantische database.
De zoekmachines werken met verschillende technieken. Oorspronkelijk werkten de zoekmachines met de door de beheerders zelf opgegeven zoektermen (keywords), maar daar werd veel misbruik van gemaakt doordat de webmaster sleutelwoorden gingen gebruiken die veel publiek trokken, maar vaak geen verband hielden met de inhoud van de pagina, zoals het woord 'sex'.
Daarom werden andere technieken ontwikkeld. Zo werkt Google onder andere met de populariteit van de websites: het aantal malen dat een website op andere websites wordt vermeld. Op de websites van de zoekmachines is meestal wel informatie te vinden over hoe ze werken.
Het aantal spider-based-zoekmachines is beperkt. Grote internationale zoekmachines zijn Google, Windows Live Search en Yahoo. Bekende Nederlandse zoekmachines bedoeld om te zoeken naar Nederlandstalige pagina's zijn Kobala en Ilse.
Er zijn ook metazoekmachines: zoekmachines die werken via de resultaten van andere zoekmachines. Voorbeelden zijn Metacrawler,en Ez2Find. Nederland kent ook metazoekmachines zoals Zoeken.nl, Multizoeker, Metaspider.nl, Zoekal en Laquza.