Funktionsweise einer Suchmaschine

Wie arbeiten Suchmaschinen eigentlich? Gibt man einen Suchbegriff in Google ein, erhält man in nur wenigen Sekunden ein Suchergebnis, das mehrere hundert Seiten umfasst. Drei Prozesse arbeiten daran mit: Die Suchmaschine untersucht die Suchbegriffe und findet dann passende Seiten, sie sortiert diese Seiten und zeigt die Suchergebnisse an. Das Web wird dabei nicht im Augenblick der Suchabfrage durchsucht. Vielmehr durchsuchen die Spider von Suchmaschinen das Internet in regelmäßigen Abständen. Spider besuchen dabei entweder bereits indexierte Seiten oder sie besuchen manuell angemeldete Seiten.
Die Spider von Suchmaschinen finden Seiten, analysieren und indexieren diese. Sie folgen dabei meist internen und externen Links auf den gespeicherten Seiten. So bleibt der Index immer aktuell. Die Spider beachten dabei lediglich den Text, nicht aber Bilder oder Style-Sheets. Um Seiten zu indexieren, verwenden Suchmaschinen unterschiedliche Kriterien. Dazu gehören Ranking-Algorithmen, On-Page-Faktoren und Off-Site-Faktoren. Da diese von den einzelnen Suchmaschinen unterschiedlich gewichtet werden, fallen auch die Suchergebnisse entsprechend unterschiedlich aus.
Der eigentliche Inhalt der gefundenen Seiten wird dann in den Datencentern der Suchmaschinen gespeichert. Bei einer Suchabfrage in Google wird dieser Index des Datencenters durchsucht und entsprechende Seiten ausgewählt. Im einfachsten Fall folgt die Suche dem Prinzip, ob Seiten die Suchbegriffe enthalten oder nicht.
Der Index setzt sich dabei aus einem Lexicon, Hit Lists und dem so genannten Repository zusammen. Das Lexicon ist eine Sammlung aller gefunden Suchbegriffe, die meist in Form einer Hashtabelle dargestellt wird. Nur diejenigen Begriffe, die im Lexicon vorkommen, führen zu unabhängigen Suchergebnissen. Dabei wird bei jedem Begriff des Lexicons ein Vermerk zu einer Hit List gesetzt. Die Hit Lists wiederum besitzen zu jedem Begriff einen Verweis auf die Seiten im Repository, das die Seiten speichert. In den Hit Lists sind außerdem Angaben über den Stellenwert der Seiten in Bezug auf die jeweiligen Begriffe zu finden.
Suchmaschinen besitzen dabei vor allem folgende grundlegende Bestandteile: Einen URL-Server, mehrere Spider, einen Parser und einen Store Server. Der URL-Server übernimmt die Verwaltung von Internetadressen, also der URLs, die noch nicht Teil des Index sind. Webseiten-Anmeldungen bei Suchmaschinen werden deshalb oft an den URL- Server weitergeleitet, der diese dann an Spider übergibt. Die Spider übersetzen jede Internetadresse in eine IP-Adresse, damit eine Interaktion mit dem entsprechenden Server möglich wird. Spider öffnen in der Regel mehrere hundert Verbindungen auf einmal. So können sie schnell eine andere Verbindung nutzen, wenn dies nötig wird. Dadurch wird es möglich, dass ein Spider bis zu 30 Seiten in nur einer Sekunde erfassen kann. Ist die Übergabe abgeschlossen, überträgt der Spider die Daten der Webseiten an den Parser, der jede HTML-Seite vereinfacht und an den Store Server übergibt. Der Store Server entnimmt die Informationen. Dabei werden Links an den URL-Sever weitergereicht und der Text bzw. die Begriffe dem Index ergänzt.