Crawler
Ein Crawler, auch Web‑Spider oder Bot genannt, ist ein automatisiertes Programm, das systematisch Websites im Internet durchsucht, um deren Inhalte zu erfassen und zu indexieren. Der Crawler folgt dabei Hyperlinks von einer Seite zur nächsten, sammelt HTML‑Code, Metadaten, Bilder und andere Ressourcen und speichert die gewonnenen Daten in einer Datenbank oder Such‑Engine‑Index. Diese Indexierung ermöglicht es Suchmaschinen, Anfragen von Nutzern schnell zu beantworten, indem relevante Seiten anhand ihrer Inhalte und Links gefunden werden.
Typische Merkmale eines Crawlers:
- Start‑URL (Seed): Ausgangspunkt, von dem das Durchsuchen beginnt.
- Frontier‑Queue: Datenstruktur, in der zu besuchende URLs gesammelt und verwaltet werden.
- Politeness‑Policy: Regeln (z. B. Robots‑Exclusion‑Standard, Crawl‑Delay), die das Überlasten von Servern verhindern.
- URL‑Normalisierung: Entfernen von Duplikaten, Behandlung von Parametern und Weiterleitungen, um redundante Anfragen zu vermeiden.
- Content‑Parsing: Extraktion von Text, Titeln, Meta‑Tags und Links aus dem HTML‑Dokument.
- Speicher‑ und Skalierungsstrategien: Verteilung auf mehrere Maschinen (Distributed Crawling) und Nutzung von Datenbanken oder NoSQL‑Lösungen für große Datenmengen.
Crawling wird nicht nur von Suchmaschinen eingesetzt, sondern auch für Daten‑Mining, Preisvergleichs‑Tools, Markt‑Research, Content‑Aggregatoren und zur Prüfung von Webseiten‑Sicherheit (z. B. Broken‑Link‑Checker).