Voraussetzungen:

1. Du hast bereits Erfahrung mit der Kommandozeile und weißt, was du tust;
2. Wget ist auf deinem Computer installiert.

Der Code:

# Lädt die gesamte Website runter. Magic!
wget -m -k -K -E -l 7 -t 6 -w 5 https://website.com

Wenn du den Befehl ausführst wird die gesamte Website unter der angegebenen Domain runtergeladen. Dabei wird automatisch ein neuer Ordner erstellt (benannt nach der Domain), innerhalb des Pfades wo du dich gerade in der Kommandozeile befindest.

Die Erklärung des Befehls und der einzelnen Optionen:

• "-m": Spiegelt die Webseite, lädt alle Dateien und Unterverzeichnisse herunter.
• "-k": Konvertiert Links, sodass sie lokal funktionieren.
• "-K": Behält den ursprünglichen Dateinamen bei, wenn die Datei bereits vorhanden ist.
• "-E": Fügt die Erweiterung ".html" zu HTML-Dateien ohne sie hinzu.
• "-l 7": Rekursionstiefe auf 7 beschränkt, um nicht zu viele Seiten herunterzuladen.
• "-t 6": Versucht 6 Mal, eine Verbindung herzustellen, bevor es aufgibt.
• "-w 5": Wartet 5 Sekunden zwischen den einzelnen Anfragen, um den Server nicht zu überlasten.

Den Code habe ich übrigens bei Stack Overflow gefunden: https://stackoverflow.com/questions/9265172/scrape-an-entire-website

Der Beitrag Der beste Weg um eine gesamte Website (inklusive Unterseiten) samt allem Furz und Feuerstein zu downloaden erschien zuerst auf propz.