Wget auf dem Mac installieren und listenweise Dateien herunterladen

In einer Mailingliste habe ich eine Liste mit 2596 “Wiki Research Papers”gefunden, die ich mir gerne anschauen würde …

Der Autor dieser Liste hat in seiner Nachricht auch gleich einen Tipp gegeben, wie die gesamte Liste heruntergeladen werden kann:

“To download, use: wget -t1 -c -i papers.txt.”

“GNU Wget is a free software package for retrieving files using HTTP, HTTPS and FTP” – GNU Wget ist eine freie Software zum Herunterladen von Dateien mittels HTTP-, HTTPS- und FTP-Protokoll.” Wget ist also eine eigenständige Anwendung, die erstmal installiert werden muss.

Für den Mac gibt es die Download-Datei in Andrew’s Den – er hat die Programmdateien für den Mac kompiliert und in das Mac-Application-Format .dmg konvertiert.

Nach der Installation gibt es jedoch keine neue Anwendung im Programmordner, weil Wget ein Kommandozeilenprogramm ist, von dort gestartet wird und nur über zusätzliche GUIs auch grafisch administrierbar ist. Also erstmal ein Terminal aufrufen …

Gefunden habe ich die Wget-Dateien unter Mac OSX Lion in folgendem Verzeichnis:

/usr/local/share/wget

Damit der Befehl von Andrew funktioniert, musste ich die Datei “papers.txt” erstmal ins Wget-Verzeichnis kopieren. Dazu habe ich diese Datei per Finder in meinen User-Ordner kopiert (/frieder/) und dann im Terminal folgendes eingegeben:

cp papers.txt /usr/local/share/wget/papers.txt

Soweit waren die Vorbereitungen abgeschlossen und ich habe Andrews Befehl von meinem User-Verzeichnis aus eingegeben und, vVoila, wget fängt an, eine URL nach der Anderen abzufragen. In einigen Fällen wurde der Zugang verweigert, einige Dateien nicht gefunden … seit ca. 80 Minuten ist wget am Runterladen und es sind bis jetzt etwa 500 Dateien, überwiegend PDF, auf meiner Festplatte im User-Verzeichnis gelandet. Wget wird also noch ein paar Stunden laufen, bis alle verfügbaren Dateien abgerufen wurden.

Vorsicht: zum Testen des Programms Wget ist es besser, erst mal eine papers-test.txt-Datei mit wenigen, zb. fünf Einträgen anzulegen. Wenn es damit nach einigem Rumprobieren endlich funktioniert, die lange Liste reinkopieren und los gehts …