ubuntuusers.de

Hi,

Ich will eine Webseite automatisch abrufen und auswerten. Normalerweise kann man das ja über wget machen, aber bei dieser Seite muss ich mich erst über ein HTML-Formular und https anmelden und dann noch einem Link folgen.

Wie könnte ich das angehen? Bzw. welche Konsolentools kann ich da günstigerweise verwenden?

Bei SSL kannst du einfach auf die Zertifikatsüberprüfung verzichten.

--no-check-certificate

Die Anmeldung ist schwieriger. Liegt auch an der Seite selbst. Evtl. ist "wget" dafür auch nicht wirklich geeignet.

Wenn du lynx mit -cmd_log aufrufst, werden alle Eingaben in einer Datei gespeichert, die du hinterher mit -cmd_script wieder abspielen kannst.

uname schrieb:

Bei SSL kannst du einfach auf die Zertifikatsüberprüfung verzichten.

--no-check-certificate

Die Anmeldung ist schwieriger. Liegt auch an der Seite selbst. Evtl. ist "wget" dafür auch nicht wirklich geeignet.

Danke, dass hab ich dann auch genutzt.

Hier mal das Grundprinzip wie ich es gelöst habe:

user='abcdefg'
pw='123456'

#Anmelden
url = 'https://www.example.com/login.php'
wget --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies --no-check-certificate $url --post-data 'username='$user'&password='$pw'&loginform&submit' -O tmp

#Link folgen
url = 'https://www.example.com/link.php'
wget --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies --no-check-certificate $url -O out

#Abmelden
url = 'https://www.example.com/logout.php'
wget --load-cookies cookies.txt --save-cookies cookies.txt --keep-session-cookies --no-check-certificate $url -O tmp

#Aufraeumen
rm tmp
rm cookies.txt