ubuntuusers.de

Hallo Alle,

ich möchte gerne per cronjob automatisch Daten aus dem Netz laden, weiß aber nicht, wie und mit welchem Programm ich das mache.

Manuell komme ich an die Daten, indem ich
1. eine Webseite aufrufe und dort Username+Passwort eingebe und auf 'Sign in' klicke
2. auf der nächsten Seite muss ich dann drei Eingaben machen und wieder auf einen Button klicken.
3. Dann endlich, auf der dritten Seite, wird mir ein Button angezeigt, mit dem ich dann den Download starte.

Kann mir jemand sagen, mit welchem Tool ich hier weiterkomme und was die ersten Schritte sind?

Viele Grüße ,
arkr

Mit WWW::Mechanize unter Perl ist das relativ fix gemacht. Wenn du WWW::Mechanize::Shell nutzt kannst du interaktiv die webseite browsen (mini konsole mit befehlen) und dann daraus ein script erstellen lassen.

Alternativ kannst du auch mit "LiveHTTP Headers" (Firefox Plugin) das ganze aufzeichnen. Zum wieder abschicken kannst du dann auch "wget" nutzen. (Zumindest kann es teilweise funktionieren. Da wget keine Cookies oder ähnliches beachtet, bei einer login seite geht es wohl eher nicht)

Andere Alternative ist das Perl Modul HTTP::Record. Dort erstellst du mit paar Zeilen einen HTTP Proxy. Stellst den Firefox (oder jenachdem welchen Browser du nutzt) auf den proxy um und surft normal im Browser. Am ende spuckt er ebenfalls ein WWW::Mechanize Skript aus.

Ich würde Möglichkeit 1) wählen geht meiner Meinung nach am schnellsten. Gibt aber sichrelich noch mehr Möglichkeiten und auch in anderen Sprachen.

Für WWW::Mechanize::Shell schau dir diesen Linux-Magazine Artikel an: http://www.linux-magazin.de/heft_abo/ausgaben/2004/03/datenruessel

wget kann cookies

Wischdisch ist zu wissen das im internet alles über request funktioniert. du brauchst im prinzip nur die richtige url um deine Seite runterzuladen ( und hier zusätzlich das passenden cookie). Um das passende cookie zu erhalten musst du dich vorher einloggen, das cookie speichern und dann mit diesem cookie dir deine gewünschte Seite ziehen.

Gruss – jerik

Ich habe als erstes mal versucht, mit wget weiterzukommen, und gleich mal eine generelle Frage, unabhängig von wget und so

Wenn ich mich auf der Seite eingeloggt habe, ändert sich die cookies.txt unter Firefox gar nicht. Stattdessen gibt es einen Eintrag in der sessionstore.js.

Das verstehe ich nicht. Erfolgt das Einloggen nicht immer über Cookies?

Gruß,
arkr

um evtl. einen schritt weiter nach vorne zu kommen evtl. hilft dir:

wget --http-user=Benutzername --http-passwd=Passwort

Ich tippe mal ins Blaue (sorry, wenns nicht so ist 😉 )
Rapid-Share Downloader

Solo0815 hat geschrieben:

Ich tippe mal ins Blaue (sorry, wenns nicht so ist 😉 )
Rapid-Share Downloader

Knapp daneben:-)

Die Seite, auf die ich mich einloggen will, heißt http://eng.metocean.com

arkr