Hallo allerseits,

kenne mich nicht besonders mit Perl aus, aber ich bin im November letzten Jahres über den Artikel zum Webscraping im Perl-Snapshot gestolpert: http://www.linux-magazin.de/plus/2011/11/Perl-Snapshot-Linux-Magazin-2011-11.

Gerne würde ich mir hieraus ein kleines Script basteln (Im Prinzip steht es ja schon da), mit dem ich webseiten von der Kommandozeile aufrufen und als Optionen/Parameter angegeben kann wie lange der Wait-Timer eingestellt werden kann. Schön wäre auch noch die entscheidung ob ein Aufruf via Post oder Get stattfinden soll, aber das wäre erstmal nicht so wichtig. Das Ergebnis soll einfach aus stdout wieder herauskommen.

Irgendwie ist mir aber noch nicht klar, wie die Installation von CPAN-Modulen erfolgt. Es scheint so als solle ich ein CPAN-Tool installieren um damit dann wiederum die CPAN-Module zu installieren. Wie kann ich dann jemals ein fertiges Programm deployen, welches diese Module verwendet? Ich meine Per ist ja nun mal ne Scriptsprache wo ich die Libs nicht einfach statisch dazulinken und dann kompilieren könnte.

Nehmen wir an ich habe nun ein Programm geschrieben welches WWW::Scripter einsetzt. Wie biete ich davon dann ein funktionierendes Gesamtpaket an?

Vielen Dank für Erhellungen schon mal im Voraus.

Viele Grüße

André

wenn ich dich jetzt richtig versteh willst du lediglich wissen, wie man ein perl-modul von cpan installiert und ins script mit einbindet? dafür gibts verschiedene möglichkeiten... a) perl -MCPAN -e 'install Scripter::WWW' oder (so mach ich das) b) du lädst das modul von cpan direkt runter, entpackst die datei. in den ordner wechseln und "perl Makefile.PL", make, make test, make install.

in dein script wirds dann mit "use Scripter::WWW;" (halt einfach nach "use strict;" und "use warnings;") eingebunden.

ich hoffe ich hab deine frage richtig verstanden und konnte dir bissl helfen

gruß

nachtrag: das mit dem "gesamtpaket" hab ich übersehen... ich nutz meine perl-scripte nur für den privat-gebrauch (sind aber auch nur primitive sachen, bin selbst kein sonderlich begabter programmierer), weshalb hier natürlich die entsprechenden module auch installiert sind. die braucht derjenige, der sie ausführt nämlich...

Hi t0bif,

danke für deine Antwort. Leider scheint es ja wie befürchtet zu sein. Dass ich mir das sicherlich installieren könnte ist die eine Sache. Aber was biete ich dem Anwender meines Programms an, welches die entsprechenden CPAN-Module verwendet?

Da muss es doch eine Möglichkeit geben das zu Deployen. Ansonsten sind die Module doch für den Entwickler eher ein Selbstzweck.

Wenn das wirklich nur über den Weg funktioniert, kann ich damit dann leider nicht viel anfangen owohl es wohl die Lösung für meine Webscraping-Versuche ist . Abhängige Pakete oder ähnliches wären ja kein Problem, aber ich kann ja schlecht eine Installationsanleitung für das Hilfstool bereitlegen.

Ich möchte am Ende ein Kommandozeilenproggi haben, welches ich auch auf anderen Rechnern laufen lassen kann.

Gibt es evtl. Alternativen in PHP, Python, C, oder C++ zu Curl-Artigen Ajax-Calls genau wie es mit WWW::Scripter erreicht werden kann?

Viele Grüße

André

Du kannst die nötigen Perl-Module runterladen und daraus entweder einzelne Pakete machen (falls es die nicht schon gibt) oder aus allen zusammen eine einziges Paket erstellen.

Hallo diesch,

fertige Pakete konnte ich zwar nicht finden aber ich werde wie folgt herangehen:

1. Ich werde mir die Module erstmal über den von t0bif vorgeschlagenen Weg installieren und mal gucken, ob ich damit meine Ziele erreichen kann.

2. Falls das tut, werde ich versuchen mir via checkinstall entsprechende Pakete zu erstellen, damit ich diese zusammen ausliefern kann. Ansonsten habe ich bisher nur einfache Pakete mittels dpkg build erzeugt wie z. B. für http://wiki.ubuntuusers.de/callbuntu-webgui , aber vielleicht wäre das endlich mal der richtige Ansatz um die Anleitungen zum Paketbau an diesem Beispiel richtig nachzuvollziehen.

Ich werde dann berichten. Bis dahin sind natürlich alle passenden Tipps willkommen.

Viele Grüße

André

Hi liberavia,

mit checkinstall wird das unnötig kompliziert. Mache es korrekt und richte dich nach Grundlagen der Paketerstellung und insbesondere Leitfaden für neue Debian-Betreuer .

Gruss Lasall

Hi Lasall,

vielen Dank für die Motivation es lieber gleich richtig zu machen, aber leider stellte sich heraus, dass das CPAN-Modul für mein Vorhaben anscheinend nicht ausreichen wird.

Um die Funktionsweise des CPAN-Moduls zu testen habe ich es erstmal über den von t0bif vorgeschlagenen Weg installiert. Hierbei stellt ich fest, dass dieses Modul wiederum zahlreiche andere CPAN-Module nachzieht, was es für den Anfang mit dem Paketbau sicherlich auch nicht gerade leicht gemacht hätte.

Nachdem die Module dann bereit standen, haben ich den Webscraper auf meine Zielseite losgelassen und... leider scheitert auch dieses Tool mit Exceptions aus den Kernbibliotheken des CPAN-Moduls . Auf anderen Seiten erhiehlt ich dagegen gute Ergebnisse (um zu testen ob es generell funktioniert), die ich jedoch auch mit curl erreichen kann. Damit ist das wohl eine Sackgasse für mich.

Am liebsten wär mir einfach eine Art unsichtbarer Browser oder Konsolenbrowser, welcher den ganzen Session- und Ajax-Load einfach mitmacht und mir das Ergebnis nach n Sekunden als Quelltext wieder ausspuckt.

Hat hier jemand noch einen Tipp?

Vielen Dank

André

Hi,

konnte zwar mein Problem nicht direkt lösen, aber im Rahmen der möglichen Hilfe, habe ich diese hier bekommen.

Vielen Dank