ubuntuusers.de

WGET oder CURL --> GET Requests?

Status: Gelöst | Ubuntu-Version: Ubuntu 12.04 (Precise Pangolin)
Antworten |

root_Luk-As

Avatar von root_Luk-As

Anmeldungsdatum:
14. März 2010

Beiträge: 373

Wohnort: Berlin

Hallo, liebe Ubuntunutzer,

Wenn ich mich zu einer Website verbinde, dann sendet Firefox Pakete zum Server. Ich interessiere mich ausschließlich für die GET-Anfragen (POST usw sollen wegfallen) Das Addon "Live HTTP-Headers" zeigt mir, wenn ich mich mit beispielsweise mit duden.de verbinde und Anfragen anwähle, folgende Ausgabe an:

#request# GET http://www.duden.de/
GET /
#request# GET http://www.duden.de/sites/default/files/css/css_CKoWqiBj9gVXhPuDSnNphuEB0b0J2To76x0pX0EGqn4.css
#request# GET http://www.duden.de/sites/default/files/css/css_NfewgAUOxLF1LalcB_JBtAi2sGWJsHefRgGuassQbqQ.css
#request# GET http://www.duden.de/sites/default/files/css/css_RvQlAej9s6rdwh-3zGdeMm22dwz34bmrUMmcmvKFn8g.css
#request# GET http://www.duden.de/sites/default/files/css/css_pAQs8pK7rnYo6E_uj-on1TWEx18FJm6_PP3Tl44cM4g.css
#request# GET http://www.duden.de/sites/default/files/css/css_UfwwlaJ0vjASV1nO7wmqGMAZqphWdDnqqt2TF07KwMY.css
#request# GET http://www.duden.de/sites/default/files/css/css_kaklb-nylycnBK33bVRnkaARpV4k6QrkEkvnSNrunS4.css
#request# GET http://www.duden.de/sites/default/files/js/js_3jHghlMLrjr9xXAC0JufqSSch3oAbkZstSqYdc4uuck.js
#request# GET http://www.duden.de/sites/default/files/js/js__iwFUogWyLljTnLNgWd7gr_UHFCKXJpW4jPN6zeGXtU.js
#request# GET http://www.duden.de/sites/all/modules/contrib/lightbox2/js/lightbox.js?1375880687
#request# GET http://www.duden.de/sites/default/files/js/js_7fOkNyDC4uPTp05JE7vdaPyOreSc5aCYr5ionGjGoAg.js
#request# GET http://www.duden.de/sites/default/files/js/js_VecoEtKUcKPDxYKV8vNd2rHs5rte7IfWNutDnWK0ruM.js
#request# GET http://www.duden.de/sites/default/files/js/js_8cEvInzxSAtrU4kA2M5z93srfyCsGm9LAfDSMa69jnU.js
#request# GET http://www.duden.de/sites/default/files/js/js_bo3lF0ilaBpcmjTahsNkoNApJIldivL5lXJZ1_60s1s.js
#request# GET http://www.duden.de/sites/default/files/js/js_hJYtQlEw_51sAu-7GP_i25Ef8kTeIx9aEgTPlBAVYX4.js
GET /sites/default/files/css/css_CKoWqiBj9gVXhPuDSnNphuEB0b0J2To76x0pX0EGqn4.css
GET /sites/default/files/css/css_RvQlAej9s6rdwh-3zGdeMm22dwz34bmrUMmcmvKFn8g.css
GET /sites/default/files/css/css_NfewgAUOxLF1LalcB_JBtAi2sGWJsHefRgGuassQbqQ.css
GET /sites/default/files/css/css_pAQs8pK7rnYo6E_uj-on1TWEx18FJm6_PP3Tl44cM4g.css
GET /sites/default/files/css/css_UfwwlaJ0vjASV1nO7wmqGMAZqphWdDnqqt2TF07KwMY.css
GET /sites/default/files/css/css_kaklb-nylycnBK33bVRnkaARpV4k6QrkEkvnSNrunS4.css
GET /sites/default/files/js/js_3jHghlMLrjr9xXAC0JufqSSch3oAbkZstSqYdc4uuck.js
GET /sites/all/modules/contrib/lightbox2/js/lightbox.js?1375880687
GET /sites/default/files/js/js__iwFUogWyLljTnLNgWd7gr_UHFCKXJpW4jPN6zeGXtU.js
GET /sites/default/files/js/js_7fOkNyDC4uPTp05JE7vdaPyOreSc5aCYr5ionGjGoAg.js
GET /sites/default/files/js/js_bo3lF0ilaBpcmjTahsNkoNApJIldivL5lXJZ1_60s1s.js
GET /sites/default/files/js/js_hJYtQlEw_51sAu-7GP_i25Ef8kTeIx9aEgTPlBAVYX4.js
GET /sites/default/files/js/js_8cEvInzxSAtrU4kA2M5z93srfyCsGm9LAfDSMa69jnU.js
GET /sites/default/files/js/js_VecoEtKUcKPDxYKV8vNd2rHs5rte7IfWNutDnWK0ruM.js
#request# GET http://www.duden.de/sites/default/files/logo_1.png
#request# GET http://www.duden.de/sites/default/files/images/landingpages/D26.Composing.png
#request# GET http://www.duden.de/sites/default/files/images/D1.2013.LP/Headline.400.png
#request# GET http://www.duden.de/sites/default/files/images/landingpages/duden-hoch-drei.png
#request# GET http://www.duden.de/sites/default/files/images/D1.2013.LP/jetzt.bestellen.png
#request# GET http://www.duden.de/sites/default/files/images/D1.2013.LP/dond.banner.jpg
#request# GET http://www.duden.de/sites/all/themes/dudende/images/rss.png
#request# GET http://www.duden.de/shop/media/wysiwyg/banner.startseite/Duden_Banner_Digital_Korrektoren.jpg
#request# GET http://www.duden.de/sites/all/themes/dudende/images/bg_header.gif
#request# GET http://www.duden.de/sites/all/themes/dudende/images/bg-cart.gif
#request# GET http://www.duden.de/sites/all/themes/dudende/images/haus_1.png
#request# GET http://www.duden.de/sites/all/themes/dudende/images/bib_1px_sprite.png
#request# GET http://www.duden.de/sites/default/files/images/landingpages/DUDEN26_HG_RGB.jpg
#request# GET http://www.duden.de/sites/all/themes/dudende/images/bg_block.png
#request# GET http://www.duden.de/sites/all/themes/dudende/images/link_arrow_top.gif
#request# GET http://www.duden.de/sites/all/themes/dudende/images/icon_print_link.gif
#request# GET http://www.duden.de/sites/all/themes/dudende/images/bg_footer.png
#request# GET http://www.duden.de/sites/all/themes/dudende/images/footer_bottom_bg.png
#request# GET http://www.duden.de/sites/all/themes/dudende/images/icon_sprite.png
#request# GET http://www.duden.de/sites/all/themes/dudende/images/advantage.png
#request# GET http://www.duden.de/sites/all/themes/dudende/images/bib_sprite.png
GET /sites/default/files/logo_1.png
GET /sites/default/files/images/landingpages/D26.Composing.png
GET /sites/default/files/images/D1.2013.LP/Headline.400.png
GET /sites/default/files/images/landingpages/duden-hoch-drei.png
GET /sites/default/files/images/D1.2013.LP/dond.banner.jpg
GET /sites/default/files/images/D1.2013.LP/jetzt.bestellen.png
GET /sites/all/themes/dudende/images/rss.png
GET /shop/media/wysiwyg/banner.startseite/Duden_Banner_Digital_Korrektoren.jpg
GET /sites/all/themes/dudende/images/bg-cart.gif
GET /sites/all/themes/dudende/images/bg_header.gif
GET /sites/all/themes/dudende/images/haus_1.png
GET /sites/all/themes/dudende/images/bib_1px_sprite.png
GET /sites/default/files/images/landingpages/DUDEN26_HG_RGB.jpg
GET /sites/all/themes/dudende/images/bg_block.png
GET /sites/all/themes/dudende/images/icon_print_link.gif
GET /sites/all/themes/dudende/images/link_arrow_top.gif
GET /sites/all/themes/dudende/images/footer_bottom_bg.png
GET /sites/all/themes/dudende/images/bg_footer.png
GET /sites/all/themes/dudende/images/icon_sprite.png
GET /sites/all/themes/dudende/images/advantage.png
GET /sites/all/themes/dudende/images/bib_sprite.png
#request# GET https://www.facebook.com/ajax/presence/reconnect.php?__user=100000921053131&__a=1&__dyn=7n8ahyj35CFUlgDxqihXzCq&__req=60&fb_dtsg=AQB2Ci4J
GET /ajax/presence/reconnect.php?__user=100000921053131&__a=1&__dyn=7n8ahyj35CFUlgDxqihXzCq&__req=60&fb_dtsg=AQB2Ci4J

Ich möchte all die #request-Zeilen mit GET auch per wget oder curl herausfinden, d.h. alle GET-Anfragen auflisten (auch auf Seiten, die beispielsweise Videos abspielen, obwohl wget / curl ja gar keinen Flash-Player hat ... -.-)

Ge(h)t das ? 😉

Lukas

Lasall

Ehemalige
Avatar von Lasall

Anmeldungsdatum:
30. März 2010

Beiträge: 7723

Hi Lukas,

ich empfehle dafür Wireshark. Sehr komfortables Auflisten/Sortieren/Filtern usw.

Gruss Lasall

root_Luk-As

(Themenstarter)
Avatar von root_Luk-As

Anmeldungsdatum:
14. März 2010

Beiträge: 373

Wohnort: Berlin

Jaja, aber ich möchte es ja unbedingt in der Kommandozeile machen und ohne, dass eine Nutzeraktion nötig wäre, erst recht nicht auf der GUI ;/ Außerdem müsste man dazu ja AUCH Firefox laufen lassen, dann kann ich auch gleich das Addon nehmen, die Ausgabe speichern und #request GET "greppen" ..

Ist das ohne GUI / Nutzereingaben möglich?

Lukas

EDIT: Es kann auch mit z.B. tcpdump sein, dann werden die Links einfach an wget weitergeleitet ...

root_Luk-As

(Themenstarter)
Avatar von root_Luk-As

Anmeldungsdatum:
14. März 2010

Beiträge: 373

Wohnort: Berlin

tcpdump -A -s 0 "tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420"

Funktioniert mit Firefox, jetzt muss es auch mit wget klappen ...

EDIT: Es ist leider nicht reproduzierbar ☹

Danke für den Tipp mit dem Sniffer übrigens 😉

Lasall

Ehemalige
Avatar von Lasall

Anmeldungsdatum:
30. März 2010

Beiträge: 7723

Hi Lukas,

ah, jetzt habe ich die Frage verstanden. Leider kenne ich keine fertige Lösung.

Gruss Lasall

root_Luk-As

(Themenstarter)
Avatar von root_Luk-As

Anmeldungsdatum:
14. März 2010

Beiträge: 373

Wohnort: Berlin

OK, nach einem Neustart von Firefox war es reproduzierbar, nur, wie täuscht man mit wget / curl beispielsweise einen Flash-Player vor ...

root_Luk-As

(Themenstarter)
Avatar von root_Luk-As

Anmeldungsdatum:
14. März 2010

Beiträge: 373

Wohnort: Berlin

Die Frage ist zwar noch nicht gelöst, aber in meinem Fall ist das Gesuchte schon im Quelltext der HTML-Seite, ich muss also nur noch wget seite.de aufrufen und dann die richtige Zeile "greppen" ...

Die Frage bleibt ungelöst, aber da mein PRoblem gelöst ist, markiere ich diesen Post einfach mal als gelöst.

Lukas

Antworten |