|
VolkerRaschek
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
Hallo zusammen,
ich habe vor einigen Jahren einen squid server in einer vm installiert und habe eben gemerkt das dieser noch funktioniert, obwohl ich eigentlich gedacht habe, ich hätte da irgendwas kaputt gemacht. Da habe ich mir nun die access.log angeschaut. In access.log sind immer Einträge von TCP:MISS_DIRECT hinterlegt. Was laut squid-faq so viel bedeutet wie, dass das Objekt aus dem Netzwerk bzw. vom Server geladen werden musste. Ich habe bei einem Client den Squid wieder eingerichtet und merke, dass er immer die Seiten vom Server zieht und nie vom Cache. Jetzt frage ich mich, ob da ein Fehler in der config ist. Damals habe ich mich an das wiki gehalten, dass scheint jedoch nicht mehr aktuell zu sein. Daher Frage ich mich ob die Parameter richtig sind für meinen Squid Server Verion 3, dass er richtig cachen soll und nicht alles aus dem Netz ziehen soll. squid.conf
1
2
3
4
5
6
7
8
9
10
11
12 | ...
cache_mem 256 MB
maximum_object_size 2048 MB
maximum_object_size_in_memory 128 MB
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_dir ufs /var/spool/squid3 2000 16 256
cache_access_log /var/log/squid3/access.log common
cache_log /var/log/squid3/cache.log common
cache_store_log /var/log/squid3/store.log common
icap_log /var/log/squid3/icap.log common
...
|
Grüße
Volker
|
|
sebix
Ehemalige
Anmeldungsdatum:
14. April 2009
Beiträge: 5584
|
VolkerRaschek schrieb: ich habe vor einigen Jahren einen squid server in einer vm installiert
Ich erlaube mir den Hinweis, dass squid seit dem 29 Februar 2016 nicht mehr mit Updates versorgt wird und seit noch laengeren Zeitraum keine nicht-kritischen Updates mehr erhält.
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
sebix schrieb: VolkerRaschek schrieb: ich habe vor einigen Jahren einen squid server in einer vm installiert
Ich erlaube mir den Hinweis, dass squid seit dem 29 Februar 2016 nicht mehr mit Updates versorgt wird und seit noch längeren Zeitraum keine nicht-kritischen Updates mehr erhält.
Ich hab squid aktualisiert. Woher hast du diese Information? Nebenbei möchte ich jedoch nicht zu sehr vom Problem abweichen ☺ Volker
|
|
sebix
Ehemalige
Anmeldungsdatum:
14. April 2009
Beiträge: 5584
|
VolkerRaschek schrieb: sebix schrieb: VolkerRaschek schrieb: ich habe vor einigen Jahren einen squid server in einer vm installiert
Ich erlaube mir den Hinweis, dass squid seit dem 29 Februar 2016 nicht mehr mit Updates versorgt wird und seit noch längeren Zeitraum keine nicht-kritischen Updates mehr erhält.
Ich hab squid aktualisiert. Woher hast du diese Information?
-.- sorry, ich weiss grad nicht, woran ich da gedacht hat. Als ersten Schritt wuerd ich mal den Loglevel hochdrehen und auch die gesamte Konfiguration posten (auch wenn es default-Werte sind, die wissen wir ja auch nicht auswendig)
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
Okay, hier noch einige Informationen.
Ich habe zwei squid3 Server vor einiger Zeit installiert gehabt.
proxy1 - 10.1.1.30 proxy2 - 10.1.1.31
Bei Server sollte gleich konfiguriert sein, jedoch nur dass die Server untereinander als sibling eingestellt sind. So ist es eigentlich egal gewesen, ob man proxy1 oder proxy2 anspricht. Ich sehe gerade das in der chache.log immer UDP_DENIED steht von proxy1. Warum weiß ich ehrlich gesagt auch nicht. Es kann sein, dass das neu ist durch das Update. Da bin ich momentan nach am googlen, woran es da liegt. Wie man das log level anhebt konnte ich ehrlich gesagt nicht heraus finden sofern es denn überhaupt bei squid dafür die Möglichkeit gibt. Ich habe aber mal Ausschnitte aus den Logs der beiden Server angehängt. Ich hoffe das hilft ein einig weiter. squid.conf auf proxy1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52 | cache_mgr hostmaster@example.local
visible_hostname proxy1.example.local
cache_effective_user proxy
cache_effective_group proxy
http_port 3128
https_port 3128
cache_peer proxy2.example.local sibling 3128 3130
htcp_port 4827
udp_incoming_address 0.0.0.0
udp_outgoing_address 255.255.255.255
icp_port 3130
icp_query_timeout 0
maximum_icp_query_timeout 2000
dead_peer_timeout 10
dns_nameservers 10.1.1.25 10.1.1.26
dns_timeout 10
cache_mem 256 MB
maximum_object_size 2048 MB
maximum_object_size_in_memory 128 MB
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_dir ufs /var/spool/squid3 2000 16 256
cache_access_log /var/log/squid3/access.log common
cache_log /var/log/squid3/cache.log common
cache_store_log /var/log/squid3/store.log common
icap_log /var/log/squid3/icap.log common
client_netmask 255.255.255.255
forwarded_for off
via off
acl all src 0.0.0.0/0
acl localhost src 127.0.0.1/32
acl localnet src 10.1.1.0/24
acl localdomain dstdomain .example.local
acl safeports port 80
acl safeports port 8080
acl safeports port 3128
acl sslports port 443
acl sslports port 563
acl sslports port 81
acl sslports port 2087
acl sslports port 10000
acl CONNECT method CONNECT
always_direct allow localdomain localnet
http_access allow localnet CONNECT
http_access allow localnet
http_access deny all
|
access.log auf proxy1
root@proxy1:/etc/squid3# tail -f /var/log/squid3/access.log
10.1.1.100 - - [19/Aug/2016:11:31:28 +0200] "GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29992;vf=29992;vin=45;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=1231992; HTTP/1.1" 200 262 TCP_MISS:HIER_DIRECT
10.1.1.100 - - [19/Aug/2016:11:31:58 +0200] "GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29991;vf=29991;vin=46;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=1261995; HTTP/1.1" 200 274 TCP_MISS:HIER_DIRECT
10.1.1.100 - - [19/Aug/2016:11:32:28 +0200] "GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29982;vf=29982;vin=47;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=1292000; HTTP/1.1" 200 274 TCP_MISS:HIER_DIRECT
10.1.1.100 - - [19/Aug/2016:11:32:58 +0200] "GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29979;vf=29979;vin=48;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=1322005; HTTP/1.1" 200 274 TCP_MISS:HIER_DIRECT
10.1.1.100 - - [19/Aug/2016:11:33:28 +0200] "GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29976;vf=29976;vin=49;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=1352011; HTTP/1.1" 200 274 TCP_MISS:HIER_DIRECT cache.log auf proxy1
| root@proxy1:/etc/squid3# tail -f /var/log/squid3/cache.log
2016/08/19 10:56:07| pinger: ICMP socket opened.
2016/08/19 10:56:07| pinger: ICMPv6 socket opened
2016/08/19 10:56:07 kid1| Completed Validation Procedure
2016/08/19 10:56:07 kid1| Validated 657 Entries
2016/08/19 10:56:07 kid1| store_swap_size = 8320.00 KB
2016/08/19 10:56:07 kid1| Configuring Sibling proxy2.example.local/3128/3130
2016/08/19 10:56:08 kid1| storeLateRelease: released 0 objects
2016/08/19 11:09:29| Error sending to ICMPv6 packet to [2a02:26f0:10a::6860:62]. ERR: (101) Network is unreachable
2016/08/19 11:10:54 kid1| 95%% of replies from 'proxy2.example.local' are UDP_DENIED
2016/08/19 11:10:54 kid1| Disabling 'proxy2.example.local', please check your configuration.
|
store.log auf proxy 1
1
2
3
4
5
6
7
8
9
10
11
12
13 | root@proxy1:/etc/squid3# tail -f /var/log/squid3/
access.log cache.log icap.log netdb.state store.log
root@proxy1:/etc/squid3# tail -f /var/log/squid3/store.log
1471598278.848 RELEASE -1 FFFFFFFF 1E1D7BDF5F26C9931083E178558BD0C3 200 1471598280 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29926;vf=29926;vin=18;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=421833;
1471598308.821 RELEASE -1 FFFFFFFF 6726118C09AC423E34F8C777D2DE63F2 200 1471598310 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29984;vf=29984;vin=19;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=451840;
1471598338.859 RELEASE -1 FFFFFFFF 20693257D1A2DDF6B750DEB7BE1360A1 200 1471598340 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29979;vf=29979;vin=20;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=481844;
1471598368.873 RELEASE -1 FFFFFFFF 9A77DC89DDBD6CE93B40DC294207C424 200 1471598370 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29974;vf=29974;vin=21;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=511849;
1471598395.946 RELEASE -1 FFFFFFFF CA43591F02338EA756FB8B550B8ED638 200 1471598397 -1 1471598395 image/gif -1/35 GET http://track.adform.net/serving/unload/?
1471598395.950 RELEASE -1 FFFFFFFF B1D045CECF397FD8747F66D8A7A8695F 200 1471598397 -1 1471598395 image/gif -1/35 GET http://track.adform.net/serving/unload/?
1471598398.376 RELEASE -1 FFFFFFFF 8E40289D37C9A006CB3A772313896BF0 200 -1 -1 1471598398 image/gif 43/43 GET http://ping.chartbeat.net/ping?
1471598398.904 RELEASE -1 FFFFFFFF 574BED24B29CAA6E9CFF0B3E0964A956 200 1471598400 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29970;vf=29970;vin=22;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=541854;
1471598428.899 RELEASE -1 FFFFFFFF 5070E1118A68A3B8DEA7362C2670C676 200 1471598430 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29966;vf=29966;vin=23;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=571858;
1471598458.928 RELEASE -1 FFFFFFFF 9667130EFFF4927DDDECA846B18982BE 200 1471598460 -1 -1 image/gif 43/43 GET http://metrics.nt.vc/event/v/77/_.7072242165357216.99348597;pd=www.msn.com;pp=%252Fde-de%252Funterhaltung%252Fcelebrity%252Fw%2525c3%2525bctende-carmen-geiss-lasse-meine-familie-nicht-beleidigen%252Far-BBvMKf1;sz=0x0;if=110;lt=2362;al=1;av=831;nd=500;mv=28;vy=29961;vf=29961;vin=24;vbiv=0001000010000;vbin=0009000090000;ii=1079310257916;el=601862;
|
icap.log auf proxy1
squid.conf auf proxy2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52 | cache_mgr hostmaster@example.local
visible_hostname proxy2.example.local
cache_effective_user proxy
cache_effective_group proxy
http_port 3128
https_port 3128
cache_peer proxy1.example.local sibling 3128 3130
htcp_port 4827
udp_incoming_address 0.0.0.0
udp_outgoing_address 255.255.255.255
icp_port 3130
icp_query_timeout 0
maximum_icp_query_timeout 2000
dead_peer_timeout 10
dns_nameservers 10.1.1.25 10.1.1.26
dns_timeout 10
cache_mem 256 MB
maximum_object_size 2048 MB
maximum_object_size_in_memory 128 MB
cache_replacement_policy heap LFUDA
memory_replacement_policy heap GDSF
cache_dir ufs /var/spool/squid3 2000 16 256
cache_access_log /var/log/squid3/access.log common
cache_log /var/log/squid3/cache.log common
cache_store_log /var/log/squid3/store.log common
icap_log /var/log/squid3/icap.log common
client_netmask 255.255.255.255
forwarded_for off
via off
acl all src 0.0.0.0/0
acl localhost src 127.0.0.1/32
acl localnet src 10.1.1.0/24
acl localdomain dstdomain .example.local
acl safeports port 80
acl safeports port 8080
acl safeports port 3128
acl sslports port 443
acl sslports port 563
acl sslports port 81
acl sslports port 2087
acl sslports port 10000
acl CONNECT method CONNECT
always_direct allow localdomain localnet
http_access allow localnet CONNECT
http_access allow localnet
http_access deny all
|
access.log auf proxy2
| 10.1.1.30 - - [19/Aug/2016:11:10:54 +0200] "ICP_QUERY http://static-entertainment-neu-s-msn-com.akamaized.net/de-de/unterhaltung/_sc/css/6670b51d-76524e26/direction=ltr.locales=de-de.themes=darkpink.dpi=resolution1x/cd-8c8f13-25473fac/e8-98f779-45bc14ae/a0-94ab1d-d8816cd5/66-8af814-9ee0fce8/f1-f28dd7-68ddb2ab/f3-6a6ff5-ae53777e/b6-9859fb-4da0aefe/d1-17f94a-364fa3e9/d1-bba7a3-9bcd4e3f/f3-4ded40-cff17e15/95-8c55a3-67b4a92b/23-46f4f4-1c1809bb/b8-37ad03-923a653d/84-7aa695-5b919350/53-98685b-7260fc60/a3-e31876-13331cd2/f9-0d4a95-63b1483/f7-084eab-82c66213/cd-f06c60-3469c03c?ver=2.0.6071.8678&fdhead=muidflt46cf,muidflt48cf,muidflt49cf,muidflt55cf,muidflt260cf&csopd=20160802190100&csopdb=20160817211559 HTTP/0.0" 0 671 UDP_DENIED:HIER_NONE
10.1.1.30 - - [19/Aug/2016:11:10:54 +0200] "ICP_QUERY http://static-entertainment-neu-s-msn-com.akamaized.net/de-de/unterhaltung/_sc/js/6670b51d-c053a743/direction=ltr.locales=de-de.themes=darkpink.dpi=resolution1x/d9-71ee81-c2976476/eb-da8cd2-c7ad0db2/42-566e9e-befef285/14-aef509-68ddb2ab/de-b2e51e-dd1c81bc/af-c55400-68ddb2ab/a3-e3480d-68ddb2ab/39-f1d829-f59cfe6/5a-200c51-2943fc34/7a-277995-68ddb2ab/76-cb3965-9b5696cd/f4-f390ff-dfe16bcd?ver=2.0.6071.8678&fdhead=muidflt46cf,muidflt48cf,muidflt49cf,muidflt55cf,muidflt260cf&csopd=20160802190100&csopdb=20160817211559 HTTP/0.0" 0 537 UDP_DENIED:HIER_NONE
10.1.1.30 - - [19/Aug/2016:11:10:54 +0200] "GET http://static-hp-neu.s-msn.com/_h/975a7d20/webcore/externalscripts/jquery/jquery-2.1.1.min.js HTTP/1.1" 504 4345 TCP_MISS:HIER_NONE
10.1.1.30 - - [19/Aug/2016:11:10:54 +0200] "ICP_QUERY http://uk.at.atwola.com/addyn/3.0/1065.1/2590140/0/-1/allowedSizes=728x90,948x250,950x252,940x230,101x1,970x66,970x90,970x250,800x250;noperf=1;adclntid=1002;alias=ENTDEDE12;kvmsft_providerid=b4pjizp7h;kvmsft_rid=81e288dd52274bc68c91e8d7dd3b7f54;kvmsft_ext_inv_cd=de;kvmsft_muid=2848ad07793b67932c45a47178496645;kvmsft_pagetype=article;kvpg=msn%2Fde-de%2Funterhaltung%2Fcelebrity%2Fw%25c3%25bctend;kvugc=0;kvrefd=msn.com;kvmn=ENTDEDE12;kvgrp=597856311;kvismob=2;extmirroring=0;kvtile=1;target=_blank;aduho=120;grp=597856311 HTTP/0.0" 0 543 UDP_DENIED:HIER_NONE
|
cache.log auf proxy2
| root@proxy2:~# tail -f /var/log/squid3/cache.log
2016/08/19 11:08:16 kid1| Took 0.02 seconds (3716.90 objects/sec).
2016/08/19 11:08:16 kid1| Beginning Validation Procedure
2016/08/19 11:08:16 kid1| Completed Validation Procedure
2016/08/19 11:08:16 kid1| Validated 73 Entries
2016/08/19 11:08:16 kid1| store_swap_size = 552.00 KB
2016/08/19 11:08:16 kid1| Configuring Sibling proxy1.example.local/3128/3130
2016/08/19 11:08:16| pinger: Initialising ICMP pinger ...
2016/08/19 11:08:16| pinger: ICMP socket opened.
2016/08/19 11:08:16| pinger: ICMPv6 socket opened
2016/08/19 11:08:17 kid1| storeLateRelease: released 0 objects
|
store.log auf proxy2
| 1/3771 GET http://trc.taboola.com/sg/appnexus-network/1/rtb-h/?
1471597824.515 RELEASE -1 FFFFFFFF 8A021807F2C2BE118925F757FE6BC781 504 1471597824 0 -1 text/html 4115/4115 GET http://g.bing.com/uac/response?
1471597824.516 RELEASE -1 FFFFFFFF 8D76D20297A00BB7F1CC01F97C51DC18 504 1471597824 0 -1 text/html 4115/4115 GET http://g.bing.com/uac/response?
1471597824.866 RELEASE -1 FFFFFFFF 5057128F3F2A8032D4F07944F8AC5EB5 504 1471597824 0 -1 text/html 3728/3728 GET http://www.bing.com/s/as/1436447/de.js?
1471597826.918 RELEASE -1 FFFFFFFF 92F82A107F8C387F3D2DC99BD4AC6E7E 504 1471597826 0 -1 text/html 4085/4085 GET http://c.bing.com/c.gif?
1471597854.141 RELEASE -1 FFFFFFFF 137628D2B59DF66FA200FD46CF5B7B3E 504 1471597854 0 -1 text/html 3981/3981 GET http://static-hp-neu.s-msn.com/_h/975a7d20/webcore/externalscripts/jquery/jquery-2.1.1.min.js
|
icap.log auf proxy2
|
|
misterunknown
Ehemalige
Anmeldungsdatum:
28. Oktober 2009
Beiträge: 4403
Wohnort: Sachsen
|
VolkerRaschek schrieb: Ich habe bei einem Client den Squid wieder eingerichtet und merke, dass er immer die Seiten vom Server zieht und nie vom Cache.
Wie hast du das herausgefunden? Also ich habe mir kurzerhand einen lokalen Squid aufgesetzt und deine Konfiguration reinkopiert. Es funktioniert, auch das Caching. Was ich als Problem sehe
deine https_port-Direktiven (cert fehlt, ist aber Pflicht, außerdem nimmst du den gleichen Port für HTTP) udp_incoming_address und udp_outgoing_address sind falsch gesetzt (vielleicht liest du dir nochmal die Beschreibung durch, IMHO kannst du die einfach weglassen)
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
misterunknown schrieb: Wie hast du das herausgefunden? Also ich habe mir kurzerhand einen lokalen Squid aufgesetzt und deine Konfiguration reinkopiert. Es funktioniert, auch das Caching.
In den Log Dateien finde ich immer zwei Angaben. TCP_MISS:HIER_DIRECT und TCP_HIT:HIER_NONE.
TCP_MISS:HIER_DIRECT übersetzte ich Anhand des Wikis von Squid wie folgt, dass er eine TCP Verbindung aufbaut, da das Objekt fehlt und er es vom Orginal-Server anfragt, also vom Webserver. Bei TCP_HIT:HIER_NONE findet er zwar das Objekt durch das Kürzel HIT, aber keine Hierarchischen Informationen. Das würde bedeuten bei dem Objekt hat es funktioniert, dass er es aus Cache laden kann. Wenn ich die Wiki Seite von Squid per F5 neu lade, bekomme ich den Status TCP_REFRESH_UNMODIFIED:HIER_DIRECT in den Logs angezeigt. Nach Wiki würde ich dann folgendes übersetzen, dass eine TCP Verbindung aufgebaut wurde und die Seite soll neu geladen werden, er jedoch feststellt dass sich die Seite nicht geändert hat. Hierarchisch sucht er aber nach Objekten vom Webserver. Kann ich davon ausgehen, dass er die Objekte jetzt im Cache hatte oder doch geladen hat? | 10.1.1.100 - - [24/Aug/2016:12:07:42 +0200] "GET http://wiki.squid-cache.org/wiki/squidtheme/img/attention.png HTTP/1.1" 304 327 TCP_REFRESH_UNMODIFIED:HIER_DIRECT
10.1.1.100 - - [24/Aug/2016:12:07:42 +0200] "GET http://wiki.squid-cache.org/wiki/squidtheme/img/alert.png HTTP/1.1" 304 327 TCP_REFRESH_UNMODIFIED:HIER_DIRECT
10.1.1.100 - - [24/Aug/2016:12:07:42 +0200] "GET http://wiki.squid-cache.org/wiki/squidtheme/img/icon-info.png HTTP/1.1" 304 327 TCP_REFRESH_UNMODIFIED:HIER_DIRECT
10.1.1.100 - - [24/Aug/2016:12:07:42 +0200] "GET http://wiki.squid-cache.org/action/content/rotate%3DN? HTTP/1.1" 200 358 TCP_MISS:HIER_DIRECT
|
Was ich als Problem sehe
deine https_port-Direktiven (cert fehlt, ist aber Pflicht, außerdem nimmst du den gleichen Port für HTTP)
Danke, das habe ich gar nicht gemerkt. Da muss ich noch ein Zertifikat für erstellen.
udp_incoming_address und udp_outgoing_address sind falsch gesetzt (vielleicht liest du dir nochmal die Beschreibung durch, IMHO kannst du die einfach weglassen)
Ich hab die Zeilen von dieser Seite. (Ich weiß, dass das Buch schon sehr alt ist)
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
Zudem bekomme ich immer noch die Meldung, dass UDP Verbindung unterbunden werden. | 10.1.1.30 - - [24/Aug/2016:12:36:34 +0200] "ICP_QUERY http://ads.admized.com/rtb/usermatch.php?rtbprovider=adscale&call_type=redirect&umid=3&uid=403061472034991984&tpid=58&cburl=http%3A%2F%2Fih.adscale.de%2Fadscale-ih%2Ftpui%2F406811472034992091%2F1472034992248%2F4653 HTTP/0.0" 0 235 UDP_DENIED:HIER_NONE
10.1.1.30 - - [24/Aug/2016:12:36:34 +0200] "ICP_QUERY http://data.adsrvr.org/track/cmf/adscale?uid=403061472034991984&tpid=60&cburl=http%3A%2F%2Fih.adscale.de%2Fadscale-ih%2Ftpui%2F406811472034992091%2F1472034992248%2F4828 HTTP/0.0" 0 189 UDP_DENIED:HIER_NONE
10.1.1.30 - - [24/Aug/2016:12:36:34 +0200] "ICP_QUERY http://match.adsrvr.org/track/cmb/adscale?uid=403061472034991984&tpid=60&cburl=http%3A%2F%2Fih.adscale.de%2Fadscale-ih%2Ftpui%2F406811472034992091%2F1472034992248%2F4828 HTTP/0.0" 0 190 UDP_DENIED:HIER_NONE
10.1.1.30 - - [24/Aug/2016:12:36:35 +0200] "ICP_QUERY http://ssum.casalemedia.com/usermatchredir?s=183592&cb=http%3A%2F%2Fih.adscale.de%2Fadscale-ih%2Ftpui%2F429371437437189942%2F1437437190794%2F0%3Ftpid%3D63%26tpuid%3D__UID__&uid=403061472034991984&tpid=63&cburl=http%3A%2F%2Fih.adscale.de%2Fadscale-ih%2Ftpui%2F406811472034992091%2F1472034992248%2F5165 HTTP/0.0" 0 321 UDP_DENIED:HIER_NONE
10.1.1.30 - - [24/Aug/2016:12:36:35 +0200] "ICP_QUERY http://tpc.googlesyndication.com/safeframe/1-0-4/html/container.html HTTP/0.0" 0 89 UDP_DENIED:HIER_NONE
|
Ich habe danach im Internet mal am Wochenende gesucht. Jedoch konnte ich nichts nützliches finden woran da der Fehler liegt. Der Log-Ausschnitt ist von proxy2.
|
|
misterunknown
Ehemalige
Anmeldungsdatum:
28. Oktober 2009
Beiträge: 4403
Wohnort: Sachsen
|
VolkerRaschek schrieb: TCP_MISS:HIER_DIRECT übersetzte ich Anhand des Wikis von Squid wie folgt, dass er eine TCP Verbindung aufbaut, da das Objekt fehlt und er es vom Orginal-Server anfragt, also vom Webserver.
Korrekt.
Bei TCP_HIT:HIER_NONE findet er zwar das Objekt durch das Kürzel HIT, aber keine Hierarchischen Informationen. Das würde bedeuten bei dem Objekt hat es funktioniert, dass er es aus Cache laden kann.
Korrekt. HIER_NONE heißt einfach nur, dass er es direkt bei sich gefunden hat, und nicht auf einem Parent oder einem Sibling.
Wenn ich die Wiki Seite von Squid per F5 neu lade, bekomme ich den Status TCP_REFRESH_UNMODIFIED:HIER_DIRECT in den Logs angezeigt.
Wenn das kommt, hat der Client eine Anfrage gestellt, ob das entsprechende Objekt erneuert werden muss. Das heißt, der Browser hat das Objekt im Cache und weiß nicht, ob es aktuell genug ist. Das kann der Squid natürlich auch nicht wissen, und fragt daher beim Webserver an. Dieser sagt wiederum, dass das Objekt nicht verändert wurde, was Squid an den Browser weiterleitet. Zum Debuggen des Squids ist es daher sinnvoll den Browser-Cache vorübergehend zu deaktivieren.
deine https_port-Direktiven (cert fehlt, ist aber Pflicht, außerdem nimmst du den gleichen Port für HTTP)
Danke, das habe ich gar nicht gemerkt. Da muss ich noch ein Zertifikat für erstellen.
Ich denke, das kannst du dir sparen. Erstens ist der Squid unter Debian und Ubuntu nicht mit --enable-ssl gebaut (das heißt er ignoriert die Direktive sowieso), zweitens gibt es fast keine Clients, die eine HTTPS-Verbindung zum Proxy aufbauen können. Die aktuellen Browser zumindest können das nicht. Abgesehen davon, wäre der Standardport für sowas 3129.
1. udp_incoming_address und udp_outgoing_address sind falsch gesetzt (vielleicht liest du dir nochmal die Beschreibung durch, IMHO kannst du die einfach weglassen)
Ich hab die Zeilen von dieser Seite. (Ich weiß, dass das Buch schon sehr alt ist)
Ok, dann ergeben zumindest die Werte Sinn (hier und hier sind die so nicht definiert).
|
|
misterunknown
Ehemalige
Anmeldungsdatum:
28. Oktober 2009
Beiträge: 4403
Wohnort: Sachsen
|
VolkerRaschek schrieb: Zudem bekomme ich immer noch die Meldung, dass UDP Verbindung unterbunden werden.
Versuch mal folgendes:
acl squid_peers src proxy1.example.local proxy2.example.local
icp_access allow squid_peers
Es kann sein, dass er ICP-Requests generell blockt.
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
misterunknown schrieb: Versuch mal folgendes:
acl squid_peers src proxy1.example.local proxy2.example.local
icp_access allow squid_peers
Es kann sein, dass er ICP-Requests generell blockt.
Ja jetzt funktioniert es, vielen dank 👍 proxy2 - access.log
| 10.1.1.30 - - [24/Aug/2016:13:15:33 +0200] "ICP_QUERY http://g.bing.com/uac/response?size=300x250;noperf=1;adclntid=1002;alias=MSNDEDE1D;noaddonpl=y;kvmsft_providerid=7hd66fc;kvmsft_rid=2620b2be782d4be7a6130ea6b82a8167;kvmsft_ext_inv_cd=de;kvmsft_muid=2848ad07793b67932c45a47178496645;kvmsft_pagetype=homepage;kvpg=msn%2Fde-de;kvugc=0;kvmn=MSNDEDE1D;kvgrp=37332596;kvismob=2;extmirroring=0;kvtile=6;target=_blank;aduho=120;grp=37332596 HTTP/0.0" 0 402 UDP_MISS:HIER_NONE
10.1.1.30 - - [24/Aug/2016:13:15:33 +0200] "ICP_QUERY http://g.bing.com/uac/response?allowedSizes=728x90,948x250,950x252,940x230,101x1,970x66,970x90,970x250,800x250;noperf=1;adclntid=1002;alias=MSNDEDE12;kvmsft_providerid=7hd66fc;kvmsft_rid=2620b2be782d4be7a6130ea6b82a8167;kvmsft_ext_inv_cd=de;kvmsft_muid=2848ad07793b67932c45a47178496645;kvmsft_pagetype=homepage;kvpg=msn%2Fde-de;kvugc=0;kvmn=MSNDEDE12;kvgrp=37332596;kvismob=2;extmirroring=0;kvtile=1;target=_blank;aduho=120;grp=37332596 HTTP/0.0" 0 457 UDP_MISS:HIER_NONE
10.1.1.30 - - [24/Aug/2016:13:15:33 +0200] "ICP_QUERY http://g.bing.com/uac/response?size=300x250;noperf=1;adclntid=1002;alias=MSNDEDE1A;noaddonpl=y;kvmsft_providerid=7hd66fc;kvmsft_rid=2620b2be782d4be7a6130ea6b82a8167;kvmsft_ext_inv_cd=de;kvmsft_muid=2848ad07793b67932c45a47178496645;kvmsft_pagetype=homepage;kvpg=msn%2Fde-de;kvugc=0;kvmn=MSNDEDE1A;kvgrp=37332596;kvismob=2;extmirroring=0;kvtile=3;target=_blank;aduho=120;grp=37332596 HTTP/0.0" 0 402 UDP_MISS:HIER_NONE
10.1.1.30 - - [24/Aug/2016:13:15:33 +0200] "ICP_QUERY http://g.bing.com/uac/response?size=300x250;noperf=1;adclntid=1002;alias=MSNDEDE1C;noaddonpl=y;kvmsft_providerid=7hd66fc;kvmsft_rid=2620b2be782d4be7a6130ea6b82a8167;kvmsft_ext_inv_cd=de;kvmsft_muid=2848ad07793b67932c45a47178496645;kvmsft_pagetype=homepage;kvpg=msn%2Fde-de;kvugc=0;kvmn=MSNDEDE1C;kvgrp=37332596;kvismob=2;extmirroring=0;kvtile=5;target=_blank;aduho=120;grp=37332596 HTTP/0.0" 0 402 UDP_MISS:HIER_NONE
10.1.1.30 - - [24/Aug/2016:13:15:33 +0200] "ICP_QUERY http://pixel.advertising.com/ups/254/occ HTTP/0.0" 0 61 UDP_MISS:HIER_NONE
|
Wenn ich allerdings beispielhaft msn.com aufrufe. Erhalte ich fast nur TCP_MISS:HIER_DIRECT, als ob der Proxy die Seite nicht irgendwann mal im cache hat. Gibt es für Website betreiber eine Möglichkeit meinem Proxy zu sagen, der soll die Seite nicht cachen oder liegt hier ein Fehler in der Konfiguration vor?
|
|
misterunknown
Ehemalige
Anmeldungsdatum:
28. Oktober 2009
Beiträge: 4403
Wohnort: Sachsen
|
VolkerRaschek schrieb: Wenn ich allerdings beispielhaft msn.com aufrufe. Erhalte ich fast nur TCP_MISS:HIER_DIRECT, als ob der Proxy die Seite nicht irgendwann mal im cache hat. Gibt es für Website betreiber eine Möglichkeit meinem Proxy zu sagen, der soll die Seite nicht cachen oder liegt hier ein Fehler in der Konfiguration vor?
Ja, es gibt die Möglichkeit über die Cache-Header von HTTP das Verhalten von Proxy-Servern zu steuern. Das heißt aber nicht, dass es nicht noch einen Schiefstand in der Konfiguration gibt. Ich würde mir mal einen konkreten Testcase aufbauen. Such dir ein kleines Bild raus, welches in den Cache passt und rufe es im Browser auf. Dann löschst du den Browser-Cache und rufst das Bild nochmal ab. Beim zweiten Mal, sollte das Bild aus dem Squid-Cache kommen.
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
misterunknown schrieb: Such dir ein kleines Bild raus, welches in den Cache passt und rufe es im Browser auf. Dann löschst du den Browser-Cache und rufst das Bild nochmal ab. Beim zweiten Mal, sollte das Bild aus dem Squid-Cache kommen.
Das scheint zu funktionieren. Ich hab es jetzt einfach mal mit der Seite von msn.com gemacht. 1
2
3
4
5
6
7
8
9
10
11
12 | 192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA4Xj9v? HTTP/1.1" 200 5128 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA53fy8? HTTP/1.1" 200 5730 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA3Dpze? HTTP/1.1" 200 4253 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBkuOtG? HTTP/1.1" 200 6360 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA3D8ia? HTTP/1.1" 200 5369 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA2d0lN? HTTP/1.1" 200 5085 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBw1P13.img? HTTP/1.1" 200 9064 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBw2dc0.img? HTTP/1.1" 200 3105 TCP_MISS:HIER_DIRECT
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBvFYy3.img? HTTP/1.1" 200 6352 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBvnpmS.img? HTTP/1.1" 200 8924 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBvYN1K.img? HTTP/1.1" 200 8222 TCP_MEM_HIT:HIER_NONE
192.168.0.20 - - [25/Aug/2016:13:06:22 +0200] "GET http://img-s-msn-com.akamaized.net/tenant/amp/entityid/BBveXJJ.img? HTTP/1.1" 200 3725 TCP_MEM_HIT:HIER_NONE
|
Ich möchte jedoch noch mal zu der https_port Direktiven zurück kommen. Ich bin mir nicht ganz sicher was die genau bewirken soll, wenn doch über den http_port SSL-Verbundungen aufgebaut werden können. Da ich in der Direktiven eine pem Datei angeben muss, schließe ich daraus, dass er das Zertifikat der Website durch sein eigenes ersetzt um so auch SSL Verbindungen zu cachen? Ich wollte das ganze mal ausprobieren mit dem https_port. Daher daher habe ich die https_port Direktive wie folgt gesetzt
| http_port 3128
https_port 3129 cert=/etc/ssl/public/proxy1/proxy1.pem options=NO_SSLv2,NO_SSLv3
|
Ich wusste nicht wie man eine pem Datei erstellt mit openssl, daher habe ich einfach erst den key-Block und dann den crt-Block in die pem-Datei gespeichert. Wenn ich nun in den Proxy-Einstellungen des Systems, meines Testclients, den HTTPS-Port von 3128 auf 3129 ändere erhalte ich folgende Meldung im Browser. Fehler: Proxy-Server verweigert die Verbindung
Firefox wurde konfiguriert, einen Proxy-Server zu nutzen, der die Verbindung zurückweist.
* Überprüfen Sie bitte, ob die Proxy-Einstellungen korrekt
* Kontaktieren Sie bitte Ihren Netzwerk-Administrator, um sicherzustellen, dass der Proxy-Server funktioniert Wenn ich keine SSL-Websites aufrufe funltioniert es wunderbar. Erst bei SSL meckert er. Ich weiß nicht genau warum er meckert, was fehlt in den acl's damit die Verbindung nicht unterbrochen wird? | acl master src 192.168.0.20
acl CONNECT method CONNECT
http_access allow master CONNECT
http_access allow master
|
Gruß
Volker
|
|
misterunknown
Ehemalige
Anmeldungsdatum:
28. Oktober 2009
Beiträge: 4403
Wohnort: Sachsen
|
VolkerRaschek schrieb: Das scheint zu funktionieren. Ich hab es jetzt einfach mal mit der Seite von msn.com gemacht.
👍
Ich möchte jedoch noch mal zu der https_port Direktiven zurück kommen. Ich bin mir nicht ganz sicher was die genau bewirken soll, wenn doch über den http_port SSL-Verbundungen aufgebaut werden können. Da ich in der Direktiven eine pem Datei angeben muss, schließe ich daraus, dass er das Zertifikat der Website durch sein eigenes ersetzt um so auch SSL Verbindungen zu cachen?
Nein. Hintergrund der https_port-Direktive ist, dass der Client eine verschlüsselte Verbindung zum Proxy aufbauen kann. Damit wird verhindert, dass die Client-Proxy-Verbindung abgehört werden kann. Das kommt vor allem dann zum tragen, wenn der Proxy nicht im lokalen Netz, sondern im Internet steht. Problem ist aber wie gesagt, dass die wenigsten Clients eine verschlüsselte Client-Proxy-Verbindung unterstützen.
Fehler: Proxy-Server verweigert die Verbindung
Firefox wurde konfiguriert, einen Proxy-Server zu nutzen, der die Verbindung zurückweist.
* Überprüfen Sie bitte, ob die Proxy-Einstellungen korrekt
* Kontaktieren Sie bitte Ihren Netzwerk-Administrator, um sicherzustellen, dass der Proxy-Server funktioniert
Wenn ich keine SSL-Websites aufrufe funltioniert es wunderbar. Erst bei SSL meckert er.
Das liegt daran, dass er für HTTP-Aufrufe den Port 3128 nimmt (das geht), und für HTTPS versucht er den Port 3129 zu nehmen (geht nicht). Letzteres hat 2 Gründe: Erstens ist der Squid unter Debian und Ubuntu ohne --enable-ssl gebaut, was zu folge hat, dass er die Direktive einfach ignoriert. Das kannst du beispielsweise auch mit netstat nachprüfen:
netstat -tlpn | grep 3129
Zweitens gibt es so gut wie keine Clients, die eine verschlüsselte Client-Proxy-Verbindung unterstützen. Siehe auch. Wichtig ist zu verstehen, dass https_port nichts mit dem vom Client angefragten Protokoll zu tun hat. Es bezieht sich ausschließlich auf die Client-Proxy-Verbindung. Würde das funktionieren, könnte man also auch HTTP-Seiten über den https_port abrufen.
|
|
VolkerRaschek
(Themenstarter)
Anmeldungsdatum:
19. August 2014
Beiträge: 358
Wohnort: Eifel
|
misterunknown schrieb: Wichtig ist zu verstehen, dass https_port nichts mit dem vom Client angefragten Protokoll zu tun hat. Es bezieht sich ausschließlich auf die Client-Proxy-Verbindung. Würde das funktionieren, könnte man also auch HTTP-Seiten über den https_port abrufen.
Okay verstanden, das ist ziemlich schade. Kann man dann grundsätzlich davon ausgehen, dass getunnelte Verbindungen über SSL nicht gecacht sondern nur unterbunden werden können?
|