Netgate m1n1wall

Author Topic: Squid , Rendimiento, Opciones de Cache Mgmt, como saber si está usando el Caché?  (Read 7248 times)

0 Members and 1 Guest are viewing this topic.

Offline cesar-v

  • Jr. Member
  • **
  • Posts: 69
  • Karma: +0/-0
    • View Profile
Estimados buenas tardes, tengo corriendo pfsense 2.0.1

A esta máquina le instalé Squid en modo transparente, pero aparentemente los equipos conectados mi pfsense, no hacen uso del caché local y acceden a directamente a Internet a pesar de ser contenidos que deberían estar almacenados en el proxy.

Las pruebas:

He hecho pruebas visitando algunos sitios web de prensa local como lun.com, latercera.cl, lacuarta.cl, et  y verificando el ancho de banda al momento de acceder a estos con la opción Traffic Graph.
es decir en este orden:

1.- En una máquina conectada a pfsense,  accedo al sitio Web www.lun.com  (Es un sitio Web de noticias y tiene muchas imágenes aprox  60 imágenes que no superan los 90 kb cada una)
     pues bien lo visito asegurándome que termine toda la descarga.

2.- En una segunda ventana del navegador en la administración de pfsense usando la opción Traffic Graph  veo que WAN tiene un consumo entrante "in" de casi 2.6mbps por el ingreso a LUN.COM

3.- Luego en un segundo intento de acceder al mismo sitio Web (www.lun.com)  y la gráfica de consumo de WAN "in" me muestra un resultado casi idéntico y asi en todos los ingresos consecutivos al sitio web.

......no importando que ya se ha visitado el sitio Web, la gráfica de uso de WAN  me indica el uso del ancho de banda casi igual al primer intento , que (según yo) debería ser  muy cercano a cero por tratarse de contenidos ya visitados.

Les adjunto en el post,  la imagen del gráfico donde se muestra cada ingreso consecutivo a uno de los sitios web (lun.com) y siempre vuelve a existir tráfico en wan,  es esto normal=? o lo estoy interpretando mal?

También dejo la imagen de como tengo los parámetros en la opción "Cache Mgmt"

Muy agradecido de que alguien me indique en que estoy mal...
(No utilizo una segunda máquina física para squid, por que no tengo otra y pretendo gestionar una red pequeña de no mas de 20 equipos)

Saludos cordiales,
César-v
« Last Edit: April 24, 2012, 10:07:25 am by cesar-v »

Offline bellera

  • Moderator
  • Hero Member
  • *****
  • Posts: 4458
  • Karma: +0/-0
    • LinkedIn
    • View Profile
    • Josep Pujadas i Jubany
A ver...

Cuando un navegador pide una página a través de un proxy pueden pasar dos cosas:

* El objeto pedido es un contenido dinámico, es decir la URL contiene parámetros, no es fija. El proxy no lo cachea y se pide al servidor de destino.
* El objeto pedido es un contenido estático, fijo. Si es reciente (no ha caducado), el proxy lo sirve de su caché (caso de tenerlo). Si no lo tiene (el proxy) o está caducado se pide al servidor de destino, se guarda en la caché y se sirve.

De ahí que veas tráfico...

Saludos,

Josep Pujadas-Jubany

Offline cesar-v

  • Jr. Member
  • **
  • Posts: 69
  • Karma: +0/-0
    • View Profile
Estimado muy agradecido por su respuesta, siempre leo con atención sus comentarios en el foro.

Efectivamente el sitio con el que hice la prueba (lun.com) es dinámico  (ASP), me quedé pensando un poco en esto y la mayoría de los sitios web que visitamos (yo y mi red) lo son.

La cantidad de sitios web con tecnología de programación dinámica  es enorme (php, asp, etc)... desde blog´s, sitios personales, prensa, facebook, la lista es larguísima. Casi todos consumen mucho tráfico Internet, por la gran cantidad de imágenes que despliegan, aún cuando son las mismas durante bastante tiempo.

En el caso de la prensa, la portada de estos sitios cambia todos los días (como el  web lun.com) pero es visitada por muchos de mis usuarios diariamente y creo que bastaría con que, en el primer ingreso al sitio web las imágenes fueran a dar a caché para que en el resto de los ingresos por parte de mis usuarios estos archivos (jpg, gif otros) ya no generen tráfico por que ya estarían localmente.

Buscado información del tema he encontrado algunas pistas de como indicar a squid (en squid.conf) el almacenamiento de imágenes y otro tipo de archivos

como la siguiente linea:

#almacenar archivos.
refresh_pattern -i \.(mp3|mp4|mpeg|swf|flv|x-flv|class|jar|js|gif|jpg|ico|png|css)$ 43200 90% 43200 override-expire ignore-no-cache ignore-no-store ignore-private

Lo que no me queda claro es si existirá una linea de código de mayor jerarquía (que la que comento), que impida pedir a squid que se almacenen jpg, gif, otros.


Lineas de código para squid.conf que me parecen interesantes.

# OPTIONS FOR TUNING THE CACHE
# -----------------------------------------------------------------------------

cache deny QUERY
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i \.(gif|png|jp?g|ico|bmp|tiff?)$ 10080 95% 43200
refresh_pattern -i \.(rpm|cab|deb|exe|msi|msu|zip|tar|gz|tgz|rar|bin|7z|doc?|xls?|ppt?|pdf|nth|psd|sis)$ 10080 90% 43200
refresh_pattern -i \.(avi|iso|wav|mid|mp?|mpeg|mov|3gp|wm?|swf|flv|x-flv|axd)$ 43200 95% 432000
refresh_pattern -i \.(html|htm|css|js)$ 1440 75% 40320
refresh_pattern -i \.index.(html|htm)$ 0 75% 10080
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 1440 90% 10080

quick_abort_min 0 KB
quick_abort_max 0 KB
quick_abort_pct 98
store_avg_object_size 13 KB


#refresh_pattern ((facebook.com)|(69.63.181.11|69.63.181.12|69.63.1 89.11|69.63.189.16)).*\.(jpg|png|gif|swf|mp3|mp4|m pg|3gp|flv|swf|wmv|zip|rar) 12960 99% 12960
refresh_pattern -i \.facebook.com.*\.(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
refresh_pattern -i \.fbcdn.net.*\.(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129690
refresh_pattern -i \.zynga.com.*\.(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 12960 999999% 129609
refresh_pattern -i \.crowdstar.com.*\.(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 12960 999999% 129609
refresh_pattern ^http:\/\/\static\.ak\.fbcdn\.net*\.(jpg|gif|png|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 129600 999999% 129600
refresh_pattern ^http:\/\/\videoxl\.l[0-9]\.facebook.com\/(.*)(3gp|flv|swf|wmv|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http:\/\/\*.channel\.facebook\.com\/(.*)(js|css|swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http:\/\/video\.ak\.facebook.com*\.(3gp|flv|swf|wmv|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http:\/\/photos-[a-z]\.ak\.fbcdn\.net\/(.*)(css|swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http:\/\/profile\.ak\.fbcdn.net*\.(jpg|gif|png) 129600 999999% 129600
refresh_pattern ^http://platform.ak.fbcdn.net/.* 720 100% 4320
refresh_pattern ^http://creative.ak.fbcdn.net/.* 720 100% 4320
refresh_pattern ^http://apps.facebook.com/.* 720 100% 4320
refresh_pattern ^http:\/\/static\.ak\.fbcdn.net*\.(js|css|jpg|gif|png) 129600 999999% 129600
refresh_pattern ^http:\/\/\statics\.poker\.static\.zynga\.com\/(.*)(swf|jpg|gif|png|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://statics.poker.static.zynga.com/.* 720 100% 4320
refresh_pattern ^http:\/\/\*.zynga.com*\.(swf|jpg|gif|png|wav|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http:\/\/\*.crowdstar.com*\.(swf|jpg|gif|png|wav|mp(e?g|a|e|1|2|3|4)) 129600 999999% 129600
refresh_pattern ^http://*.google-analytics.*/.* 720 100% 4320
refresh_pattern -i \.kaskus.com.*\.(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
refresh_pattern -i \.kaskus.us.*\.(jpg|gif|png|swf|wav|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv|zip|rar) 12960 999999% 129600
refresh_pattern ^http:\/\/\*.kaskus\.us*\.*(jpg|gif|png|mp(e?g|a|e|1|2|3|4)|3gp|flv|swf|wmv) 129600 999999% 129600

# -----------------------------------------------------------------------------

Seguiré haciendo pruebas, estaré atento a leer cualquier aporte, acotación, crítica, abucheos, insultos.


Saludos
césar-v

Offline ZAC

  • Sr. Member
  • ****
  • Posts: 391
  • Karma: +0/-0
    • View Profile
Pues si logras las cosas como quieres, tal vez sería bueno que postearas claramente como lo has obtenido, saludos y suerte.

Offline cesar-v

  • Jr. Member
  • **
  • Posts: 69
  • Karma: +0/-0
    • View Profile
Buenas tardes como van ..    como pueden verificar que su servidor Squid hace realmente caché a disco? 
y de que elementos lo está haciendo ?
lo monitorean?  de que forma? acceden al log? con alguna herramienta?

El amigo , bellera, me indicaba lo siguiente:

"* El objeto pedido es un contenido dinámico, es decir la URL contiene parámetros, no es fija. El proxy no lo cachea y se pide al servidor de destino.
 * El objeto pedido es un contenido estático, fijo. Si es reciente (no ha caducado), el proxy lo sirve de su caché (caso de tenerlo). Si no lo tiene (el proxy) o está caducado se pide al servidor de destino, se guarda en la caché y se sirve."

Si estoy entendiendo bien lo que me dice.  Si visito un sitio web desarrollado en php o asp, pasando por el proxy  por ejemplo.....    "www.algo.com/index.php"   squid no cachea  el archivo "index.php"   y que ocurre con los elementos que pudiera llamar ese index.php ?  (como las imágenes) que pueden estar en rutas como  /images/foto1.jpg ? ... o al momento de solicitar ese index.php  squid  ya queda "frenado"..?

leí de unas lineas de código "refresh_pattern -i \.(gif|png|jp?g|ico|bmp|tiff?)$ 10080 95% 43200"  que le indican a squid que use los gif|png|jp?g|ico|bmp|tiff  en su caché
pero me sigue dando vuelta el tema de los web dinámicos...

hice algunas pruebas agregando estas lineas como parámetros adicionales  en squid.conf   (desde la propia herramienta web de administracion de pfsense)  sin exito aparente ...   ???
sigo probando con el web lun.com  y  sigue usando ancho de banda internet en segundos ingresos... 

sigo estudiando.... por favor cualquier aporte es bienvenido....






Offline bellera

  • Moderator
  • Hero Member
  • *****
  • Posts: 4458
  • Karma: +0/-0
    • LinkedIn
    • View Profile
    • Josep Pujadas i Jubany
Ajustar la caché suele ser complicado e incluso contraproducente. La configuración "normal" de squid cachea lo cacheable hoy en día.

No se pueden cachear contenidos php, asp, pl, py, cgi-bin... por la sencilla razón de que son lenguajes "de servidor" y cuando el usuario hace una solicitud entregan un código html siempre supuestamente distinto.

En cambio si se puede cachear todo lo que sea estático, incluído el código de lenguajes de scripting (Java Script y similares).

http://es.wikipedia.org/wiki/Contenido_din%C3%A1mico

Querer cachear contenidos dinámicos es incluso peligroso. Más de una vez he visto proxys mal configurados, que provocan que un usuario se encuentre con la cuenta de otro en entornos php como Moodle.

Además internet está lleno de malos consejos de sobre cómo utilizar las opciones de cacheo con squid, principalmente porque las configuraciones explicadas son de versiones bastante primitivas de squid (y de la propia internet). Incluso poco hay del tema en la wiki oficial:

http://wiki.squid-cache.org/ConfigExamples/DynamicContent

squid loguea lo que hace con la caché en store.log:

http://wiki.squid-cache.org/SquidFaq/SquidLogs#store.log

Resumiendo:

RELEASE -> Objeto casducado. Se borra de la caché.
SWAPOUT -> Se guarda objeto en el disco.
SWAPIN -> Se sirve objeto en disco.

Yo no me preocuparía demasiado por esto. Tengo un squid funcionando sin ningún ajuste de caché con 70-90 GByte de caché continuamente.

Saludos,

Josep Pujadas-Jubany

Offline periko

  • Hero Member
  • *****
  • Posts: 771
  • Karma: +0/-0
  • pheriko
    • View Profile
    • Soporte de Pfsense y Linux
 Un comentario, si revisas tus logs(access.log), si vez algo como esto:

Code: [Select]
TCP_HIT...

 Si vez esto estas usando tu cache.

 Saludos!!!
Necesitan Soporte de Pfsense en Mexico?/Need Pfsense Support in Mexico?
www.bajaopensolutions.com
Estamos en Tijuana, pero no es obstaculo para brindarte nuestro servicio.
We are in Tijuana, but is not an obstacle to give you support.

Offline periko

  • Hero Member
  • *****
  • Posts: 771
  • Karma: +0/-0
  • pheriko
    • View Profile
    • Soporte de Pfsense y Linux
  Hola, bellera segun he revisado la configuracion de squid y creo que maneja el store.log por default, ahora he tratado de correr algunos reportes que hablan del cache y podemos ver si estamos ahorrando o no ancho de banda y como esta su desempeno, si gustan revisarlos, pfsense no tiene ninguno de ellos solo el sarg:

  http://pheriko.blogspot.com/2012/05/pfsense-2-reportes-de-desempeno.html

 Estoy seguro que los que tienen trafico alto van ver datos mas grandes del cache que los que muestro en el blog.

  Saludos!!!
Necesitan Soporte de Pfsense en Mexico?/Need Pfsense Support in Mexico?
www.bajaopensolutions.com
Estamos en Tijuana, pero no es obstaculo para brindarte nuestro servicio.
We are in Tijuana, but is not an obstacle to give you support.

Offline bellera

  • Moderator
  • Hero Member
  • *****
  • Posts: 4458
  • Karma: +0/-0
    • LinkedIn
    • View Profile
    • Josep Pujadas i Jubany
¡Buen trabajo!

Lo pongo arriba, en el hilo dedicado a squid...

Josep

Offline cesar-v

  • Jr. Member
  • **
  • Posts: 69
  • Karma: +0/-0
    • View Profile
buenas tardes como van ;

Creo que cambiaré mi nick a "majadero"...   ;D

De los días que llevo probando y de las respuestas emitidas en el foro puedo concluir (por favor me corrigen si me equivoco) lo siguiente :

Intentar que el servidor squid almacene en su caché imágenes jpg, gif, png para ahorrar ancho de banda entre otros tipos de archivos No será posible en sitios web con tecnología de programación dinámica o Si?

*- Por ejemplo un sitio web programado en asp o php que haga despliegue de imágenes JPG o gif siendo estos dinámicos no pasarán al caché de  Squid y sus archivos jpg tampoco?..... o estos últimos si se podrían "cachear".-

..gracias gracias...no se molesten

saludos
César.-

pd: que fantástico trabajo el del amigo  periko
« Last Edit: May 08, 2012, 02:48:53 pm by cesar-v »

Offline periko

  • Hero Member
  • *****
  • Posts: 771
  • Karma: +0/-0
  • pheriko
    • View Profile
    • Soporte de Pfsense y Linux

  De los sitios dinamicos que tienes, como aparecen en access.log cuando los accesas?
Necesitan Soporte de Pfsense en Mexico?/Need Pfsense Support in Mexico?
www.bajaopensolutions.com
Estamos en Tijuana, pero no es obstaculo para brindarte nuestro servicio.
We are in Tijuana, but is not an obstacle to give you support.

Offline cesar-v

  • Jr. Member
  • **
  • Posts: 69
  • Karma: +0/-0
    • View Profile
buen día, este es un trozo del log que genera squid al acceder a lun.com


1336581733.511      3 192.168.1.150 TCP_MEM_HIT/200 504 GET http://www.lun.com/Style%20Library/Images/08modulo.gif - NONE/- image/gif
1336581733.511      3 192.168.1.150 TCP_MEM_HIT/200 495 GET http://www.lun.com/Style%20Library/Images/09modulo.gif - NONE/- image/gif
1336581733.512      3 192.168.1.150 TCP_MEM_HIT/200 505 GET http://www.lun.com/Style%20Library/Images/10modulo.gif - NONE/- image/gif
1336581733.512      3 192.168.1.150 TCP_MEM_HIT/200 557 GET http://www.lun.com/Style%20Library/images/01modulo.gif - NONE/- image/gif
1336581733.512      3 192.168.1.150 TCP_MEM_HIT/200 547 GET http://www.lun.com/Style%20Library/images/02modulo.gif - NONE/- image/gif
1336581733.525     25 192.168.1.150 TCP_REFRESH_MISS/200 2242 GET http://images.lun.com/luncontents/Noticias%20Imagenes/2012/may/09/40_003_0905_RB_65.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.526     26 192.168.1.150 TCP_REFRESH_MISS/200 2790 GET http://images.lun.com/luncontents/Noticias%20Imagenes/2012/may/09/40_004_0905_N_65.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.536     36 192.168.1.150 TCP_REFRESH_MISS/200 2604 GET http://images.lun.com/luncontents/Noticias%20Imagenes/2012/may/09/39_1_0905_rb_65.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.573     10 192.168.1.150 TCP_REFRESH_HIT/200 3480 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/04/MIA001201205041H_78.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.587     10 192.168.1.150 TCP_REFRESH_HIT/200 3885 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/06/LCTP01RE0605_78.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.601     16 192.168.1.150 TCP_REFRESH_HIT/200 4445 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/07/LCTP01MM0705_78.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.640      0 192.168.1.150 TCP_MEM_HIT/200 568 GET http://www.lun.com/Style%20Library/images/03modulo.gif - NONE/- image/gif
1336581733.640      0 192.168.1.150 TCP_MEM_HIT/200 450 GET http://www.lun.com/Style%20Library/images/04modulo.gif - NONE/- image/gif
1336581733.641      0 192.168.1.150 TCP_MEM_HIT/200 715 GET http://www.lun.com/Style%20Library/images/h3.gif - NONE/- image/gif
1336581733.658      0 192.168.1.150 TCP_MEM_HIT/200 452 GET http://www.lun.com/Style%20Library/images/05modulo.gif - NONE/- image/gif
1336581733.665      0 192.168.1.150 TCP_MEM_HIT/200 504 GET http://www.lun.com/Style%20Library/images/08modulo.gif - NONE/- image/gif
1336581733.676      1 192.168.1.150 TCP_MEM_HIT/200 494 GET http://www.lun.com/Style%20Library/images/09modulo.gif - NONE/- image/gif
1336581733.708     34 192.168.1.150 TCP_REFRESH_MISS/200 11605 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3__RAU9389.JPG - DIRECT/200.12.22.16 image/jpeg
1336581733.720     46 192.168.1.150 TCP_REFRESH_MISS/200 23072 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_VictoriasSecret(1).jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.723     33 192.168.1.150 TCP_REFRESH_MISS/200 21436 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_Angie_Alvarado.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.770     32 192.168.1.150 TCP_REFRESH_MISS/200 32881 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_Francisca_Merino(1).jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.783     15 192.168.1.150 TCP_REFRESH_HIT/200 11875 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_RBDURANDURAN01.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.796      0 192.168.1.150 TCP_MEM_HIT/200 506 GET http://www.lun.com/Style%20Library/images/10modulo.gif - NONE/- image/gif
1336581733.796      0 192.168.1.150 TCP_MEM_HIT/200 507 GET http://www.lun.com/Style%20Library/Images/col_curveleft_no_focus.gif - NONE/- image/gif
1336581733.796      0 192.168.1.150 TCP_MEM_HIT/200 507 GET http://www.lun.com/Style%20Library/Images/col_curveright_no_focus.gif - NONE/- image/gif
1336581733.818     35 192.168.1.150 TCP_REFRESH_MISS/200 33127 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_Robo01.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.818      0 192.168.1.150 TCP_MEM_HIT/200 534 GET http://www.lun.com/Style%20Library/Images/01modulo2.gif - NONE/- image/gif
1336581733.821      0 192.168.1.150 TCP_MEM_HIT/200 480 GET http://www.lun.com/Style%20Library/Images/02modulo2.gif - NONE/- image/gif
1336581733.826      0 192.168.1.150 TCP_MEM_HIT/200 535 GET http://www.lun.com/Style%20Library/Images/03modulo2.gif - NONE/- image/gif
1336581733.897     17 192.168.1.150 TCP_REFRESH_HIT/200 28406 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_RBLLEGADADEBOCAJUNIORS01.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.920     26 192.168.1.150 TCP_REFRESH_MISS/200 7516 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_MS-02.jpg - DIRECT/200.12.22.16 image/jpeg
1336581733.920     34 192.168.1.150 TCP_REFRESH_MISS/200 32107 GET http://images.lun.com/lunservercontents/Imagenes%20de%20la%20galeria%20de%20la%20foto/2012/may/09/800_3_FEER3064.JPG - DIRECT/200.12.22.16 image/jpeg
1336581733.951      0 192.168.1.150 TCP_MEM_HIT/200 452 GET http://www.lun.com/Style%20Library/Images/04modulo2.gif - NONE/- image/gif
1336581733.951      0 192.168.1.150 TCP_MEM_HIT/200 2865 GET http://www.lun.com/Style%20Library/Images/loading2.gif - NONE/- image/gif
1336581733.954      0 192.168.1.150 TCP_MEM_HIT/200 448 GET http://www.lun.com/Style%20Library/Images/05modulo2.gif - NONE/- image/gif
1336581733.966      0 192.168.1.150 TCP_MEM_HIT/200 547 GET http://www.lun.com/Style%20Library/Images/08modulo2.gif - NONE/- image/gif
1336581733.967      1 192.168.1.150 TCP_MEM_HIT/200 512 GET http://www.lun.com/Style%20Library/Images/09modulo2.gif - NONE/- image/gif
1336581733.974      0 192.168.1.150 TCP_MEM_HIT/200 1294 GET http://www.lun.com/Style%20Library/images/twitter_ico.png - NONE/- image/png
1336581734.048      0 192.168.1.150 TCP_MEM_HIT/200 1273 GET http://www.lun.com/Style%20Library/images/facebook_ico.png - NONE/- image/png
1336581734.060      0 192.168.1.150 TCP_MEM_HIT/200 532 GET http://www.lun.com/Style%20Library/Images/10modulo2.gif - NONE/- image/gif
1336581734.060      0 192.168.1.150 TCP_MEM_HIT/200 1470 GET http://www.lun.com/Style%20Library/images/iconVideo1.png - NONE/- image/png
1336581736.698     35 192.168.1.150 TCP_REFRESH_MISS/200 27991 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST04LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.031     14 192.168.1.150 TCP_REFRESH_HIT/200 27518 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST06LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.047     34 192.168.1.150 TCP_REFRESH_MISS/200 16549 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR05LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.054     33 192.168.1.150 TCP_REFRESH_MISS/200 23761 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST07LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.108     49 192.168.1.150 TCP_REFRESH_HIT/200 19605 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST09LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.114     55 192.168.1.150 TCP_REFRESH_MISS/200 25294 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR08LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.114     51 192.168.1.150 TCP_REFRESH_MISS/200 25712 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR10LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.126     34 192.168.1.150 TCP_REFRESH_MISS/200 23951 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR11LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581737.492    148 192.168.1.150 TCP_REFRESH_MISS/200 1808 GET http://www.lun.com/favicon.ico - DIRECT/216.241.26.8 image/x-icon
1336581739.221     32 192.168.1.150 TCP_REFRESH_MISS/200 25878 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR12LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581739.347     26 192.168.1.150 TCP_REFRESH_MISS/200 15855 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST13LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581739.410     13 192.168.1.150 TCP_REFRESH_HIT/200 26821 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR14LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.116     16 192.168.1.150 TCP_REFRESH_HIT/200 24602 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST15LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.232     33 192.168.1.150 TCP_REFRESH_MISS/200 24108 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR16LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.243     40 192.168.1.150 TCP_REFRESH_MISS/200 27885 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR17LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.318     16 192.168.1.150 TCP_REFRESH_HIT/304 437 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST15LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.567     35 192.168.1.150 TCP_REFRESH_MISS/200 26838 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR18LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.669     28 192.168.1.150 TCP_REFRESH_MISS/200 26606 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST19LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581742.760     14 192.168.1.150 TCP_REFRESH_HIT/304 381 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR18LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581742.999     33 192.168.1.150 TCP_REFRESH_HIT/200 26507 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR21LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.000     39 192.168.1.150 TCP_REFRESH_MISS/200 24537 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST20LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.022     47 192.168.1.150 TCP_REFRESH_MISS/200 31291 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST22LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.023     42 192.168.1.150 TCP_REFRESH_MISS/200 26295 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST23LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.293     32 192.168.1.150 TCP_REFRESH_MISS/200 27923 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR24LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.373     16 192.168.1.150 TCP_REFRESH_HIT/200 29637 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST26LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.385     32 192.168.1.150 TCP_REFRESH_MISS/200 28501 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST25LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.475     11 192.168.1.150 TCP_REFRESH_HIT/304 438 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST20LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.480     13 192.168.1.150 TCP_REFRESH_HIT/304 437 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST22LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581743.490     14 192.168.1.150 TCP_REFRESH_HIT/304 436 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST23LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.225     34 192.168.1.150 TCP_REFRESH_MISS/200 25093 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR27LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.301     29 192.168.1.150 TCP_REFRESH_MISS/200 25836 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR28LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.385     12 192.168.1.150 TCP_REFRESH_HIT/304 235 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR27LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581744.587     27 192.168.1.150 TCP_REFRESH_MISS/200 28831 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST30LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.695     15 192.168.1.150 TCP_REFRESH_HIT/200 22928 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR31LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.723     36 192.168.1.150 TCP_REFRESH_MISS/200 28203 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST32LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581744.899     33 192.168.1.150 TCP_REFRESH_MISS/200 27131 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR33LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.026     15 192.168.1.150 TCP_REFRESH_HIT/200 28407 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR34LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.048     32 192.168.1.150 TCP_REFRESH_MISS/200 25329 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR35LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.185     13 192.168.1.150 TCP_REFRESH_HIT/304 379 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR31LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581745.460     50 192.168.1.150 TCP_REFRESH_MISS/200 22343 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR40LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.463     49 192.168.1.150 TCP_REFRESH_MISS/200 26212 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST41LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.463     44 192.168.1.150 TCP_REFRESH_MISS/200 26109 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR42LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.604     16 192.168.1.150 TCP_REFRESH_HIT/304 235 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR35LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581745.617     32 192.168.1.150 TCP_REFRESH_MISS/200 28399 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR34LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.714     26 192.168.1.150 TCP_REFRESH_MISS/200 17366 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/04/MIA001201205041H_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.787     14 192.168.1.150 TCP_REFRESH_HIT/304 437 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR42LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.787     16 192.168.1.150 TCP_REFRESH_HIT/304 439 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCST41LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581747.478     39 192.168.1.150 TCP_REFRESH_MISS/200 27590 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/08/CUARTILLA001201205081H_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581747.529     37 192.168.1.150 TCP_REFRESH_MISS/200 25045 GET http://images.lun.com/lunservercontents/SupplementPages/2012/abr/12/ENMOV001201204121H_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581749.746     14 192.168.1.150 TCP_REFRESH_HIT/200 19765 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/06/LCTP01RE0605_240.jpg - DIRECT/200.12.22.16 image/jpeg


por ejemplo esta linea indica una de los jpg  que quisiera "cachear"
pero  indica  TCP_MISS  :(

1336581749.802     34 192.168.1.150 TCP_MISS/200 24124 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/07/LCTP01MM0705_240.jpg - DIRECT/200.12.22.16 image/jpeg


Por otra parte veo varios TCP_MEM_HIT   y TCP_HIT  pero de elementos muy pequeños que..

Lo que intento es que los jpg aparecen en por ejemplo de este sitio  www.lun.com puedan ser usados desde el caché

Este es el tipo de imagen que me gustaria fuera a dar a la cachè y que log la señala como TCP_MISS: 1336581749.802     34 192.168.1.150 TCP_MISS/200 24124 GET http://images.lun.com/lunservercontents/SupplementPages/2012/may/07/LCTP01MM0705_240.jpg - DIRECT/200.12.22.16 image/jpeg


saludos gracias
Cesar.-

Offline periko

  • Hero Member
  • *****
  • Posts: 771
  • Karma: +0/-0
  • pheriko
    • View Profile
    • Soporte de Pfsense y Linux
   Este caso esta interesante, tienes varios HIT's, tu deseas que esa pagina sea cacheada, desconozco si tu estas a cargo de ese servidor?
 
   Alguno sitios bloquean los proxies para que no lleguen programas como squid a cachear su info.
 
   Algunos HIT's van a ese servidor, has probado usando otra computadora, el log solo muestra el cliente 1.150, si abres en el mismo cliente el otro navegador que pasa?

   Si puedes probar con otra pc mejor, saludos!!!
Necesitan Soporte de Pfsense en Mexico?/Need Pfsense Support in Mexico?
www.bajaopensolutions.com
Estamos en Tijuana, pero no es obstaculo para brindarte nuestro servicio.
We are in Tijuana, but is not an obstacle to give you support.

Offline bellera

  • Moderator
  • Hero Member
  • *****
  • Posts: 4458
  • Karma: +0/-0
    • LinkedIn
    • View Profile
    • Josep Pujadas i Jubany
http://www.linofee.org/~jel/proxy/Squid/accesslog.shtml

TCP_REFRESH_MISS
El objeto estaba en la caché per había caducado (STALE). Squid hizo una petición IMS (If-Modified-Since) y recibió un nuevo, distinto objecto.

Offline cesar-v

  • Jr. Member
  • **
  • Posts: 69
  • Karma: +0/-0
    • View Profile
Hola buenas tardes como va;

*- No tenemos control sobre el servidor que despliega el portal web www.lun.com (portal de noticias prensa local en chile), este es uno de los tantos sitios web de prensa
que son accedidos por los usuarios de mi red.  

*- Tenemos pfsense ultima versión disponible con squid corriendo en el.

*- La máquina  1.150  es la que uso para pruebas, primero accedo en Firefox al sitio en cuestión  y luego desde chrome  (con su caché de navegador limpia)
luego...verifico el log de squid.

Como lo comentaba el sitio (lun.com) está programado en ASP y hace un despliegue diariamente de unas 60 imágenes que  son las "mini portadas" (90kb cada una aprox) de cada hoja de este periódico electrónico.
son estas imágenes las que intento que use desde la caché

...al ver el LOG de squid me encuentro con que algunas imágenes  muy pequeñas si van a parar al caché, pero  las que quisiera  ninguna...



Comentario de último minuto: En el momento que ingresaba esto el amigo Bellera me hace una indicación

tengo Hits y caducados de elementos muy pequeños del sitio web llegan a ser usados desde el caché, pero los que componen el grueso del sitio caducan? (TCP_REFRESH_MISS)

 ??? comentario nuevo:  Los elementos que requiero que usen el caché caducan de inmediato en cuanto ingresan el caché.. al parecer esto es lo que ocurre... ...me pregunto como caducarán si los visito nuevamente  de inmediato desde otra maquina =?  (estos elementos siguen siendo los mismos también en el servidor de lun.com durante todo el día)
ya mañana actualizarán las noticias y los jpg´s serán otros con que criterio se considerarán caducados los elementos en el squid?

EL LOG con los caducados mmm ???

1336581745.463     44 192.168.1.150 TCP_REFRESH_MISS/200 26109 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR42LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.604     16 192.168.1.150 TCP_REFRESH_HIT/304 235 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR35LU0905_240.jpg - DIRECT/200.12.22.16 -
1336581745.617     32 192.168.1.150 TCP_REFRESH_MISS/200 28399 GET http://images.lun.com/luncontents/NewsPaperPages/2012/may/09/LUCPR34LU0905_240.jpg - DIRECT/200.12.22.16 image/jpeg
1336581745.714     26 192.168.1.150 TCP_REFRESH_MISS/200 17366 GET
« Last Edit: May 09, 2012, 04:35:19 pm by cesar-v »