<div dir="ltr"><div><div>Reading through the documentation of Collapsed Forwarding feature I don't know if this feature would help as the problem to what I'm feeling is the squid eviction process and decision. It looks like squid is storing more what is being set in the cache_dir and not evicting the least recently used files at the right time because of the heavy request load. <br><br></div><div>Does that make sense, or is there other explanation to the issue I'm having?<br><br></div></div>Sam<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Aug 2, 2016 at 9:51 PM, Sam M <span dir="ltr"><<a href="mailto:samm.abcd@gmail.com" target="_blank">samm.abcd@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div>Hi Eliezer, <br><br></div>Thanks for your prompt reply. We are testing our squid configuration before we use it. That said, all objects are 1 MB in size and in order to test squid we queried a sequence of files multiple times in a manner that theoretically at the end of the querying process we should get the same number of hits from cache1, cache2, cache3, and cache4. <br><br></div><div>Structure of test network is: User (using a script) -> cache1 -> cache2 -> cache3 -> cache4 -> web server (stores the queried files).<br></div><div><br></div>I'm gonna try the Collapsed Forwarding feature and will post back if this fixes the issue.<br><br>Thank you,<br>Sam</div></div><div><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Aug 2, 2016 at 2:03 AM, Eliezer Croitoru <span dir="ltr"><<a href="mailto:eliezer@ngtech.co.il" target="_blank">eliezer@ngtech.co.il</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="#0563C1" vlink="#954F72" lang="EN-US"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Hey Sam,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">From what I understand it seems that your expectation doesn't meet the reality but I am unsure yet.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">It seems that the goal is to fetch and save everything to disk and from disk, right?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">During the time that your clients and proxy are fetching the object using squid, you cannot serve this "in-transit" content to other clients.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Collapsed Forwarding feature of squid should satisfy your use case but depends on the size of the object it might not be the right choice for you.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">What objects size are we talking about?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d">Eliezer<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Arial Rounded MT Bold","serif";color:#1f497d">----<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Arial Rounded MT Bold","serif";color:#1f497d"><a href="http://ngtech.co.il/lmgtfy/" target="_blank">Eliezer Croitoru</a><br>Linux System Administrator<br>Mobile: +972-5-28704261<br>Email: <a href="mailto:eliezer@ngtech.co.il" target="_blank">eliezer@ngtech.co.il</a><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><img src="cid:image001.png@01D1EC9C.C61281D0" border="0" height="69" width="183"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri","sans-serif"">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri","sans-serif""> squid-users [mailto:<a href="mailto:squid-users-bounces@lists.squid-cache.org" target="_blank">squid-users-bounces@lists.squid-cache.org</a>] <b>On Behalf Of </b>Sam M<br><b>Sent:</b> Tuesday, August 2, 2016 8:43 AM<br><b>To:</b> <a href="mailto:squid-users@lists.squid-cache.org" target="_blank">squid-users@lists.squid-cache.org</a><br><b>Subject:</b> [squid-users] different results every time<u></u><u></u></span></p><div><div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Hi, <u></u><u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">I'm querying lots of files through 4 cache servers connected through parent hierarchy. I clean all the caches before I start and then I query the files again in the same exact order. Weirdly, every time I check the logs, I see a different cache served a file compared with the previous test. The query process is done through a python script that uses wget through a proxy to the cache, hence the query process is really fast. <u></u><u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Interestingly, if I put a delay of 1 second between each query, the result will be stable and same every time I run the script. <u></u><u></u></p></div><div><p class="MsoNormal">Following a snippet from the config file after changing it too many times to make it re-produce the same results yet, that didn't help: <br>cache_dir ufs /var/spool/squid 9 16 256<br>cache_mem 0 MB<br>memory_pools off<br>cache_swap_low 100<br>cache_swap_high 100<br>maximum_object_size_in_memory 0 KB<br>cache_replacement_policy lru<br>range_offset_limit 0<br>quick_abort_min 0 KB<br>quick_abort_max 0 KB<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Can someone shed some light on the issue and how to fix it please?<u></u><u></u></p></div><div><p class="MsoNormal">Thanks, <u></u><u></u></p></div><div><p class="MsoNormal">Sam <u></u><u></u></p></div></div></div></div></div></div></blockquote></div><br></div></div></div></div>
</blockquote></div><br></div>