<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=koi8-r">
<style type="text/css" style="display:none;"><!-- P {margin-top:0;margin-bottom:0;} --></style>
</head>
<body dir="ltr">
<div id="divtagdefaultwrapper" style="font-size:12pt;color:#000000;font-family:Calibri,Arial,Helvetica,sans-serif;" dir="ltr">
<p>Hi,</p>
<p><br>
</p>
<p>Its not disk cache, its <font size="2"><span style="font-size:10pt">due to in memory SSL context.</span></font></p>
<p><font size="2"><span style="font-size:10pt"><br>
</span></font></p>
<p><font size="2"><span style="font-size:10pt">Nil</span></font><br>
</p>
<br>
<div style="color: rgb(0, 0, 0);">
<div id="divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>From:</b> squid-users <squid-users-bounces@lists.squid-cache.org> on behalf of Yuri <yvoinov@gmail.com><br>
<b>Sent:</b> Wednesday, May 3, 2017 11:55 AM<br>
<b>To:</b> squid-users@lists.squid-cache.org<br>
<b>Subject:</b> Re: [squid-users] Huge memory required for squid 3.5</font>
<div> </div>
</div>
<div>
<p>How big disk cache(s) and how it full?<br>
</p>
<br>
<div class="moz-cite-prefix">03.05.2017 17:54, Nil Nik пишет:<br>
</div>
<blockquote type="cite">
<div id="divtagdefaultwrapper" dir="ltr" style="font-size:12pt; color:#000000; font-family:Calibri,Arial,Helvetica,sans-serif">
Hi,
<p><br>
</p>
<p><font size="2"><span style="font-size:10pt">NO_DEFAULT_CA</span></font> <span>
doesn't</span> help. Still goes in GB. Can anyone tell me area so that i can work on?</p>
<p><br>
</p>
<p>Regards,</p>
<p>Nil<br>
</p>
<p><br>
</p>
<div style="color:rgb(0,0,0)">
<div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="x_divRplyFwdMsg" dir="ltr"><font style="font-size:11pt" color="#000000" face="Calibri, sans-serif"><b>From:</b> squid-users
<a class="moz-txt-link-rfc2396E" href="mailto:squid-users-bounces@lists.squid-cache.org">
<squid-users-bounces@lists.squid-cache.org></a> on behalf of Alex Rousskov <a class="moz-txt-link-rfc2396E" href="mailto:rousskov@measurement-factory.com">
<rousskov@measurement-factory.com></a><br>
<b>Sent:</b> Wednesday, April 26, 2017 7:37 PM<br>
<b>To:</b> <a class="moz-txt-link-abbreviated" href="mailto:squid-users@lists.squid-cache.org">
squid-users@lists.squid-cache.org</a><br>
<b>Subject:</b> Re: [squid-users] Huge memory required for squid 3.5</font>
<div> </div>
</div>
</div>
<font size="2"><span style="font-size:10pt">
<div class="PlainText">On 04/26/2017 09:35 AM, Yuri Voinov wrote:<br>
<br>
> This is openssl issue or squid's?<br>
<br>
AFAIK, the underlying issue (i.e., bug #4005) is mostly a Squid problem:<br>
Squid is caching SSL contexts (instead of certificates) and does a poor<br>
job maintaining that cache.<br>
<br>
Earlier OpenSSL versions (that had to be used when the original code was<br>
written) complicated solving this problem. OpenSSL v1.0.1+ added APIs<br>
that simplify some aspects of the anticipated fix. Certain OpenSSL<br>
aspects will continue to hurt Squid, even with OpenSSL v1.0.1, but if<br>
you want to blame a single project (instead of both), blame Squid.<br>
<br>
<br>
> Why sessions can't share CA's data cached in memory? shared_ptr invented<br>
> already.<br>
<br>
OpenSSL knew how to share things well before std::shared_ptr became<br>
available. However, it is the responsibility of the application to tell<br>
OpenSSL what to create from scratch and what to share. A part of the<br>
problem is that Squid tells OpenSSL to create many large things from<br>
scratch and then caches those large things while underestimating their<br>
size by several(?) orders of magnitude (and probably also missing many<br>
cache hits).<br>
<br>
More details, including the difference between problems associated with<br>
from-client and to-server connections, are documented in the "Memory<br>
Usage" section of <a href="http://wiki.squid-cache.org/Features/SslBump" id="LPlnk706809" previewremoved="true">
http://wiki.squid-cache.org/Features/SslBump</a>
<div id="LPBorder_GT_14938123250740.11314859301887725" style="margin-bottom:20px; overflow:auto; width:100%; text-indent:0px" contenteditable="false">
<table id="LPContainer_14938123250710.8259907502117058" style="width:90%; background-color:rgb(255,255,255); overflow:auto; padding-top:20px; padding-bottom:20px; margin-top:20px; border-top:1px dotted rgb(200,200,200); border-bottom:1px dotted rgb(200,200,200)" cellspacing="0">
<tbody>
<tr style="border-spacing:0px" valign="top">
<td id="TextCell_14938123250720.08481065624306094" colspan="2" style="vertical-align:top; padding:0px; display:table-cell">
<div id="LPTitle_14938123250720.09427320548735929" style=""><a id="LPUrlAnchor_14938123250720.03337732538898763" href="http://wiki.squid-cache.org/Features/SslBump" target="_blank" style="text-decoration:none">Features/SslBump - Squid Web Proxy Wiki</a></div>
<div id="LPMetadata_14938123250730.02992122672727393" style="">wiki.squid-cache.org</div>
<div id="LPDescription_14938123250730.700130210657148" style="">Squid-in-the-middle decryption and encryption of straight CONNECT and transparently redirected SSL traffic, using configurable CA certificates.</div>
</td>
</tr>
</tbody>
</table>
</div>
<br>
<br>
FWIW, we have spent a lot of resources on triaging this problem and<br>
drafting possible solutions (in various overlapping areas), but there is<br>
currently no sponsor to finalize and implement any of the fixes. AFAIK,<br>
bug #4005 is stuck.<br>
<br>
I am glad that NO_DEFAULT_CA helps mitigate some of the problems in some<br>
environments.<br>
<br>
<br>
HTH,<br>
<br>
Alex.<br>
<br>
<br>
> 26.04.2017 9:08, Amos Jeffries пишет:<br>
>> On 26/04/17 10:53, Yuri Voinov wrote:<br>
>>> Ok, but how NO_DEFAULT_CA should help with this?<br>
>><br>
>> It prevents OpenSSL copying that 1MB into each incoming client<br>
>> connections memory. The CAs are only useful there when you have some<br>
>> of the global CAs as root for client certificates - in which case you<br>
>> still only want to trust the roots you paid for service and not all of<br>
>> them.<br>
>><br>
>> Just something to try if there are huge memory issues with TLS/SSL<br>
>> proxying. The default behaviour is fixed for Squid-4 with the config<br>
>> options changes. But due to being a major surprise for anyone already<br>
>> relying on global roots for client certs it remains a problem in 3.5.<br>
>><br>
>> Amos<br>
>><br>
>> _______________________________________________<br>
>> squid-users mailing list<br>
>> <a class="moz-txt-link-abbreviated" href="mailto:squid-users@lists.squid-cache.org">
squid-users@lists.squid-cache.org</a><br>
>> <a href="http://lists.squid-cache.org/listinfo/squid-users" id="LPlnk637142" previewremoved="true">
http://lists.squid-cache.org/listinfo/squid-users</a>
<div id="LPBorder_GT_14938123786480.4488564126039615" style="margin-bottom:20px; overflow:auto; width:100%; text-indent:0px" contenteditable="false">
<table id="LPContainer_14938123786430.20365778727089778" style="width:90%; background-color:rgb(255,255,255); overflow:auto; padding-top:20px; padding-bottom:20px; margin-top:20px; border-top:1px dotted rgb(200,200,200); border-bottom:1px dotted rgb(200,200,200)" cellspacing="0">
<tbody>
<tr style="border-spacing:0px" valign="top">
<td id="TextCell_14938123786440.13963595398341355" colspan="2" style="vertical-align:top; padding:0px; display:table-cell">
<div id="LPTitle_14938123786440.2887556511306161" style=""><a id="LPUrlAnchor_14938123786450.5044640733064653" href="http://lists.squid-cache.org/listinfo/squid-users" target="_blank" style="text-decoration:none">squid-users Info Page</a></div>
<div id="LPMetadata_14938123786460.240786599206116" style="">lists.squid-cache.org</div>
<div id="LPDescription_14938123786470.3527418464477192" style="">squid-users -- General discussion relating to Squid. The membership of this list is thousands of Squid users from around the world About squid-users</div>
</td>
</tr>
</tbody>
</table>
</div>
<br>
> <br>
> <br>
> <br>
> _______________________________________________<br>
> squid-users mailing list<br>
> <a class="moz-txt-link-abbreviated" href="mailto:squid-users@lists.squid-cache.org">
squid-users@lists.squid-cache.org</a><br>
> <a href="http://lists.squid-cache.org/listinfo/squid-users" id="LPlnk994124" previewremoved="true">
http://lists.squid-cache.org/listinfo/squid-users</a>
<div id="LPBorder_GT_14938123786130.7066901792730146" style="margin-bottom:20px; overflow:auto; width:100%; text-indent:0px" contenteditable="false">
<table id="LPContainer_14938123786100.6322304170504451" style="width:90%; background-color:rgb(255,255,255); overflow:auto; padding-top:20px; padding-bottom:20px; margin-top:20px; border-top:1px dotted rgb(200,200,200); border-bottom:1px dotted rgb(200,200,200)" cellspacing="0">
<tbody>
<tr style="border-spacing:0px" valign="top">
<td id="TextCell_14938123786110.41271651298547873" colspan="2" style="vertical-align:top; padding:0px; display:table-cell">
<div id="LPTitle_14938123786110.11202505050493272" style=""><a id="LPUrlAnchor_14938123786120.45910068828617034" href="http://lists.squid-cache.org/listinfo/squid-users" target="_blank" style="text-decoration:none">squid-users Info Page</a></div>
<div id="LPMetadata_14938123786120.0828671998666407" style="">lists.squid-cache.org</div>
<div id="LPDescription_14938123786130.3259122471959415" style="">squid-users -- General discussion relating to Squid. The membership of this list is thousands of Squid users from around the world About squid-users</div>
</td>
</tr>
</tbody>
</table>
</div>
<br>
> <br>
<br>
_______________________________________________<br>
squid-users mailing list<br>
<a class="moz-txt-link-abbreviated" href="mailto:squid-users@lists.squid-cache.org">squid-users@lists.squid-cache.org</a><br>
<a href="http://lists.squid-cache.org/listinfo/squid-users" id="LPlnk844702" previewremoved="true">http://lists.squid-cache.org/listinfo/squid-users</a>
<div id="LPBorder_GT_14938123786030.5318871818109208" style="margin-bottom:20px; overflow:auto; width:100%; text-indent:0px" contenteditable="false">
<table id="LPContainer_14938123786000.8268748694301231" style="width:90%; background-color:rgb(255,255,255); overflow:auto; padding-top:20px; padding-bottom:20px; margin-top:20px; border-top:1px dotted rgb(200,200,200); border-bottom:1px dotted rgb(200,200,200)" cellspacing="0">
<tbody>
<tr style="border-spacing:0px" valign="top">
<td id="TextCell_14938123786000.49714504759305367" colspan="2" style="vertical-align:top; padding:0px; display:table-cell">
<div id="LPTitle_14938123786010.05569418962463335" style=""><a id="LPUrlAnchor_14938123786010.7286905952600977" href="http://lists.squid-cache.org/listinfo/squid-users" target="_blank" style="text-decoration:none">squid-users Info Page</a></div>
<div id="LPMetadata_14938123786020.401919598439636" style="">lists.squid-cache.org</div>
<div id="LPDescription_14938123786020.9672184715186581" style="">squid-users -- General discussion relating to Squid. The membership of this list is thousands of Squid users from around the world About squid-users</div>
</td>
</tr>
</tbody>
</table>
</div>
<br>
</div>
</span></font></div>
</div>
<br>
<fieldset class="mimeAttachmentHeader"></fieldset> <br>
<pre>_______________________________________________
squid-users mailing list
<a class="moz-txt-link-abbreviated" href="mailto:squid-users@lists.squid-cache.org">squid-users@lists.squid-cache.org</a>
<a class="moz-txt-link-freetext" href="http://lists.squid-cache.org/listinfo/squid-users">http://lists.squid-cache.org/listinfo/squid-users</a>
</pre>
</blockquote>
<br>
</div>
</div>
</div>
</body>
</html>