<html><head><meta http-equiv="Content-Type" content="text/html charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div class="">Bumpity bump</div><div class=""><br class=""></div><div class="">Had this go down exactly the same way this past Monday at Deployment #1.</div><br class=""><div><blockquote type="cite" class=""><div class="">On 10 Mar 2015, at 4:51 pm, Dan Charlesworth <<a href="mailto:dan@getbusi.com" class="">dan@getbusi.com</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class=""><div class="">Hey folks</div><div class=""><br class=""></div>After having many of our systems running Squid 3.4.12 for a couple of weeks now we had two different deployments fail today due to SSL DB corruption.<div class=""><br class=""></div><div class="">Never seen this in almost 9 months of SSL bump being in production and there were no problems in either cache log until the “wrong number of fields” lines, apparently.</div><div class=""><br class=""></div><div class="">Anyone else?</div><div class=""><br class=""></div><div class="">Deployment #1 log excerpt:</div><div class=""><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">wrong number of fields on line 505 (looking for field 6, got 1, '' left)</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">(squid_ssl_crtd): The SSL certificate database /usr/local/mwf/mwf13/squid/ssl_db is <span style="font-variant-ligatures: no-common-ligatures; color: #232323; background-color: #f8f8f8" class="">corrupted</span>. Please rebuild</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 09:04:24 kid1| WARNING: ssl_crtd #Hlpr0 exited</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 09:04:24 kid1| Too few ssl_crtd processes are running (need 1/32)</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 09:04:24 kid1| Starting new helpers</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 09:04:24 kid1| helperOpenServers: Starting 1/32 'squid_ssl_crtd' processes</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 09:04:24 kid1| "ssl_crtd" helper returned <NULL> reply.</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">wrong number of fields on line 505 (looking for field 6, got 1, '' left)</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">(squid_ssl_crtd): The SSL certificate database /usr/local/mwf/mwf13/squid/ssl_db is <span style="font-variant-ligatures: no-common-ligatures; color: #232323; background-color: #f8f8f8" class="">corrupted</span>. Please rebuild</div></div><div class=""><br class=""></div><div class="">Deployment #2 log excerpt:</div><div class=""><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">wrong number of fields on line 2 (looking for field 6, got 1, '' left)</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">(squid_ssl_crtd): The SSL certificate database /usr/local/mwf/mwf13/squid/ssl_db is <span style="font-variant-ligatures: no-common-ligatures; color: #232323; background-color: #f8f8f8" class="">corrupted</span>. Please rebuild</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 15:29:16 kid1| WARNING: ssl_crtd #Hlpr0 exited</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 15:29:16 kid1| Too few ssl_crtd processes are running (need 1/32)</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 15:29:16 kid1| Starting new helpers</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 15:29:16 kid1| helperOpenServers: Starting 1/32 'squid_ssl_crtd' processes</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">2015/03/10 15:29:17 kid1| "ssl_crtd" helper returned <NULL> reply.</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">wrong number of fields on line 2 (looking for field 6, got 1, '' left)</div><div style="margin: 0px; font-family: Menlo; color: rgb(248, 248, 248); background-color: rgb(35, 35, 35);" class="">(squid_ssl_crtd): The SSL certificate database /usr/local/mwf/mwf13/squid/ssl_db is <span style="font-variant-ligatures: no-common-ligatures; color: #232323; background-color: #f8f8f8" class="">corrupted</span>. Please rebuild</div></div><div class=""><br class=""></div></div></div></blockquote></div><br class=""></body></html>