<div dir="ltr">+++ Including list +++<br><br>
<div><div><div><div>Hi Eliezer, <br><br></div>I have used the following lines to instruct squid to log at mariadb: <br><span style="font-family:monospace,monospace"><br>logfile_daemon /usr/lib/squid/log_db_daemon<br>access_log daemon:/<a href="http://127.0.0.1/squid_log/access_log/squid/squid" target="_blank">127.0.0.1/squid_log/<wbr>access_log/squid/squid</a> squid</span><br><br></div>Through
 testing it seems that sometimes squid is not logging anything. I don't 
know why. After a restart it seems to unblock and write to DB. <br></div><div>The access_log table is currently InnoDB and I am wondering if MyISAM will behave better. <br></div><div><br></div>I
 would prefer if I could have real time access log. My scenario is that 
when a user disconnects from squid, an aggregated report of the sites 
that the user browsed will be available under some web portal where the 
user has access. Usually there will be up to 20 users connected 
concurrently so I have to check if this approach is scalable. If this 
approach is not stable then I might go with log parsing (perhaps 
logstash or some custom parser) which will parse and generate an 
aggregated report once per hour or day. <br><br></div><div>Is there a way I format the log and pipe to DB only some interesting fields in order to lessen the stress to DB?</div>

<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, May 13, 2018 at 1:25 AM, Eliezer Croitoru <span dir="ltr"><<a href="mailto:eliezer@ngtech.co.il" target="_blank">eliezer@ngtech.co.il</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div class="m_9143892038491628842WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Hey Alex,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">How did you used to log into the DB? What configuration lines have you used?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Also what log format have you used?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Is it important to have realtime data in the DB or a periodic parsing is also an option?<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Eliezer<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Arial Rounded MT Bold",sans-serif;color:#1f497d">----<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Arial Rounded MT Bold",sans-serif;color:#1f497d"><a><span style="color:#0563c1">Eliezer Croitoru</span></a><br>Linux System Administrator<br>Mobile: +972-5-28704261<br>Email: <a href="mailto:eliezer@ngtech.co.il">eliezer@ngtech.co.il</a><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><img style="width:1.9062in;height:.7187in" id="m_9143892038491628842Picture_x0020_1" width="183" height="69" border="0"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> squid-users <squid-users-bounces@lists.<wbr><a href="http://squid-cache.org">squid-cache.org</a>> <b>On Behalf Of </b>Alex K<br><b>Sent:</b> Saturday, May 5, 2018 01:20<br><b>To:</b> squid-users@lists.squid-cache.<wbr>org<br><b>Subject:</b> [squid-users] Collecting squid logs to DB<u></u><u></u></span></p><div><div class="h5"><p class="MsoNormal"><u></u> <u></u></p><div><div><div><div><div><div><p class="MsoNormal" style="margin-bottom:12.0pt">Hi all, <u></u><u></u></p></div><p class="MsoNormal">I had a previous setup on Debian 7 with squid and I was using mysar to collect squid logs and store them to DB and provide some browsing report at the end of the day. <u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">Now at Debian 9, trying to upgrade the whole setup, I see that mysar does not compile. <u></u><u></u></p></div><p class="MsoNormal">Checking around I found mysar-ng but this has compilation issues on Debian 9 also. <u></u><u></u></p></div><p class="MsoNormal" style="margin-bottom:12.0pt">Do you suggest any tool that does this job? Does squid support logging to DB natively? (I am using mysql/mariadb)<u></u><u></u></p></div><div><p class="MsoNormal">Some other tool I stumbled on is <a>https://github.com/paranormal/<wbr>blooper</a>. <u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Thanx a bunch,<u></u><u></u></p></div><p class="MsoNormal">Alex<u></u><u></u></p></div></div></div></div></div></blockquote></div><br></div>