root/alternc-stats/trunk/bin/alternc_stats_mail.php

#!/usr/bin/php -q 
<?php

// Ce script lit un fichier de log apache et insère les statistiques de visite par jour et par domaine / sous-domaine dans la table stat_http.
// Voici sa configuration : 

// Combien de lignes de logs traite-t-on par bloc (10000 conseillé, plus possible (à tester), moins vivement déconseillé)
$each=1000000;
// Emplacement du fichier mail log (s'il se termine par .gz, gzopen et gzgets seront utilisés)
$log="/var/log/syslog";



// Ne pas toucher ci-dessous.

@set_time_limit(0);

include("/var/alternc/bureau/class/config_nochk.php");

// Libère le bureau !
alternc_shutdown();

if (substr($log,-3)==".gz") {
  $open="gzopen";
  $gets="gzgets";
  $close="gzclose";
} else {
  $open="fopen";
  $gets="fgets";
  $close="fclose";
}

// On ouvre le log apache de la veille : 
$f=$open($log,"rb");

$i=0; $l=0;

$domstat=array(); // On stocke sous forme de clé "dom/day" => "hit or bandwith"
$domuid=array();  // Cache des uids associés aux domaines.

// Exemple de ligne POP/IMAP : 
// Nov  1 07:11:33 brassens courierpop3login: LOGOUT, user=bbayard_bayard-distribution.com, ip=[::ffff:83.192.40.215], top=0, retr=0
// Nov  1 07:31:42 brassens imaplogin: LOGOUT, user=oberursel_beatitudes.org, ip=[::ffff:217.24.84.7], headers=1661, body=0

$months=array("Jan"=>"01","Feb"=>"02","Mar"=>"03","Apr"=>"04","May"=>"05","Jun"=>"06","Jul"=>"07","Aug"=>"08","Sep"=>"09","Oct"=>"10","Nov"=>"11","Dec"=>"12");

while ($s=$gets($f,2048)) {
  $s=trim($s);
  echo "ligne : $s\n"; flush();
  $s=str_replace('\\"','',$s);
  if (preg_match('/^([^\s]*)\s([0-9]*)\s[0-9:]*\s[a-zA-Z0-9]*\scourierpop3login: LOGOUT, user=([^,]*), ip=\[[^\]]*, top=([0-9]*), retr=([0-9]*)$/',$s,$mat)) {
    // POP OK.

    // ok, 1: jour  2: mois (english)  3: année  4: http result (200/404 ...) 5: taille  6: domaine
    // Ligne ok.
    //    echo "Ligne ok : ";
    //    for($j=1;$j<count($mat);$j++) echo "$j:".$mat[$j]." ";
    // On calcule le jour : (= yearmonthday)
    $day=date("Y").$months[$mat[1]].$mat[2];
      $domstat[$mat[6]."/".$day]["hit"]++;
      $domstat[$mat[6]."/".$day]["size"]+=intval($mat[5]);
  } elseif () {
  } else {
    // echo "Ligne non reconnue : $s\n";
  }
  if ($i/1000==intval($i/1000)) { echo "."; flush(); }
  $i++; 
}




// Change from here ;)


 echo " $i lines read, Inserting ... ";
 // on insère le tableau dans mysql.
 $update=0; $insert=0;
 foreach($domstat as $key => $val) {
   preg_match("/^([^\\/]*)\\/(.*)$/",$key,$mat);
   $mat[1]=strtolower($mat[1]);
   // on cherche l'uid de ce domaine
   if (!$domuid[$mat[1]]) {
     list($domuid[$mat[1]])=@mysql_fetch_array(mysql_query("SELECT compte FROM sub_domaines WHERE (domaine='".$mat[1]."' AND sub='') OR (concat(sub,'.',domaine)='".$mat[1]."');"));
   }
   // a-t-on déjà ce domaine ce jour ? 
   list($ct)=@mysql_fetch_array(mysql_query("SELECT COUNT(*) FROM stat_http WHERE day='".$mat[2]."' AND domain='".$mat[1]."';"));
   if ($ct) {
     $sql="UPDATE stat_http SET hit='".$val["hit"]."', size='".$val["size"]."', adminhit='".$val["adminhit"]."' WHERE domain='".$mat[1]."' AND day='".$mat[2]."';";
     $update++;
   } else {
     $sql="INSERT INTO stat_http SET uid='".$domuid[$mat[1]]."',day='".$mat[2]."',domain='".$mat[1]."', hit='".$val["hit"]."', size='".$val["size"]."', adminhit='".$val["adminhit"]."';";
     $insert++;
   }
   mysql_query($sql);
 }
 echo "$update updates and $insert inserts (uidcache size = ".count($domuid).") \n";
 

 $close($f);