root/alternc-stats/branches/INIT/bin/stat_consop2.php

#!/usr/bin/php4 -q 
<?php
@set_time_limit(0);

include("/var/alternc/bureau/class/config_nochk.php");

// Libère le bureau !
alternc_shutdown();

// Ce script lit un fichier de log apache et insère les statistiques de visite par jour et par domaine / sous-domaine dans la table stat_http.
// Voici sa configuration : 

// Combien de lignes de logs traite-t-on par bloc (10000 conseillé, plus possible (à tester), moins vivement déconseillé)
$each=1000000;
// Emplacement du fichier apache (s'il se termine par .gz, gzopen et gzgets seront utilisés)

for ($k=3;$k>=2;$k--) {

$apache="/var/log/apache/access.log.$k.gz";


 echo "################################################\n";
 echo date("d/m/Y H:i:s")." : Traitement de $apache \n";
 echo "################################################\n";


if (substr($apache,-3)==".gz") {
  $open=gzopen;
  $gets=gzgets;
  $close=gzclose;
} else {
  $open=fopen;
  $gets=fgets;
  $close=fclose;
}

// On ouvre le log apache de la veille : 
$f=$open($apache,"rb");

$i=0; $l=0;

$domstat=array(); // On stocke sous forme de clé "dom/day" => "hit or bandwith"
$domuid=array();  // Cache des uids associés aux domaines.

// Exemple de ligne apache : 
// crawl18.dir.com - login [14/Jun/2004:06:38:47 +0200] "GET /modules/newbb?days=100 HTTP/1.0" 200 20156 "-" "Pompos/1.3 http://dir.com/pompos.html" 2 esperance-jeunes.org

$months=array("Jan"=>"01","Feb"=>"02","Mar"=>"03","Apr"=>"04","May"=>"05","Jun"=>"06","Jul"=>"07","Aug"=>"08","Sep"=>"09","Oct"=>"10","Nov"=>"11","Dec"=>"12");

while ($s=$gets($f,2048)) {
  $s=trim($s);
  if (preg_match('/^[^ ]* [^ ]* [^ ]* \\[([0-9]*)\\/([a-zA-Z]*)\\/([0-9]*):[0-9]*:[0-9]*:[0-9]* [^ ]* "[^"]*" ([0-9-]*) ([0-9-]*) "[^"]*" "[^"]*" [0-9]* ([^ ]*)$/',$s,$mat)) {
    // ok, 1: jour  2: mois (english)  3: année  4: http result (200/404 ...) 5: taille  6: domaine
    // Ligne ok.
    //    echo "Ligne ok : ";
    //    for($j=1;$j<count($mat);$j++) echo "$j:".$mat[$j]." ";
    // On calcule le jour : (= yearmonthday)
    $day=$mat[3].$months[$mat[2]].$mat[1];
    if ($mat[4]==200) {      //  HTTP/1.0 OK !
      $domstat[$mat[6]."/".$day]["hit"]++;
      $domstat[$mat[6]."/".$day]["size"]+=intval($mat[5]);
    } else {   // HTTP/1.0 404, 304, 503 ... !
      $domstat[$mat[6]."/".$day]["adminhit"]++;      
    }
  } else {
    //    echo "Ligne non reconnue : $s";
  }
  if ($i/1000==intval($i/1000)) { echo "."; flush(); }
  $i++; $l++;
  if ($i==$each) {
    echo " $l lines read, Inserting ... ";
    // on insère le tableau dans mysql.
    $update=0; $insert=0;
    foreach($domstat as $key => $val) {
      preg_match("/^([^\\/]*)\\/(.*)$/",$key,$mat);
      $mat[1]=strtolower($mat[1]);
      // on cherche l'uid de ce domaine
      if (!$domuid[$mat[1]]) {
    list($domuid[$mat[1]])=@mysql_fetch_array(mysql_query("SELECT compte FROM sub_domaines WHERE (domaine='".$mat[1]."' AND sub='') OR (concat(sub,'.',domaine)='".$mat[1]."');"));
      }
      // a-t-on déjà ce domaine ce jour ? 
      list($ct)=@mysql_fetch_array(mysql_query("SELECT COUNT(*) FROM stat_http WHERE day='".$mat[2]."' AND domain='".$mat[1]."';"));
      if ($ct) {
    $sql="UPDATE stat_http SET hit='".$val["hit"]."', size='".$val["size"]."', adminhit='".$val["adminhit"]."' WHERE domain='".$mat[1]."' AND day='".$mat[2]."';";
    $update++;
      } else {
    $sql="INSERT INTO stat_http SET uid='".$domuid[$mat[1]]."',day='".$mat[2]."',domain='".$mat[1]."', hit='".$val["hit"]."', size='".$val["size"]."', adminhit='".$val["adminhit"]."';";
    $insert++;
      }
      mysql_query($sql);
    }
    echo "$update updates and $insert inserts (uidcache size = ".count($domuid).") \n";

    $i=0;
  }
}

 echo " $l lines read, Inserting ... ";
 // on insère le tableau dans mysql.
 $update=0; $insert=0;
 foreach($domstat as $key => $val) {
   preg_match("/^([^\\/]*)\\/(.*)$/",$key,$mat);
   $mat[1]=strtolower($mat[1]);
   // on cherche l'uid de ce domaine
   if (!$domuid[$mat[1]]) {
     list($domuid[$mat[1]])=@mysql_fetch_array(mysql_query("SELECT compte FROM sub_domaines WHERE (domaine='".$mat[1]."' AND sub='') OR (concat(sub,'.',domaine)='".$mat[1]."');"));
   }
   // a-t-on déjà ce domaine ce jour ? 
   list($ct)=@mysql_fetch_array(mysql_query("SELECT COUNT(*) FROM stat_http WHERE day='".$mat[2]."' AND domain='".$mat[1]."';"));
   if ($ct) {
     $sql="UPDATE stat_http SET hit='".$val["hit"]."', size='".$val["size"]."', adminhit='".$val["adminhit"]."' WHERE domain='".$mat[1]."' AND day='".$mat[2]."';";
     $update++;
   } else {
     $sql="INSERT INTO stat_http SET uid='".$domuid[$mat[1]]."',day='".$mat[2]."',domain='".$mat[1]."', hit='".$val["hit"]."', size='".$val["size"]."', adminhit='".$val["adminhit"]."';";
     $insert++;
   }
   mysql_query($sql);
 }
 echo "$update updates and $insert inserts (uidcache size = ".count($domuid).") \n";
 

 $close($f);



 echo "\n$apache terminé...\n\n";
 
}


?>