#!/bin/bash

source /usr/local/lib/hostsharing/pac
source /usr/local/lib/hostsharing/dom
source /root/etc/config

umask 022

#
# Datum von gestern für Suche und Ausgabe merken
#
DATOUT=`date --date=yesterday +"%Y-%m-%d"`

LOGNAME=`date --date=yesterday +"traffic-http-%Y-%m.log"`
DOMNAME=`date --date=yesterday +"domaintraffic-http-%Y-%m.log"`


#
# Temporäres Directory zur Ablage der einzelnen Logs pro Paket
#
TMPDIR=`mktemp -d /tmp/split-weblog-XXXXXX`


#
# Logfiles für alle Pakete bearbeiten
#
for PAC in `pacs_by_name '*'`; do
  if [ -d /home/pacs/${PAC}/var ]; then
    #
    # Altes Errorlog für Web und Config sichern und neu anlegen
    #
    for FILE in /home/pacs/${PAC}/var/web.err /home/pacs/${PAC}/var/config.err; do
      test -f ${FILE}.gz && rm -f ${FILE}.gz

      if [ -s ${FILE} ]; then
        if [ -f ${FILE} ]; then
          chown --no-dereference --quiet ${PAC}:${PAC} ${FILE}

          # Altes Log komprimieren und wegsichern. Lesen und Schreiben
	  # im Userverzeichnis nur über secat.
	  secat --user=${PAC} --input=${FILE} |
            gzip --fast --stdout |
	    secat --user=${PAC} --umask=077 --output=${FILE}.gz

          # Neues Log anlegen
          secat --user=${PAC} --umask=077 --input=/dev/null --output=${FILE}
	else
	  echo "Error: ${FILE} ist keine reguläre Datei"
        fi
      fi
    done

    #
    # Aktuelles Weblog sichern und neu anlegen
    #
    FILE=/home/pacs/${PAC}/var/web.log

    test -f ${FILE}-yesterday && rm -f ${FILE}-yesterday

    if [ -s ${FILE} ]; then
      if [ -f ${FILE} ]; then
	chown --no-dereference --quiet ${PAC}:${PAC} ${FILE}

        # Aktuelles Log kopieren und neues leeres Log anlegen
        secat --user=${PAC} --umask=077 --input=${FILE} --output=${FILE}-yesterday
        secat --user=${PAC} --umask=077 --input=/dev/null --output=${FILE}

        # Vortags Log für die Auswertung des Traffics sichern.
        secat --user=${PAC} --input=${FILE}-yesterday >${TMPDIR}/${PAC}.log

      else
        echo "Error: ${FILE} ist keine reguläre Datei"
      fi
    fi
  fi
done


#
# Liste aller Domains generieren
#
doms_by_name '*' >${TMPDIR}/domains


#
# Auswertung über alle Pakete
#
for PAC in `pacs_by_name '*'`; do
  #
  # In temporäres Verzeichnis wechseln, damit alle Files dort angelegt werden.
  #
  cd ${TMPDIR}

  if [ -s ${TMPDIR}/${PAC}.log ]; then
    gawk -v pac=${PAC} -v datum=${DATOUT} -v domfile=${TMPDIR}/domains '
BEGIN {
  # Liste der vorhandenen Domains aus Datei einlesen
  while((getline < domfile) > 0) {
    domains[tolower($1)] = 1;
  }
  bytes = 0;
}
NF > 0 {
  trafficdomain = tolower($1);
  domainname = tolower($1);
  filename = domainname "-domain";

  # Unerwünschte Zeichen im Filenamen ausblenden
  # RFC 952 definiert einen zulässigen Hostnamen.
  gsub(/[^a-zA-Z0-9.-]/, "_", filename);

  # Berechnung der übertragenen Bytes anhand der Größe im
  # Logfile.  Es wird erwartet, daß das Logfile nach dem
  # Request (durch HTTP/1.0 oder HTTP/1.1 abgeschlossen)
  # noch ein Feld (i.A. der Statuscode) und dann die Größe
  # in Bytes enthält.
  size = $0;
  if (sub("^.*HTTP/[0-9]+.[0-9]+\" [0-9]+ ", "", size)) {
    # Ab dem ersten Leerzeichen auch wegschneiden
    sub(" .*$", "", size);
  }
  else {
    size = 0;
  }

  # Daumenwert für echten Traffic aus dem Request
  size = (1.15 * (size + length() + 40));
  if ($2 != "127.0.0.1") {
    bytes += size;
  }

  # Der Hostname aus dem Logfile wird mit der Liste der bei uns
  # gehosteten Domains verglichen. Ggfs. werden nacheinander von
  # vorne die durch den Punkt getrennten Komponenten des Hostnamens
  # abgeschnitten, so daß some.where.at.example.org letztliche zu
  # example.org wird und dann der Vergleich positiv wird.

  while (index(domainname, ".") > 0) {
    # Solange noch nicht bei TLD angekommen
    if (domainname in domains) {
      # Wenn der Eintrag ist in der Liste der Domains vorhanden ist, dann
      # das erste Feld der Zeile abschneiden und den Rest ins Log schreiben.
      sub("^[^ \t]+ ", "");
      print $0 >> filename;
      close(filename);

      # Traffic für die einzelne Domain
      hosttraffic[trafficdomain] += size;
      hostcounter[trafficdomain]++;

      break;
    }
    # Alles incl. des ersten Punktes vom Domainnamen
    # abschneiden und weitersuchen
    sub("^[^.]*.", "", domainname);
  }
}
END {
  for (item in hosttraffic) {
    printf "%s;%s;%d;%.3f\n",
      datum, item, hostcounter[item], (hosttraffic[item]/1048576) >>pac"-traf";
  }
  printf "%s;%s;%.3f\n", datum, pac, (bytes/1048576);
}' ${TMPDIR}/${PAC}.log >>${TMPDIR}/traffic.log

    rm -f ${TMPDIR}/${PAC}.log

    #
    # Alle gesplitteten Files für die Domains des Paketes bearbeiten
    #
    for FILE in ${TMPDIR}/*-domain; do
      if [ -s ${FILE} ]; then
        DOMAIN=`basename ${FILE} -domain`
	TARGET=`date +"web-${DOMAIN}-%Y%m%d-%H%M.log.gz"`

        WANTLOG=`get-conf-parameter --pac=${PAC} --dom=${DOMAIN} --parameter=http_log_generate`
	test "$?" -ne "0" && WANTLOG="yes"

        case "${WANTLOG}" in
	  [Yy][Ee][Ss])
	    #
	    # Verzeichnis zum Sichern der Logfiles ermitteln. Dazu
	    # Domainowner holen. Dabei werden vom Domainnamen vorne solange
 	    # durch einen Punkt abgetrennte Segmente abgeschnitten, bis in
	    # der Domaindatenbank ein Match gefunden wird (Best-Match).
	    #
	    LOGDIR=`get-conf-parameter --pac=${PAC} --dom=${DOMAIN} --parameter=http_log_directory`
	    test "$?" -ne "0" && LOGDIR="pac"

	    DELEGATED="$(dom_get_delegated "${DOMAIN}")"

	    if [ -n "${DELEGATED}" ]; then
	      DOMAIN="${DELEGATED}"
	      dom_get "${DOMAIN}"
	    fi

            if [ -z "${DOM_OWNER}" ]; then
	      DOM_OWNER="${PAC}"
	    fi

            case "${LOGDIR}" in
	      [dD][oO][mM][oOaA][wWdD][nNmM][eEiI][rRnN])
	        DIRECTORY=`grep "^${DOM_OWNER}:" /etc/passwd | cut -d: -f6`
	        DIRECTORY="${DIRECTORY}/var"
	        ;;
	      [dD][oO][mM][aA][iI][nN])
	        DIRECTORY=/home/doms/${DOMAIN}/var
	        ;;
	      *)
	        DIRECTORY=/home/pacs/${PAC}/var
	        DOM_OWNER=${PAC}
	        ;;
	    esac
        
	    if [ ! -d "${DIRECTORY}" ]; then
	      DIRECTORY=/home/pacs/${PAC}/var
	      DOM_OWNER=${PAC}
	    fi

	    gzip --fast --stdout <${FILE} |
	    secat --user=${DOM_OWNER} --umask=077 --output=${DIRECTORY}/${TARGET}
	    ;;
	  *)
	    ;;
        esac
      fi
      rm -f ${FILE}
    done

    #
    # Trafficdaten auf Domainebene im Paket ablegen
    #
    for FILE in ${TMPDIR}/*-traf; do
      if [ -s ${FILE} ]; then
        PAC=`basename ${FILE} -traf`

        WANTLOG=`get-conf-parameter --pac=${PAC} --parameter=http_domaintraffic`
	test "$?" -ne "0" && WANTLOG="no"

        case "${WANTLOG}" in
	  [Yy][Ee][Ss])
	    DOMAINLOG=/home/pacs/${PAC}/var/${DOMNAME}
	    if [ -f "${DOMAINLOG}" ]; then
	      secat --user=${PAC} --input=${DOMAINLOG} >${TMPDIR}/domaintraffic
	    else
	      echo "# Datum ; Domain ; Requests ; MB" >${TMPDIR}/domaintraffic
	    fi
	    sort <${FILE} >>${TMPDIR}/domaintraffic
	    secat --user=${PAC} --umask=077 \
	          --output=${DOMAINLOG} <${TMPDIR}/domaintraffic
	    ;;
	  *)
	    ;;
	esac
      fi
      rm -f ${FILE}
    done
  fi
done


#
# Trafficstatistik für die Abrechnung aktualisieren
#
if [ -r /var/log/${LOGNAME} ]; then
  # Aktuelles Datum im existierenden Log ignorieren, damit das
  # Script auch ein zweites Mal am Tag gestartet werden kann
  grep -v "^${DATOUT}" /var/log/${LOGNAME} >${TMPDIR}/log
else
  # Neues Log mit Header anlegen
  echo "# Datum     Pac   MB" >${TMPDIR}/log
fi

if [ -e ${TMPDIR}/traffic.log ]; then
  sort ${TMPDIR}/traffic.log >>${TMPDIR}/log
fi

install --owner=root --group=adm --mode=640 ${TMPDIR}/log /var/log/${LOGNAME}

rm -rf ${TMPDIR}

exit 0
