Dynamisches DNS bei INWX mit eigener Domain

Ich verwalte alle meine Domains bei InterNetWorX (welcher nebenbei erwähnt, ein ziemlich schnieker Domain-Registrar ist, den ich uneingeschränkt empfehlen kann).

Dieser bietet unter anderem eine API an, mit der ich Domaineinstellungen ändern kann. Da ich meinen Homeserver gerne von außen erreichen möchte, lag die Idee nahe, beides zu kombinieren.

Mit folgendem Script, welches ich auf Github gestellt habe, ist es mir möglich, die Nameservereinstellungen automatisch so anzupassen, so dass zum Beispiel http://homeserver.meinedomain.de immer auf meinen Server im heimischen Arbeitszimmer zeigt. So bin ich unabhängig von anderen Diensten und kann ihn eben auch mit meiner eigenen Domain nutzen. Nebenbei kostet mich das alles nichts extra, da die Funktion eben bei INWX eingebaut ist.

Das Script nsupdate.sh wird auf dem Server zu Hause stündlich per cron aufgerufen. Es liest dann die WAN-IP des Anschlusses aus und vergleicht sie mit der IP, die im Nameserver für die Subdomain hinterlegt ist. Wenn sich beide unterscheiden, trägt sie die aktuelle IP per XML-Voodo in den Nameserver ein.

#!/bin/bash

# Update a nameserver entry at inwx with the current WAN IP (DynDNS)

# Copyright 2013 Christian Busch
# http://github.com/chrisb86/

# Permission is hereby granted, free of charge, to any person obtaining
# a copy of this software and associated documentation files (the
# "Software"), to deal in the Software without restriction, including
# without limitation the rights to use, copy, modify, merge, publish,
# distribute, sublicense, and/or sell copies of the Software, and to
# permit persons to whom the Software is furnished to do so, subject to
# the following conditions:

# The above copyright notice and this permission notice shall be
# included in all copies or substantial portions of the Software.

# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
# EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
# MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
# NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE
# LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION
# OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION
# WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

# from which site should we get your wan ip?
IP_CHECK_SITE=http://checkip.dyndns.org

source nsupdate.config

LOG=$0.log

NSLOOKUP=$(nslookup -sil $HOSTNAME - ns.inwx.de | tail -2 | head -1 | cut -d' ' -f2)
WAN_IP=`curl -s ${IP_CHECK_SITE}| grep -Eo '<[[:digit:]]{1,3}(.[[:digit:]]{1,3}){3}>'`

API_XML="nameserver.updateRecord

                  user

                     $INWX_USER

                  pass

                     $INWX_PASS

                  id

                     $INWX_DOMAIN_ID

                  content

                     $WAN_IP

"

if [ ! "$NSLOOKUP" == "$WAN_IP" ]; then
    curl -silent -v -XPOST -H"Content-Type: application/xml" -d "$API_XML" https://api.domrobot.com/xmlrpc/
    echo "$(date) - $HOSTNAME updated. Old IP: "$NSLOOKUP "New IP: "$WAN_IP >> $LOG
else
    echo "$(date) - No update needed for $HOSTNAME. Current IP: "$NSLOOKUP >> $LOG
fi

Konfiguriert wird das ganze in der nsupdate.config. Diese liegt im selber Folder, wie das Script selbst. Hier werden die Zugangsdaten für INWX angegeben. Außerdem steht hier die Subdomain, die wir für DynDNS nutzen wollen und die ID, unter welcher die Domain bei INWX geführt wird.

# nsupdate.config

# Login credentials for the inwx admin interface
INWX_USER="USERNAME"
INWX_PASS="PASSWORD"

# The hostname that you want to update and it's ID from the inwx interface
# You get the ID when you edit the given nameserver entry and hover the save button.
HOSTNAME="subdomain.example.com"
INWX_DOMAIN_ID="123456789"

Diese Lösung läuft bei mir jetzt seit einigen Monaten sehr zuverlässig. Die Aktuelle Version findest Du immer auf meiner Github-Seite. Getestet habe ich es nur auf dem Mac und FreeBSD.

Analyse der Apache-Logs einer WordPress-Multisite mit Piwik

Ich habe gestern meine diversen Projekte, die auf WordPress laufen endlich mal in eine Multisite-Installation gepackt. Das heißt, alle Blogs sind weiterhin ganz normal erreichbar, ich muss aber nur noch eine WordPressinstallation mit Plugins etc. pflegen und habe somit weniger Administrationsaufwand.
Bisher habe ich die Nutzungszahlen der Seiten mit Piwik und dem dazugehörigen Javascript-Snippet getrackt. Das hat dort anscheinend auch ganz gut funktioniert. Es läuft aber auch nur dort, wo HTML-Code durch mich beeinflussbar ist.

Seit der Version 1.8 beherrscht Piwik jedoch auch das Parsen und Einlesen von Apache Logfiles und das wollte ich dann gestern auch mal ausprobieren.

Nach ein Bisschen rumprobieren ist mir ein Fehler bzw. unerwünschtes Verhalten aufgefallen. Vorher hatten alle Seiten einen eigenen Apache-vHost und entsprechend eigene Logs. Da jetzt alle Blogs unter einem einzigen vHost laufen, waren die Logs nicht mehr aussagefähig, da ja alle Seitenaufrufe an den selben Host gingen.

Apache beibringen, mehr bzw. anders zu loggen

Die Lösung lag also darin, Apache zu sagen, dass er anders loggen soll.

Hierfür nutze ich in der vHost-Datei unter /etc/apaches2/sites-avaliable/ die Definitionen LogFormat und CustomLog.

LogFormat "%{Host}i %h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-Agent}i"" vhost_common
CustomLog "|/usr/sbin/rotatelogs /var/www/$DOMAIN/logs/access.%Y-%m-%d.log 86400" vhost_common

Mit Logformat sage ich, in welchem Format die Logs geschrieben werden sollen. Hierbei kommt dann sowas raus, wie z.B:

skrupuloes.de XXX.XXX.XXX.XXX - - [08/Jan/2013:11x:03:39 +0100] "GET /feed/podcast-mp3/ HTTP/1.1" 200 9964 "-" "PritTorrent/0.1"  
skrupuloes.de XXX.XXX.XXX.XXX - - [08/Jan/2013:11:10:27 +0100] "GET /wp-content/uploads/sites/7/2012/09/coverart-300x274.jpg HTTP/1.1" 304 - "http://skrupuloes.de/ueber-skrupuloes/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4"  
skrupuloes.de XXX.XXX.XXX.XXX - - [08/Jan/2013:11:10:27 +0100] "GET /favicon.ico HTTP/1.1" 200 - "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4"  
debilux.org XXX.XXX.XXX.XXX - - [08/Jan/2013:11:10:31 +0100] "GET / HTTP/1.1" 200 14279 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4"  
debilux.org XXX.XXX.XXX.XXX - - [08/Jan/2013:11:10:33 +0100] "GET /2012/09/28/fuer-filevault-anderes-passwort-nutzen-als-fuer-systemaccount/ HTTP/1.1" 200 13658 "http://debilux.org/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.94 Safari/537.4"

%{Host}i ist hierbei dafür zuständig, dass auch die Domain mitgeloggt wird, über die der Zugriff erfolgte. Jetzt sind die Logs wieder aussagefähig.

Die CustomLog-Direktive sagt Apache, wie er die Logs in welche Files schreiben soll. Ich nutze hier rotatelogs, um die Files jeden Tag zu rotieren. Meine Logs sind dann zum Beispiel unter /var/www/$DOMAIN/logs/access.2013–01–07.log zu finden.

$DOMAIN steht hier für den Ordner, den ich für jede Domain unter /var/www/ habe. Diese beinhalten einen Ordner _“logs/”, in dem die Logs der jeweiligen Domain abgelegt werden. %Y-%m-%d wird Durch Jahr-Monat-Tag ersetzt. Jede Nacht um 0:00 Uhr wird ein neues Log angefangen und die Logs vom Vortag sind “fertig”.

Apache-Logs in Piwik einlesen

Der Parser für die Piwik-Logfiles liegt im Piwik-Verzeichnis unter /misc/log-analytics/import_logs.py. Man kann ihm viele Argumente mit auf den Weg geben und praktischerweise gleich mehrere Logfiles auf einmal zum Fraß vorwerfen. Da ich keine Lust hatte, großartige Configs zu schreiben, haben ich mir ein kleines Shellscript gebastelt.

#!/bin/bash  

PATH_TO_PIWIK='/var/www/meine_domain/www/piwik' # e.g. /var/www/piwik  
PIWIK_URL='https://meine_domain/piwik' # e.g. http://mysite.tld/piwik  
WWWFOLDER='/var/www/'

# search logs  
LOGDATE=`(date --date='1 days ago' '+%Y-%m-%d')`  
LOGFILES=`(find $WWWFOLDER -iname access.$LOGDATE.log | grep "/logs/" | tr 'n' ' ')`

# import found logs to piwik  
python $PATH_TO_PIWIK/misc/log-analytics/import_logs.py --url=$PIWIK_URL --recorders=4 --add-sites-new-hosts --show-progress $LOGFILES

# run Piwik Auto-Archiving  
php5 $PATH_TO_PIWIK/misc/cron/archive.php --url=$PIWIK_URL

In den ersten drei Variablen sage ich dem Script, wo es Piwik findet, wie Piwik per URL zu erreichen ist und wo die Webseiten, respektive Logs liegen. $LOGDATE stellt fest, welches Datum gestern war (da sind ja die Logs schon “fertig”) und mit Logfiles suche ich dann in /var/www/ nach den Logs von gestern und ersetze in der Ausgabe Zeilenumbrüche durch Leerzeichen, damit ich sie an den Importer als Parameter weitergeben kann.

Anschließend lasse ich den Importer laufen. Er nutzt vier Threads und legt noch unbekannte Hosts automatisch in Piwik an (spart wieder Arbeit 😉 ). Es gibt noch viele Parameter mehr, aber die könnt ihr Auch ja auch selbst anschauen.

Da es hier auch irgendwie reinpasst, lasse ich mit dem Piwik Auto-Archiving auch gleich noch die Datenbank aufräumen.

Das Script läuft bei mir jede Nacht als Cronjob, sodass ich jeden Morgen die Statistiken von gestern einsehen kann. Die sind jetzt zwar nicht mehr tagesaktuell, ich kann aber zum ersten Mal auch die Downloads unseres Podcasts, die nicht über die Seite gingen, tracken.

Tagebuch führen für Nerds

Ich finde, es ist immer schön, wenn man sich zurück erinnern kann, was man vor ein paar Monaten, Jahren so gemacht hat. Das ruft Erinnerungen an schöne Momente zurück oder erinnert daran, dass man dieses oder jenes beim nächsten Mal anders machen wollte.

Für sowas eignet sich ein Tagebuch. Doch Tagebuch führen ist ja sowas von 1980. Man muss das Buch immer dabei haben, sitzt dann vor einer leeren Seite und verliert irgendwann die Lust zu schreiben.

Ich habe mir folgendermaßen Abhilfe geschaffen. Ich habe in einer einfachen Textdatei ein 80-Char-Diary gestartet, in welchem ich in 80 Zeichen meinen Tag zusammen fasste. Ein Eintrag für die Abendstunden war an jedem Tag auf meiner ToDo-Liste und so gewöhnte ich mich daran, dass jeden Tag zu schreiben.

Ich merkte in den letzten Wochen, dass mir 80 Zeichen nicht ausreichen und ich mehr schreiben will. Außerdem war es langweilig jedes Mal die Textdatei zu öffnen, zu schreiben, sie zu schließen.

Ich habe mir also ein kleines Bash-Script für dieses „Problem“ geschrieben“.

Wird das Script ohne Parameter aufgerufen, stellt es mir die Frage „Was ist heute passiert?“, ich tippe meinen Text ein und er wird automatisch an die Datei angehängt. Eine Linie dient hierbei als Anhaltspunkt für die alte 80-Zeichen-Grenze.

Der Parameter „-s“ gibt aus, seit wievielen Tagen ich das Tagebuch schon führe. Über „-p“ kann ich mir das Tagebuch in der Shell ausgeben lassen und über „-e“ wird es mit dem Editor nano bearbeitet.

Ich komme damit bisher super klar und bin für Verbesserungsvorschläge offen.

Ihr könnt diary.sh als zip-File herunterladen oder Euch das Listing unten kopieren. In jedem Fall muss aber die Variable FILENAME noch an Speicherchort Eurer Datei angepasst werden.


#!/bin/sh
# /home/chris/bin/diary.sh

FILENAME="/media/daten/Ablage/diary"
COUNTDAYS=`cat $FILENAME | wc -l`

while [ $# -gt 0 ]; do    # Until you run out of parameters . . .
    case "$1" in
        -e|--edit)
            nano $FILENAME
            exit 0
        ;;
        -p|--print)
            cat $FILENAME
            exit 0
        ;;
        -s|--status)
            echo "Du führst das Tagebuch seit "$COUNTDAYS" Tagen."
            exit 0
        ;;
        *)
        
        ;;
    esac
    shift       # Check next set of parameters.
done

    echo "Du führst das Tagebuch seit "$COUNTDAYS" Tagen."
    echo
    echo "Was ist heute passiert?"
    echo "--------------------------------------------------------------------------------"
    read DIARYTEXT
    echo `date +%y%m%d%a`" |"$DIARYTEXT >> $FILENAME