Wie jeder in letzter Zeit feststellen konnte, zeigt Ubuntuusers.de häufig Fehlermeldungen und die Benutzung ist ein Geduldspiel. Das Webteam weiß um die Probleme und ist selbst damit äußerst unzufrieden. Um das alles wieder auf die Reihe zu bringen, ist vorrangig das Server- und Webteam nahezu rund um die Uhr im Einsatz, um die letzten Fehler auszubügeln.

Wo liegt das Problem?

Das Problem ist, dass niemand so ein großes Portal unter Echtzeitbedingungen testen kann. Auf der Hardwareseite ist es die Serverkonfiguration, auf der Softwareseite ist es Inyoka selbst, welches den zuständigen Teams schlaflose Nächte bereitet. Ein RAM-Wechsel und Optimierungen am Datenbankserver offenbarten tieferliegende Strukturprobleme – es kam deshalb zu einem Datenbank-Crash. Sofort, es war am Sonntag (!), ging es auf Fehlersuche. Matthias aka smurfix fuhr mehrfach ins Datacenter und nahm sich der Probleme vor Ort an. Das gesamte Serverteam hat eine tolle Leistung vollbracht und den SQL-Server wieder zum Leben erweckt. An den Strukturproblemen wird zwar noch gearbeitet, eine Lösung zeichnet sich jedoch ab.

Damit nicht genug, kam es am Montag zu weiteren Zwischenfällen. Die Umstellung der Inyoka-Konfiguration von mod_wsgi als Gateway auf FastCGI – die eigentlich eine einheitlichere Konfiguration auf dem Server gewährleisten sollte – verursachten neue Probleme. Timeouts und sterbende FastCGI-Prozesse waren die Folge. Um euch einmal einen kleinen Einblick in die Struktur hinter einigen LoCo-Teams zu geben, hier eine kleine schematische Darstellung der Hardwarekonfiguration: Konfiguration Überblick

Diese Konfiguration gilt es zu warten und zu optimieren. Beide Punkte sind ungemein schwer in den Griff zu bekommen, bei der kleinen Anzahl an Personen, die sich darum kümmern. Zum jetzigen Zeitpunkt läuft unsere Datenbank auf einem Ersatzserver, welcher bei weitem nicht so leistungsfähig ist wie der richtige (Tilo), daher fühlt sich Ubuntuusers.de etwas träger an. Wann genau der eigentliche DB-Server wieder seine Arbeit aufnimmt, kann zum jetzigen Zeitpunkt leider niemand sagen, es wird aber hart daran gearbeitet.

Warum musste die Konfiguration geändert werden?

Die letzten Konfigurationsänderungen waren notwendig, da es einige Prozesse gab, die häufig neu gestartet wurden. Erst schob man das auf einen kaputten Prozess-Monitor von mod_wsgi, doch die Probleme wurden nach einem Wechsel zu FastCGI schlagartig schlimmer.

Nachdem die Grundparameter von FastCGI angepasst wurden, dauerte es keine 10 Minuten bis der Server durch Swapping in die Knie ging. Im Unterschied zu mod_wsgi killt mod_fastcgi nämlich keine Kindprozesse, die nicht mehr reagieren. Momentan ist noch nicht ganz klar, was genau den hohen Speicherverbrauch auslöst, aber es konnte zumindest das betreffende Modul durch eine alternative Implementierung ersetzt werden. Im Moment wird versucht, das Problem auf einem Testserver nachzustellen, um das Problem analysieren zu können. Momentan weiß man nur, dass ein Fehler in cPickle, einem Python-Modul, dafür verantwortlich ist.

Zudem gab es in den letzten Wochen immer wieder Änderungen an den Servern, die durchgeführt werden mussten. So gab es serverseitig Probleme mit einem (per NFS) eingebundenen Dateiserver, der bei parallelem Zugriff und aktiviertem Hyperthreading unglaublich langsam wurde. Das Cache-Frontend wurde überarbeitet, die Struktur der zwei Apacheserver mitsamt Load-Balancer überhaupt erst eingeführt. All das braucht natürlich auch eine gewisse Reifezeit – eine perfekte Konfiguration für die mannigfaltigen Anforderungen zu finden ist äußerst schwer.

Auf Softwareseite gibt es eben Inyoka, welches nun komplett in Python geschrieben ist und das ein oder andere Problem mit der Apachekonfiguration hat. Das Webteam arbeitet an einer stabilen Lösung und hofft, diese bald gefunden zu haben.

Bis dahin möchten wir euch abermals um etwas Rücksicht bitten. Die zuständigen Teams tun wirklich ihr Bestes, um ein baldiges und stabiles Arbeiten auf Ubuntuusers.de und anderen Communities zu ermöglichen. Die Geduld wird sich auszahlen, da ist sich das Team von ubuntuusers.de sicher!

überarbeiteter Beitrag von EnTeQuAk

Diskussion und Kommentare