28. February 2007, 15:38, by S R

Server-Relocation – Teil 2 (Interxion)

InterxionErst vor kurzem sind wir mit unseren Servern von einem halben in ein komplett für uns gemietetes Rack umgezogen (Server-Relocation Teil 1). Das ist nur knapp 2 Monate her und doch mussten wir schon wieder unser ganze Equipment an einen anderen Ort transportieren.

Kurz zur Vorgeschichte. Wir hatten uns damals für das IXEurope (beherbergt auch das Telehouse) in Zürich entschieden, da es einen ungeheur guten Ruf und dementsprechende Bekanntheit erreicht hat. Auch dass alle grossen Carrier ihre Peerings in diesen Gebäuden verwalten hat dafür gesprochen und wir hatten ja im halben Rack durchaus gute Erfahrungen mit dem IX gemacht.
Voller Freue haben wir dann anfangs Jahr unser neues 1/1 Rack bezogen. Von da an haben die Probleme begonnen:

(more…)

28. January 2007, 21:09, by Silvan Mühlemann

Replikation mit MySQL: Tricky!

DelfinPro Sekunde werden auf tilllate.com 5000 Abfragen von den Datenbank-Servern beantwortet. Wie können wir diese Last auf 30 Datenbank-Server verteilen? Mit Replikation. Aber auch nach fünf Jahren Erfahrung habe ich dieses Feature noch nicht ganz im Griff.

Auf Datenbank-Ebene besitzt tilllate.com vier Servergruppen mit unterschiedlichen Funktionen (= “horizontale Skalierung”): Werbung, Statistik, Chat und schliesslich der Rest der Website tilllate.com. Werbung, Statistik und Chat kommen mit einem einzelnen Datenbank-Server aus.

Der “Rest” macht 90% der Abfragen aus. Der Rest sind 27 MySQL Datenbank-Server. Auf diesen 27 Server befindet sich eine identische Kopie der Haupt-Datenbank. Damit dies so bleibt, muss jede Änderung der Datenbank (z.B. eine UPDATE-Query) wird über einen definierten Weg auf alle 27 Maschinen repliziert. Wir benutzen hier die Replikations-Features von MySQL.

Einfache Master-Slave-Replikation
(more…)

3. January 2007, 18:30, by S R

Server-Relocation – Vom 1/2 ins 1/1 Rack

AufmacherOder was passiert wenn viele schöne Zugriffe einem zum aufstocken der Infrastruktur zwingen. Erfreulicherweise hat uns dies ein neues Rack beschert welches wir im Dezember beziehen durften.

Riv, Silvan und Ich (Stefan) machten uns deshalb eines Abends gegen 19:00 Uhr auf den Weg nach Zürich um alle Server vom alten 1/2 Rack ins neue 1/1 Rack zu migrieren. Glücklicherweise war dies im selben Raum zu finden wie schon das alte was uns eine mühsame Schlepperei ersparte und das umstecken des Uplinks zum Routineeingriff werden lies.
Der Plan war dabei wie folgt:

  1. Vorbereiten des neuen Racks (Connectivity, Strom und sonstige Kabel)
  2. Deaktivieren eines Blade Clusters und dem zugehörigen MySQL Master
  3. “Zügeln” des Blade Chassis und der Blades ins neue Rack
  4. Inbetriebnahme des Chassis nach sauberer Verkabelung
  5. Nachdem die Server am neuen Ort laufen das zweite Chassis abschalten
  6. Chassis 2 und alten Switch im neuen Rack montieren
  7. Umhängen des Uplinks vom alten zum neuen Rack
  8. Starten der Blades im Chassis 2 und überprüfen der Funktionen
  9. Aufräumen des alten Racks und sauberes Verkabeln des neuen Racks

Gross beschreiben möchte und muss ich vermutlich nicht, ich lasse lieber die Bilder für sich sprechen:

Unser altes 1/2 Rack ist ganz schön voll…
Altes Rack

(more…)

Filed under: IT Infrastructure
3. December 2006, 20:32, by Silvan Mühlemann

Memcached oder Cache_Lite – Wer ist schneller?

Stop WatchWochenende heisst für mich: Zeit für Plauschprojekte. Für die einen sind Plauschprojekte “Saufen bis zum Morgengrauen”. Für mich ist’s der Vergleich der Performance von memcached mit Cache_Lite. “Memcached natürlich 1000 mal schneller” höre ich sagen? Prüfen wir es doch.

Das Setup ist wie folgt: Unser Modell beinhaltet eine expensivePage.php. Auf einer realen Website wäre dies eine Seite, deren Erzeugung aufwändig ist. Zum Beispiel eine Regionenhomepage von tilllate. Diese Seite braucht 1 Sekunde, um erzeugt zu werden. Mit 10 Regionen gibt es 10 verschiedene Versionen dieser Seite (im folgenden Items genannt).
(more…)

20. November 2006, 19:58, by Silvan Mühlemann

Stau in den Servern

Stau“Laaaangsam ist die Site”, haben sich die Regional Manager am Freitag bei mir beklagt. Langsam ist ein weiter Begriff. Um diese Aussage messbar zu machen, möchte ich als Ergänzung zum Nagios und Ganglia eine Messung der Antwortzeiten unserer Website einführen.

Die Integration einer derartigen Messung in Nagios oder Ganglia hat sich als schwierig erwiesen. Deshalb habe ich mich für eine “Roll-your-Own”-Lösung entschieden: Erfassung der Antwortzeiten (= Dauer eines vollständigen HTTP-Requests) mittels Curl und Cron-Job. Eintragen in ein RRD-File. Anzeige mittels rrdtool graph.

Die ersten Ergebnisse sind interessant:
Antwortzeiten Fotoübersichts-Seite

Dies ist eine Messung auf die Fotoübersichtsseite. Wenn die Server nicht belastet sind, sind die Zugriffszeiten bei <500ms. Also völlig im vertretbaren Rahmen. Schlimm wird es, sobald eine gewisse Schwelle überschritten wird. Dann explodieren die Zahlen: Gestern Sonntag dauerte es über acht Sekunden, um eine Indexseite abzurufen.
(more…)

Filed under: IT Infrastructure
13. November 2006, 15:21, by S R

Linux Raid ganz einfach

Transtec Provigo 610Lange schon steht er bei mir unterm Büro Tisch und endlich hab ich am Freitag Zeit gefunden mit der Installation zu beginnen (es ist ca. 14:00).

Die Rede ist von unserem neuen Speichersystem von Transtec (Provigo 610), natürlich mit zugehörigem Server (Calleo 302L). FibreChannel, 80GB SATA Platten, 8GB RAM alles vom feinsten, ich freue mich auf die Installation.

Installation

Wir verwenden natürlich Gentoo. Der QuickInstall Guide von Gentoo sieht vielversprechend aus, gut gibt es auch noch einen zum konfigurieren von Software Raid auf dem Server. Ich gehe genau nach Anleitung vor, alles perfekt, Disks erkannt, der Kernel auf der LiveCD erkennt alle Hardware, keine Probleme aufgetreten. Das Raid soll aus der Boot und Root Partition bestehen, Disk Ausfälle sollen uns keinen Ärger machen. (more…)

10. November 2006, 15:47, by Silvan Mühlemann

tilllate.com-IT präsentiert sich am Webtuesday

Unser erster ServerIm Bild links seht ihr unseren ersten eigenen Server. Eigentlich ist’s eine Workstation. Doch da das Gehäuse aus Alu war, dachten wir damals, das sei nun ein Enterprise-Level-Server. Das war im Sommer 2001. tilllate.com war ein Jahr alt und verzeichnete gerade mal 3 Mio Pageviews pro Monat. register_globals war auf on und Request-Variablen wurden nie gefiltert.

Inzwischen haben wir dazugelernt. Und anstatt einem Desktop-Gerät, welches im Besprechungszimmer von Netstream steht, haben wir über 30 Maschinen. Die meisten davon sind schnittige Blade-Server. Die 3 Mio. Pageviews haben wir immer noch. Aber in einem Tag.

Am kommenden Webtuesday werden Stefan (System Engineer) und ich euch mehr erzählen über Geschichte und Gegenwart von tilllate.com, über den Moment, als wir unsere Domain verloren haben, über Nächte im Serverraum. Aber auch über den aktuellen Aufbau der tilllate.com-Infrastruktur, Load-Balancer, Filer, Monitoring-Tools. Ueber die Applikation. Ueber Security, DOS-Attacken und Social Engineering.

Der Webtuesday ist eine kostenlose, öffentliche Veranstaltung, wo sich Techies zum Erfahrungsaustausch treffen. Geeks und Nerds, Developers und CEOs, FH-Studenten und Profis von namhaften Web-Unternehmen… Das Publikum kommt aus allen Richtungen.

Am 14. November um 19:30 treffen wir uns in den Büros von search.ch. Dort werden Stefan und ich unsere Präsi halten (max. 1h, Deutsch). Anschliessend gehen wir eis go zieh.

Es wäre cool, Euch dort anzutreffen!

5. November 2006, 23:44, by Silvan Mühlemann

Traue Nagios nicht!

Closed Circuit CamErstes Gebot: Ueberwache Deine Server mit einem Ueberwachungstool.

Zweites Gebot: Ueberwache Dein Ueberwachungstool (am besten mit einem Ueberwachungstool).

Dies mussten Stefan und ich dieses Wochenende lernen. Es war eine schmerzhafte Lehre.

Das ging so:

4. November. Ich war mit der GL in der Bergen an einem Strategie-Weekend. Endlich mal weg vom stressigen Tagesgeschäft. Der Geist frei für die Langfristplanung. Alles ruhig. Sehr ruhig. Gespenstisch ruhig. Keine SMS von Nagios. All green in der Statusanzeige. Gut.
(more…)

Filed under: IT Infrastructure
26. October 2006, 10:53, by S R

Gentoo und Server Hardware

Gentoo LogoHardware durcheinander?
Durch unser Wachstum haben wir diverse Server Typen im Einsatz, das reicht von selber gebauten “Kisten” über Asus Geräte, IBM Blades und schlussendlich die Dell Blades. Mit diesen haben wir super Erfahrungen gemacht was Remote Administration anbelangt (Digital KVM & PowerSwitch).

Wir versuchen natürlich die Hardware möglichst homogen zu halten was die Administration (Hardware & Software) erleichtert. Unsere Linux Distro ist Gentoo, somit können wir jeweils einfach den Kernel kompilieren welchen wir für die jeweiligen Geräte benötigen. Was darüber läuft (Apache, PHP, mySQl etc.) ist ja sozusagen Standart und birgt keine Probleme mit der darunterliegenden Hardware. Die Installation läuft bei uns wie folgt.

(more…)

Filed under: IT Infrastructure
25. October 2006, 19:25, by Silvan Mühlemann

Die neue Serverlieferung ist da

Einmal mehr Weihnachten in der tilllate-IT-Abteilung. Server 34 bis 37 sind da. Dell Poweredge 1955 mit 2x Dual Core Xeon 3GHz und 8GB RAM pro Blade. Namenswünsche sind bei unserem System Engineer Stefan zu platzieren.

Der Blick in unser Rack
Ready for global domination :-)

Filed under: IT Infrastructure
« Previous PageNext Page »

© 2017 tilllate Schweiz AG - Powered by WordPress