Server-Relocation - Teil 2 (Interxion)
Erst vor kurzem sind wir mit unseren Servern von einem halben in ein komplett für uns gemietetes Rack umgezogen (Server-Relocation Teil 1). Das ist nur knapp 2 Monate her und doch mussten wir schon wieder unser ganze Equipment an einen anderen Ort transportieren.
Kurz zur Vorgeschichte. Wir hatten uns damals für das IXEurope (beherbergt auch das Telehouse) in Zürich entschieden, da es einen ungeheur guten Ruf und dementsprechende Bekanntheit erreicht hat. Auch dass alle grossen Carrier ihre Peerings in diesen Gebäuden verwalten hat dafür gesprochen und wir hatten ja im halben Rack durchaus gute Erfahrungen mit dem IX gemacht.
Voller Freue haben wir dann anfangs Jahr unser neues 1/1 Rack bezogen. Von da an haben die Probleme begonnen:
Infrastruktur Probleme
1. Da wir neu in der Mitte des Raumes waren und die kühlende Luft bereits von den anderen Racks erwärmt war, war es in unserem Rack viel zu warm (zwischen 40-50 Grad). Das löste ständige Alarmmeldungen der Blades aus da der Grenzwert fast erreicht wurde. Das IX war sich der Problematik bewusst und hatte bereits provisorisch in den nebenstehend leeren Racks die Böden abgedichtet, damit keine kühle Luft verlorengeht. Das hat aber nicht gerreicht und somit mussten wir unsere luftundurchlässige Türe an der Rückseite durch eine mit Lüftungsschlitzen ersetzen. Die Kosten dafür hat nicht etwa das IX übernommen, nein wir mussten die Türe an ihr Rack selber finanzieren. Dafür gehört sie jetzt uns inkl. eingestanztem IX Logo…
2. Durch die Montage der Türe hat das IX gemerkt, dass wir eigentlich für unseren Vertrag zuviel Strom beziehen und darum die Temperatur so hoch sei. Ihre Infrastruktur für ein komplettes Rack sei mit 1.5kW Strom ausgelegt. Da hätte nicht mal ein halb belegtes Blade Chassis mit 5 Servern genügend Strom und ein Blade Chassis pro ganzes Rack ist nicht sehr wirtschaftlich… Die uns zur Verfügung gestellten Stromanschlüsse waren mit 2×15A abgesichert wovon wir ohne von der vertraglichen Limitierung zu wissen gut 2×13A bezogen haben. Somit wurden wir auch noch für die Erwärmung des Raumes und der Umgebungstemperatur wegen unserer luftdurchlässigen Türe verantwortlich gemacht.
3. Da wir neue Server anschaffen wollten und somit mehr Strom brauchten haben wir angefragt ob wir mehr Strom haben könnten. Die Vorschläge vom IX haben uns jedoch stutzig gemacht. Wir könnten das Nachbarrack mieten und den Strom in unser Rack rüberziehen, oder warten bis das IX3 fertig ist denn im IX2 gibt es keinen weiteren Strom mehr. Der Grund war eine nicht ausreichende Kühlung und eine zu schwache Hauptstromversorgung. Im neuen IX3 gelten aber anscheinend dieselben Berechnungsgrundlagen wie im IX2 also 1.5kW pro Rack…
4. Im IX3 hätten wir in einem separaten Raum für Blades Unterschlupf gefunden, hätten jedoch Racks mit integrierten Lüftern in Türe oder Dach zum Abtransport der warem Luft selber finanzieren sollen. Meiner Meinung nach ist das nicht unsere Aufgabe sondern die des Anbieters der CoLocation wenn er uns das verkaufen will, den dass ist ja ihre Kernkompetenz.
Das alles und die Umstände wie die Dinge gehandhabt wurden hat uns bewogen zusammen mit unserem Provider Netstream ins Interxion nach Glattbrugg zu wechseln. Da bekommen wir gegen Aufpreis sogar bis 8kW Strom pro Rack und können es mit Blades komplett füllen bei Bedarf (inkl. dafür benötigten Racks, Lüftung und USV). Die Migration haben wir dann in der Nacht vom 26. auf den 27. Februar in einem 4 stündigen Umzug von Zürich nach Glattbrug vollbracht.
Der Umzug
Schon am Eingang merken wir, dass hier ein anderer Wind weht (von den 7×24h anwesenden Securitys den unzähligen Badge Readern und der Einmannschleuse mit Fingerprint Sensor mal abgesehen)…

Schnell hatten wir alles Material im inneren des Gebäudes…

Anschliessend folgte der Transport zum Rack, stetig von einem wachsamen Auge verfolgt…
Morgens um halb 5 war es dann soweit und das neue Rack fertig installiert…
Back Online
Tilllate war anschliessend gegen 6 Uhr wieder Online. Wir hatten noch PacketLoss auf der Leitung und mussten erst den Fehler finden. Schuld war vermutlich eine falsche Konfiguration auf dem Router oder der falsch eingestellte SwitchPort.
Wärend der ganzen Nacht hat uns noch eine Digitalkamera begleitet und einige Impressionen aufgezeichnet welche ich euch nicht vorenthalten will:
Im Interxion bleiben wir nun vorerst hoffentlich für lange Zeit denn Platz und Strom hat es jetzt da genug für die nächsten Monate und Jahre.
PS: Das IX3 wird übrigens beim Letzigraben gebaut. Dieses Gebäude ist aber ebenfalls veraltet und Stromausfälle gehören anscheinend schon zum Tagesgeschäft wie aus dem Blog der “CH Internet Szene” oder “Einblicke in die Provider Szene” zu vernehmen ist.

Witzige Geschichte
Tipp: Dichtet von unten her die leeren Höheneinheiten mit eiem Blechschild ab. Damit die Kalte Luft der Tür entlang direkt zu den Servern hoch kommt und nicht schon dort unten sich staut.
So machen wir es jedenfalls, bei mehr als 500 Servern im Einsatz;)
Comment by malaxo — 1. March 2007 @ 09:17
Hallo Leute,
wie verteilt(load-balancing) Ihr eigendlich die Last von 100 Mio PIs im Monat auf die Web- und DB-Server ?
PEN als LoadBalancing Software oder eine dedizierte Hardwarelösung..?
Comment by Mathias — 4. March 2007 @ 16:12
Hallo Mathias
Sämtliche Anfragen laufen bei uns über einen Linux Server mit IPVS welcher die Anfragen an die verschiedenen Cluster weiterleitet. Im Moment für normale HTTP Requests, HTTPS, AdServer und statische Files. Historisch bedingt läuft auf jedem WebServer ebenfalls die Datenbank. Wenn wir da die nächste grosse Umstellung haben schreibe ich sicher mal darüber.
Comment by Stefan Rothenhofer — 5. March 2007 @ 09:06
Danke für die prompte Antwort Stefan - würde mich freuen demnächst mehr über das Thema zu lesen
Comment by Mathias — 7. March 2007 @ 21:01