Blog

Gut gerüstet für die Zukunft

Der Umzug ins neue Rechenzentrum ist geschafft

 Christoph Strauch -  28. Januar 2021

Vor ca. zwei Jahren starteten wir mit der Planung für den Umzug in ein neues Rechenzentrum innerhalb der Schweiz, um die über die Jahre gewachsene MACD Systemlandschaft zu vereinfachen, die Hardware zu modernisieren und insgesamt für zukünftige Anforderungen gerüstet zu sein. Seit kurzem sind wir nun live - alle Kundenanbindungen wurden erfolgreich migriert.

Von Anfang an war klar, dieses Projekt würde einen immensen Koordinationsaufwand zwischen den mehr als 100 MACD Kunden und Partnern, dem bisherigen Rechenzentrum und den Providern bedeuten und sicher eine Menge ungeahnter Herausforderungen bergen. Dafür hat unser Team eng mit dem Projektleiter Raphael Grochtmann zusammengearbeitet.

Es galt 22 IPSS Connections, 42 IPSec Connections, 1 COLT Connection und 3 Börsenanbindungen möglichst unbemerkt von unseren Kunden umzuziehen, einen Parallelbetrieb zu errichten, um Hochverfügbarkeit und höchste Sicherheit zu gewährleisten und Produktionsausfälle zu vermeiden - gerade im Bereich der Finanz-IT ein sehr anspruchsvolles Unterfangen.

Für mich ganz persönlich war es ebenfalls eine Herausforderung, weil ich erst drei Monate vor dem Start des Projekts zu MACD stieß, zum ersten Mal die Leitung eines Admin-Teams übernommen hatte und nun dafür sorgen musste, das komplexe Projekt in enger Zusammenarbeit mit der Projektleitung technisch einwandfrei umzusetzen.

Mir kam zwar zugute, dass ich während meiner früheren Tätigkeit schon mal einen Rechenzentrumzug mitgemacht hatte - von Frankfurt nach Aachen. Allerdings war es damals ein reiner Standortwechsel, nicht wirklich zu vergleichen mit dem MACD Umzug. Denn bei MACD ging es nicht nur um die Inbetriebnahme von neuen Servern, sondern auch um den Wechsel aktueller Betriebssysteme und den Einsatz komplett neuer Technologien, z.B. CEPH für ein zentrales Storage.

Es gibt nicht den perfekten Weg

Ja, es gab Hindernisse bei der Umsetzung - sowohl bei den Kundenanbindungen, der Frage nach der Hochverfügbarkeit, beim Update auf aktuelle Betriebssysteme bzw. Software inklusive vorhandener Abhängigkeiten und beim Auffinden des richtigen Ansprechpartners sowohl intern als auch extern. Der Lösungsweg war immer ein anderer - von Problem zu Problem unterschiedlich - hier gab es nicht den perfekten Weg.

Wir mussten agil und flexibel sein und viele Meetings einberufen, um uns das notwendige Wissen von unseren internen und externen Experten abzuholen. Dank der großartigen Zusammenarbeit mit unseren Technical Account Management und Software Engineering KollegInnen und des regelmäßigen Austauschs mit externen ADMIN-Teams der Kunden und Partner ist uns dies auch immer gelungen.

Zum Glück waren wir von Anfang an gut aufgestellt für die dauerhafte Home Office Arbeit - erzwungen durch Corona. Da mein Team sowohl Mitarbeiter in Aachen (Deutschland) als auch in Urdorf (Schweiz) umfasst, waren wir es gewöhnt über Videokonferenzen aus der Ferne zusammenzuarbeiten. Die Einarbeitung neuer Team Kollegen wurde dadurch zwar erschwert, aber auch das haben wir bisher gut hinbekommen.

Einen Ausfall komplett zu vermeiden, ist utopisch

Mit dem Umzug sind wir besser geworden was die Wiederbereitstellung nach einem Ausfall angeht. Einen Ausfall komplett zu vermeiden, ist einfach utopisch. Man kann jedoch die Zeitdauer der Störung so kurz wie möglich halten. Wir gehen also immer davon aus, das jederzeit Hardware sterben kann und sind in der Lage unsere Systeme automatisiert nach ein paar Minuten ohne Datenverlust wieder zu starten.

Weiterhin verfolgen wir die Strategie, unsere Systeme so oft es geht zu patchen - im früheren Rechenzentrum wurden diese diese zu selten angefaßt, weil man Angst hatte, das etwas kaputt geht.

Wir haben unsere Anbindungen für die Kunden nun komplett transparent abgebildet. Die Kunden haben genau einen Zugangspunkt zu unserem Firewall Cluster.

Gut gerüstet für die Zukunft

Da es ein sehr komplexes, manchmal auch aufreibendes Projekt war, konnten wir auf technischer, aber auch auf menschlicher Ebene wertvolle Erfahrungen sammeln. Es hat sich gelohnt für uns als Team als auch für MACD und seine Kunden und Partner.

Denn im neuen Rechenzentrum haben wir nun die Kontrolle über die gesamte Infrastruktur, hosten alle Anbindungen selbst, haben unser Monitoring ausgebaut und verbessert und die IT-Security verstärkt.

Auch haben wir unser Know-how in Sachen Netzwerke stark erweitert und duften neue Technologien kennenlernen wie Proxmox Cluster oder CEPH. Einige Neuerungen sind zum Beispiel:

  • Wir trennen Netze mit VLANs
  • Wir setzen auf 10 GBit Netzwerktechnik, um unser CEPH Storage zu betreiben
  • Wir clustern alle Switches
  • Wir setzen verschiedene Proxmox Cluster ein und trennen somit Produktiv- von DEV-Umgebungen und erlauben es, Entwicklern produktiv Bugs nachzustellen
  • Die Proxmox Cluster ermöglichen zur Laufzeit Systeme von Hardware zu Hardware zu verschieben, ohne diese anhalten zu müssen

Und nicht zuletzt sind wir als frisches, neues Team sehr gut zusammengewachsen.

Wir sind also gut aufgestellt für die Zukunft und speziell für die Weiterentwicklung unseres neuen Handelssystems MAX. Das neue System besteht aus verschiedenen Modulen, die jeweils einen Service abbilden. Ziel ist, dass wir unseren Kunden noch einfacher, schneller und sicherer die gewünschten Services zur Verfügung stellen können.

Klar - wie bei jedem neuen System muss auch hier erstmal Erfahrung gesammelt und Kinderkrankheiten nach und nach ausgemerzt werden. Auch birgt jedes Update immer eine Gefahr - aber hier muss Sicherheit einfach höher gewertet werden.

Und mit jedem Update lernt man aus Fehlern.