Verwaltetes Kubernetes als Service in der Bioinformatik-Cloud
Die Mission des Berliner Instituts für Gesundheit (BIH) ist die medizinische Translation: Erkenntnisse aus der biomedizinischen Forschung werden in neue Ansätze zur personalisierten Vorhersage, Prävention, Diagnostik und Therapie umgesetzt; umgekehrt führen Beobachtungen im klinischen Alltag zu neuen Forschungsideen.
Zu diesem Zweck baut das BIH als translationale Forschungseinheit der Charité ein umfassendes translationales Ökosystem auf, das sich auf ein organübergreifendes Verständnis von Gesundheit und Krankheit konzentriert und einen translationalen Kulturwandel in der biomedizinischen Forschung fördert. Das BIH wurde 2013 gegründet und wird zu 90 Prozent durch das Bundesministerium für Bildung und Forschung (BMBF) und zu zehn Prozent durch das Land Berlin gefördert. Die Gründungsinstitutionen Charité - Universitätsmedizin Berlin und Max-Delbrück-Centrum waren bis 2020 eigenständige Mitglieder des BIH. Seit 2021 ist das BIH als sogenannte dritte Säule in die Charité integriert und das Max-Delbrück-Centrum ist privilegierter Partner des BIH.
Herausforderung
Bereitstellung von Kubernetes-Clustern für Bioinformatiker
Die de.NBI-Cloud-Umgebung am Berlin Institute of Health ist seit 2017 etabliert und stellt Ressourcen für Bioinformatiker als Infrastructure as a Service zur Verfügung. Nutzer können im Rahmen ihres Projekts selbstständig eine komplette Umgebung mit virtuellen Instanzen, Storage sowie Netzwerk und Load Balancer erstellen, entweder über eine Benutzeroberfläche oder automatisiert. Nachdem Container und Kubernetes nicht mehr nur ein Trend sind, sondern wirklich in der IT und damit auch in der Bioinformatik angekommen sind, steigt die Nachfrage von Bioinformatikern, solche Kubernetes-Cluster auch auf der de.NBI Cloud am Standort Berlin zu betreiben.
Dank der vorhandenen Möglichkeiten innerhalb der de.NBI Cloud ist es leicht möglich, einen Kubernetes-Cluster innerhalb kurzer Zeit selbst zu provisionieren. Allerdings erfordert das Management, z.B. die Aktualisierung eines solchen Clusters, auch einen gewissen Zeitaufwand, den die BioinformatikerInnen nicht für ihre eigentliche Forschungsarbeit aufwenden können. Gleichzeitig sind die Betreiber der de.NBI-Cloud daran interessiert, den Nutzern eine möglichst einfache User Experience und standardisierte Services zu bieten, die einen Mehrwert und keinen Mehraufwand für die Projekte generieren.
Lösung
Kubermatic Kubernetes-Plattform
Gemeinsam mit dem Cloud-Team des Berliner Instituts für Gesundheit der Charité haben die SVA-Experten zunächst verschiedene Ansätze und Lösungen evaluiert und sich schließlich für die Kubermatic Kubernetes Platform (KKP) entschieden. Mit KKP war es möglich, eine zentrale, flexibel skalierbare Control Plane aufzubauen und dann auch verschiedene Cloud-Anbieter - in diesem Fall die OpenStack-basierte Cloud des BIH - anzubinden.
Die Architektur von KKP basiert selbst auf einem Kubernetes-Cluster, der über sogenannte Cloud-Controller in die bestehende OpenStack-Umgebung integriert wird. Mit KubeOne bietet Kubermatic eine Lösung zur initialen Erstellung und Verwaltung dieses Basis-Clusters. Dies ermöglicht es den Administratoren der KKP-Plattform, die zugrundeliegende Infrastruktur vollautomatisch zu konfigurieren, um z.B. weitere benötigte Ressourcen für die Kontrollebene dynamisch hinzuzufügen.
Die Endnutzer (Bioinformatiker) sehen die KKP-Benutzeroberfläche nur als ein Produkt, in das sie sich mit der bestehenden OpenID Connect-basierten Authentifizierung einloggen, um Kubernetes-Cluster direkt in ihrem zugewiesenen Projekt innerhalb von OpenStack bereitzustellen. Ein entscheidender Vorteil ist, dass die Endanwender keine Kenntnisse über die zugrunde liegende Infrastruktur haben müssen, sondern einfach auswählen, wie viele Ressourcen sie benötigen und welche Node-Typen (z.B. GPU, High-Memory) in ihrem Cluster verfügbar sein sollen. Selbst Aktualisierungen der Cluster können von den Endnutzern mit einem Klick durchgeführt werden.
Die SVA-Experten konnten das Projekt von der Erstellung des Konzepts über den Aufbau und die Integration in die bestehende OpenStack-Umgebung bis hin zur Betriebsbereitschaft erfolgreich begleiten. Die SVA unterstützt de.NBI auch weiterhin bei der Weiterentwicklung der Umgebung und arbeitet mit dem Kunden als gemeinsames "Cloud-Team" zusammen.
Ein entscheidender Vorteil ist, dass die Kubernetes-Kontrollebene, also die Masternodes, nicht als drei virtuelle Maschinen pro Cluster aufgesetzt werden, sondern zentral gehostet werden.
Die Administration der Cluster kann komplett von den Nutzern übernommen werden, nachdem die Projekte Zugang zu KKP erhalten haben, was sehr endnutzerfreundlich ist.