Am 11.05.2023 haben wir ein umfangreiches technisches Update des HiOrg-Servers veröffentlich. Trotz ausführlicher Tests hat sich in diesem Rahmen eine Fehlfunktion im Bereich der Hilfeleistungsstatistik eingeschlichen: Bereits vor Veranstaltungsende wurde ein Wert von Null für transportierte / behandelte Patienten erzeugt und gespeichert.
Nach dem Ende der Veranstaltung wurde der fehlerhafte Eintrag dann dem Disponenten / der Disponentin sofort zur Kontrolle vorgeschlagen, ohne dass zwischenzeitlich eine beteiligte Person tatsächlich Angaben zur Veranstaltung machen konnte. In der Meldung gab das System an, dass die Informationen zur Hilfeleistung von „(gelöschter Nutzer)“ gemacht wurden.

Wir haben alle betroffenen Kunden per E-Mail informiert und darum gebeten, abgeschlossene Veranstaltungen der letzten beiden Wochen zu überprüfen. Noch nicht beendete Veranstaltungen sind nicht länger von dem Fehler betroffen (auch wenn sie in diesem Zeitraum angelegt wurden).

Wir bedauern, dass es zu diesem Fehler gekommen ist und die entstandenen Unannehmlichkeiten tun uns sehr leid. Unser Fokus liegt auf der Unterstützung von Helfenden und insbesondere möglicher Arbeitserleichterung. Leider ist uns dies im aktuellen Fall nicht gelungen. Bei Fragen oder wenn Hilfe benötigt wird, stehen wir unter support@hiorg-server.de gerne zur Verfügung.

Am Abend des 26.03.2023 war die Erreichbarkeit von HiOrg-Server gestört. Das Problem wurde gegen 21:30 Uhr vollständig behoben, ein Datenverlust konnte vermieden werden.

Am gestrigen Sonntag, den 26.03.2023 wurden ab 19 Uhr geplante Wartungsarbeiten an der Datenbank des HiOrg-Servers durchgeführt. Ursprünglich waren diese so geplant, dass die Nutzung des HiOrg-Servers nicht beeinträchtigt werden sollte.

Gegen 19:07 trat dabei leider ein unvorhergesehener Fehler in der Datenbank-Konsistenz auf, welcher zunächst zu einer Störung der Erreichbarkeit (für wenige Minuten) führte. Die Datenbank-Wartung wurde umgehend unterbrochen, und ein Readonly-Modus in der gesamten Anwendung geschaltet, um den Zustand der Datenbank einzufrieren. Bei der nachfolgenden Analyse mussten wir feststellen, dass zahlreiche Einträge in den Dienste- und Kurse-Tabellen fehlten. Daher wurde der Entschluss gefasst, die inkonsistente Datenbank zu verwerfen und das fehlerfreie Komplett-Backup von 19:02 Uhr einzuspielen.

Im Rahmen dieser Wiederherstellungs-Arbeiten verblieb das Gesamtsystem bis 20:40 (insgesamt ca. 90 Minuten) im Read-Only-Modus, und war danach für das Einspielen der Datenbank komplett im Wartungsmodus nicht erreichbar bis ca. 21:30 Uhr (50 Minuten).

Durch das rasche Erkennen des Fehlers konnte ein Datenverlust verhindert werden. Trotzdem bedauern wir die ungeplante Einschränkung der Erreichbarkeit, und entschuldigen uns bei allen Nutzern für eventuelle Unannehmlichkeiten.
Die Ursache der Störung wird noch weitergehend analysiert, außerdem arbeiten wir bereits an einer Änderung der Datenbank-Architektur, damit ähnliche Fehler künftig weitestgehend ausgeschlossen sind.

Nachtrag 28.03.23: Inzwischen haben uns einige Anfragen von Nutzern der Mobile-Apps erreicht, die sich nach der Downtime nicht mehr bei der App anmelden können. Unser Tipp dazu: wählen Sie die Option „Konto entfernen“ und melden sich dann neu bei der App an.

Nach einer arbeitsintensiven Vorbereitung konnte HiOrg-Server letzte Woche erfolgreich in eine neue Serverumgebung umziehen. Mit der Umstellung auf eine Kubernetes-Umgebung sind wir dabei einen großen Schritt in Richtung Modularität gegangen, was in Zukunft deutliche Vorteile mit sich bringt: Einzelne Systeme können wir nun sehr einfach warten und austauschen, ohne den laufenden Serverbetrieb zu stören.

Alle Systeme laufen nun in den Hochverfügbarkeits-Rechenzentren der Hetzner Online GmbH. Wer sich für Hintergrundinfos zu diesem Anbieter interessiert, dem können wir diesen interessanten Artikel von golem.de ans Herz legen. Dort wird ausführlich über den Besuch des Hetzner Rechenzentrums in Falkenstein berichtet.

Die neue Umgebung wirkt sich auch positiv auf die Performance und Reaktion unseres Systems aus, was zu spürbar verbesserter Geschwindigkeit von HiOrg-Server beiträgt.

Hinzu kamen eine ganze Reihe an technischen Verbesserungen, die dem Team die Arbeit in Zukunft klar erleichtern. So wird der komplette Mailversand nun über die Infrastruktur von Rapidmail erledigt. Dieser professionelle Mailgateway mit Sitz in Freiburg ist Mitglied in der CSA sowie bei 60 weiteren Diensten zertifiziert. Dies sorgt für eine bessere Bewertung der E-Mails, wodurch die Gefahr einer eventuellen Spameinstufung wesentlich niedriger ist.
Durch den Einsatz von cloud-nativen Technologien werden Betrieb und Wartung von HiOrg-Server nachhaltig vereinfacht und abgesichert, aber auch durch entsprechende Software und Automatismen proaktiv überwacht, so dass eine besonders hohe Resilienz gegen Ausfälle und Schwachstellen gewährleistet werden kann.

Unser Dank gilt hier vor allem Fabian Peter von der Ayedo Cloud Solutions GmbH, der uns mit stets raschen und guten Lösungsideen beim Umzug zur Seite gestanden hat und uns auch zukünftig auf diesem Gebiet unterstützen wird.

Leider ist uns der perfekte Umzug nicht ganz gelungen. Vereinzelt gab es Probleme beim Erstellen von Formularen und Bescheinigungen. Wir möchten uns bei allen Betroffenen nochmals ausdrücklich für die Unanehmlichkeiten entschuldigen. Inzwischen sind die Nacharbeiten erfolgreich abgeschlossen und alle Systeme stehen wieder wie gewohnt in vollem Umfang zur Verfügung.

Wir sind erleichtert, dass wir aus der Not eine Tugend machen konnten, und HiOrg-Server nun auf neuen, zukunftssicheren Beinen steht. Die Veränderungen helfen uns, effizienter zu arbeiten, Qualität zu sichern und uns ständig weiter zu verbessern. Wir freuen uns.

Edit 24.11.2022: Nacharbeiten abgeschlossen.
Die nach dem Serverumzug erforderlichen Nacharbeiten wurden nun erfolgreich abgeschlossen. Alle Systeme sollten wieder wie gewohnt im vollen Umfang zur Verfügung stehen. Sollte es bei Ihnen dennoch zu Problemen oder Einschränkungen kommen, melden Sie sich bitte bei unserem Support-Team. Wir unterstützen Sie gerne!

Edit 22.11.2022: Serverumzug abgeschlossen.
Alle HiOrg-Server Systeme wurden erfolgreich zu unseren neuen Partnern Ayedo Cloud Solutions GmbH | Hetzner Online GmbH umgezogen. Wir führen aktuell noch kleinere Nacharbeiten durch, teilweise kann es bei hinterlegten Formularen zu Beeinträchtigungen kommen. Wir bitten diese Unanehmlichkeiten zu entschuldigen! Falls Sie betroffen sind, melden Sie sich bitte bei unserem Support-Team. Wir kümmern uns dann schnellstmöglich um eine Lösung. Vielen Dank.

Aufgrund weiterer notwendiger Vorbereitungen verschieben sich die für heute angekündigten Wartungsarbeiten um eine Woche auf den 21. November 2022. Gleichzeitig rechnen wir dadurch mit einer deutlichen Verkürzung des Wartungsfensters.

Wartungsarbeiten am 21.11.2022 ab 21 Uhr 🔧

Am 21.11.2022 werden wir alle Systeme auf eine neue Plattform umziehen. Zwischen 21:00 Uhr und 0:00 Uhr wird HiOrg-Server vorübergehend nicht, oder nur im Lesezugriff, erreichbar sein. Konkret heißt das, dass Daten abgerufen, aber nicht verändert werden können. Die Mobilgeräte-Apps haben in dieser Zeit voraussichtlich keinen Zugriff.
Bitte informieren Sie auch Ihr Team und die Kollegenschaft. Vielen Dank.

Für Sie als Nutzenden und auch für alle Admins ändert sich nichts, wir übernehmen den gesamten Umzug, so dass Sie im Anschluss wieder wie gewohnt mit Ihrem HiOrg-Server arbeiten können.

Edit 14.11.2022: Aufgrund weiterer notwendiger Vorbereitungen verschieben sich die für heute angekündigten Wartungsarbeiten um eine Woche auf den 21. November 2022. Gleichzeitig rechnen wir dadurch mit einer deutlichen Verkürzung des Wartungsfensters.

In den vergangenen Wochen kam es mehrfach zu Störungen in der Erreichbarkeit von HiOrg-Server. Über die Hintergründe haben wir hier vor kurzem informiert. Als Konsequenz stellen wir HiOrg-Server auf neue, technologisch moderne Beine, um zukünftig auf eventuelle Störungen der Infrastruktur flexibler reagieren zu können. Zum Abschluss der Umstellung wird das Produktivsystem nun auf eine Kubernetes-Umgebung der Ayedo Cloud Solutions GmbH umziehen, die im Rechenzentrum der Hetzner Online GmbH betrieben wird.

Wartungsarbeiten am 14.11.2022 ab 21 Uhr 🔧

Am 14.11.2022 werden wir alle Systeme auf die neue Plattform umziehen. Zwischen 21 Uhr und 3 Uhr wird HiOrg-Server vorübergehend nicht, oder nur im Lesezugriff, erreichbar sein. Konkret heißt das, dass Daten abgerufen, aber nicht verändert werden können. Die Mobilgeräte-Apps haben in dieser Zeit voraussichtlich keinen Zugriff.
Bitte informieren Sie auch Ihr Team und die Kollegenschaft. Vielen Dank.

Für Sie als Nutzenden und auch für alle Admins ändert sich nichts, wir übernehmen den gesamten Umzug, so dass Sie im Anschluss wieder wie gewohnt mit Ihrem HiOrg-Server arbeiten können.

Derzeit ist aufgrund einer technischen Störung der Datenbank die Nutzung von HiOrg-Server stark eingeschränkt.

Wir arbeiten gemeinsam mit den Technikern unseres Rechenzentrums mit Hochdruck daran, die Ursache der Störung zu analysieren und zu beheben.

Aufgrund unserer redundaten Datenbank sowie der mehrstufigen Backup-Strategie rechnen wir nicht mit einem Datenverlust.

Durch die noch im November bevorstehende grundlegende Änderung von Infrastruktur und Rechenzentrum hoffen wir, in Zukunft einen deutlich stabileren Betrieb zusichern zu können.

Sobald uns weitere Informationen darüber vorliegen (z.B. auch eine Schätzung, wann die Störung behoben sein wird), werden wir dies hier als Update veröffentlichen.

Update 11:35 Uhr: Die Datenbank ist wieder re-synchronisiert, und der HiOrg-Server wieder erreichbar. Wir haben noch kleinere Nacharbeiten, rechnen aber nicht mehr mit einer (mehr als 1-2 Minuten andauernden) Downtime.

Update 11:45 Uhr: Alle Reperaturarbeiten sind abgeschlossen, das System läuft wieder stabil. Wir bitten um Entschuldigung für evtl. entstandene Unannehmlichkeiten.

In den vergangenen Wochen kam es mehrfach zu Störungen in der Erreichbarkeit von HiOrg-Server. Heute möchten wir über die Hintergründe und unsere Konsequenzen daraus informieren.

Die Priorität unseres Unternehmens ist die zuverlässige Bereitstellung eines stabilen und fehlerfreien Systems, welches dauerhaft erreichbar und nutzbar ist. In den letzten 20 Jahren konnten wir uns in dieser Hinsicht einen sehr guten Ruf erarbeiten, auf den wir stolz sind.

Im Jahr 2020 haben wir festgestellt, dass ein sicherer und zuverlässiger Serverbetrieb zunehmend komplexer wird. Um uns selbst mehr auf die Weiterentwicklung von HiOrg-Server konzentrieren zu können, haben wir das Thema Serverbetrieb an die Inexio IT und TK GmbH übertragen und den HiOrg-Server in deren Rechenzentrum in Saarlouis umgezogen (siehe unseren Bericht aus 12/2020). 

Die Erfahrung der vergangenen zwei Jahre hat jedoch gezeigt, dass unsere Erwartungen durch diese Kooperation nicht erfüllt werden. 

Obwohl wir uns zwischenzeitlich wieder vermehrt selbst um die Überwachung und Pflege der Produktivserver kümmern, kam es in den vergangenen Wochen leider mehrfach zu Beeinträchtigungen der Erreichbarkeit. Ein Ausfall am vergangenen Donnerstag (22.09.2022) dauerte mehr als zwei Stunden an. Ursache war eine nachhaltige Störung im Netzwerk des Rechenzentrums: einem Bereich, der leider außerhalb unseres Einflusses liegt.

Alle von HiOrg-Server bereitgestellten Dienste basieren auf serverseitigen Applikationen. Umso wichtiger ist daher die Auswahl eines geeigneten Rechenzentrums für den reibungslosen Betrieb der zentralen IT-Ressourcen. Die aktuelle Zusammenarbeit mit der Inexio IT und TK GmbH ist im Hinblick auf unsere Standards nicht länger zufriedenstellend.

Wir nutzen das Problem als Chance und stellen HiOrg-Server auf neue, technologisch moderne Beine. Um zukünftig auf eventuelle Störungen der Infrastruktur flexibler reagieren zu können, wird die Anwendung, die bislang “fest” auf mehreren Servern installiert war, derzeit von uns “containerfähig” gemacht. Sobald dies abgeschlossen ist, wollen wir das Produktivsystem auf eine Kubernetes-Umgebung der Ayedo Cloud Solutions GmbH umziehen, die im Rechenzentrum der Hetzner Online GmbH betrieben wird.

Diese Umstellung liegt uns (gerade auch im Hinblick auf die zurückliegenden Störungen) sehr am Herzen. Wir arbeiten mit Hochdruck daran, den Umzug noch in diesem Jahr abschließen zu können.

An dieser Stelle möchten wir uns nochmals ausdrücklich bei allen Nutzern entschuldigen, die in der vergangenen Woche an ihrer Arbeit behindert wurden. Wir sind selbst über den momentanen Zustand verärgert und setzen alles daran, in Zukunft wieder eine deutlich höhere Stabilität halten zu können.

Für Ihre Treue und das Vertrauen in uns und den HiOrg-Server sind wir sehr dankbar. ❤️