Datenreorganisation Datenloeschung
IN ARBEIT ENTWURF
Einleitung
Immer wieder treten Kunden an uns heran mit der Frage, wie Sie alte Stammdaten (in erster Linie Firmen, Fahrzeuge, Fahrer und Ausweise) im Autopoll pflegen bzw. löschen können. Die Beweggründe dazu sind verständlich und vielfältig (z.B. Datenschutzgrundverordnung, Performanceprobleme oder Mitarbeiterwechsel). Mit dieser Dokumentation wollen wir uns diesem wichtigen Thema aus Sicht von Autopoll nähern. Bevor wir uns aber um die Autopoll Funktionen zur Datenpflege im Detail kümmern, folgen zuerst wichtige Grundsatzinformationen, um später die Autopoll Funktionen und Methoden besser verstehen zu können.
Prinzip der relationalen Datenbankstruktur
Unabhängig von der beim Kunden im Einsatz befindlichen Autopoll Version (wir sprechen dabei von Autopoll Versionen >= V3) handelt es sich bei Autopoll um eine relationale Datenstruktur. D.h. alle Daten werden nur einmal in der Datenbank gespeichert und wenn nötig miteinander über interne Schlüssel verknüpft.
Vorteile
- Keine Mehrfach-Speicherungen der selben Inhalte
- Änderungen müssen nur an einer Stelle vorgenommen werden
- weniger Speicherplatz
- schnellere Datenermittlung und Datenverarbeitung
Nachteile
- Beim Löschen muss darauf geachtet werden, dass keine Datentrümmer übrig bleiben. D.h. es sollte keinen internen Schlüssel als Verknüpfung geben, der in der Ursprungstabelle nicht mehr vorhanden ist
- das Löschen von Daten geht nur, wenn keine verknüpften bzw. abhängige Daten vorhanden sind.
Beispiel 1
Neuanlage der Firma mit der Nummer 1. Diese erhält einen internen Firmenschlüssel (z.B. 4711), der nicht sichtbar ist. Danach wird ein Fahrzeug angelegt mit der Nummer 200 und der Firma 1 zugeordnet. In diesem Fall bekommt das Fahrzeug einen eigenen internen Fahrzeugschlüssel (z.B. 15123) und damit nicht alle Firmendaten mit dazu gespeichert werden müssen und somit doppelt vorkommen, wird dem Fahrzeug nur der interne Firmenschlüssel 4711 zugeordnet.
Beispiel 2
Mit einem Ausweis, der dem oben genannten Fahrzeug mit der Nummer 200 zugeordnet ist, wurde getankt und die Tankung wurde vom Tankautomaten abegrufen. Nach dem Abruf der Tankung wird die Zuordnung gestartet. Dabei wird kontrolliert welcher Ausweis getankt hat und welches Fahrzeug bzw. welcher Fahrer im Autopoll diesem Ausweis hinterlegt ist. In unserem Fall dem Fahrzeug 200. Die Tankung wird im Autopoll gespeichert, aber anstatt alle Firmen- und Fahrzeugdaten mit der Tankung zusammen abzuspeichern, erhält die Tankung nur den internen Firmenschlüssel (4711) und den internen Fahrzeugschlüssel (15123).
Beispiel 3
Unterhalb der Firma 1 wird eine neue Kostenstelle angelegt, z.B. 1000 PKW. Diese erhält einen internen Kostenstellenschlüssel (z.B. 234567) und wird automatisch der Firma 1 zugeordnet, d.h. die Kostenstelle erhält auch den internen Firmenschlüssel 4711 anstatt aller Firmendaten. Danach wird ein neues Fahrzeug 201 angelegt, welches auch einen neuen internen Schlüssel erhält (z.B. 15289). Das Fahrzeug 201 wird der Firma 1 zugeordnet und erhält dadurch den internen Firmenschlüssel 4711 zugewiesen. Da der interne Firmenschlüssel des Fahrzeuges 201 und der Kostenstelle 1000 PKW die selben sind, kann dem Fahrzeug 201 diese Kostenstelle zugeordnet werden. Das Fahrzeug 201 erhält dadurch den internen Kostenstellenschlüssel 234567 zugewiesen.
Daten löschen oder Daten umorganisieren ?
Wir von Autopoll sind nur in Ausnahmefällen für das Löschen von Daten, wenn es z.B. Performanceprobleme wegen der Datenbankgrösse gibt. In dieser Dokumentation geht es aber um unsere Kunden und deren Wunsch Daten zu pflegen bzw. zu löschen.
Daten löschen in Autopoll allgemein
Es wird generell empfohlen vor der Datenpflege eine Autopoll Datensicherung zu erstellen, für den Fall, dass bei der Datenpflege etwas schief geht, kann man je nach Situation entweder die Datensicherung rücksichern oder Daten aus der Datensicherung in die dann aktuelle Datenbank einfügen.
Das Löschen von Daten in einer relationalen Datenbank funktioniert nur dann, wenn es keine abhängigen Daten zum löschenden Datensatz gibt. Es gilt das Prinzip wie in der Buchhaltung: "Ein Konto kann erst dann gelöscht werden, wenn alle Buchungen entfernt wurden."
Wenn Tankungen oder Waschungen von einzelnen Firmen, Fahrzeugen oder Fahrern mittendrin gelöscht werden, d.h. nicht über die Autopoll Funktionen, die später erklärt werden, führt dies zu zwei Problemen:
1. Datentechnisch können die getankten Mengen nach der Löschung nicht mehr bei der Berechnung der Tankbestände (letzter Bestand bzw Peilung + Lieferungen - Abgänge) als Abgänge berücksichtigt, d.h. die Bestände in den Zeiträumen der Löschungen sind falsch
2. Die Vorgänge der Tankautomaten sind fortlaufend. Nach dem Löschen von Tankdaten oder Waschungen gibt es Vorgangslücken, die bei Prüfungen zu erklären sind.
Firmen
Eine Firma kann in Autopoll nur dann gelöscht werden, wenn es keine Tankungen, Waschungen und andere Buchungen gibt, die der Firma zugeordnet sind.
Fahrzeuge
Ein Fahrzeug kann in Autopoll nur dann gelöscht werden, wenn es keine Tankungen, Waschungen und andere Buchungen gibt, die dem Fahrzeug zugeordnet sind.
Fahrer
Ein Fahrer kann in Autopoll nur dann gelöscht werden, wenn es keine Tankungen, Waschungen und andere Buchungen gibt, die dem Fahrer zugeordnet sind.
Ausweise
Ausweise dienen zur Authorisierung von Tankungen oder Waschungen am Tankautomaten und wenn im Autopoll ein Fahrzeug oder ein Fahrer zugeordnet sind, dienen Ausweise dazu Tankungen oder Waschungen weiterverarbeitbar zu machen. Da Ausweise, wenn diese nicht physikalisch defekt sind oder alle Ausweise ausgetauscht werden, immer wieder neuen Fahrzeugen/Fahrer zugeordnet werden können, ist eine Löschung nicht notwendig. Es reicht normaler Weise die Sperrung/Freigabe und/oder Abhängen/Zuordnen von Fahrzeugen oder Fahrern.
Will man trotzallem einen Ausweis löschen, so kann man dies über Daten-Ausweise-Einzelausweise auf dem normalen Weg tun. Der gelöschte Ausweis wird nach der Löschaktion rot dargestellt und verschwindet endgültig aus der Ausweisliste wenn an alle Tankautomaten alle Ausweise gesendet wurden.
Empfohlener Lösch- bzw Pflegeablauf
Der folgende Ablauf ist nur Text mit Erklärungen. Die einzelnen Funktionen werden weiter unten oder in separaten Dokumentationen erklärt. Bitte lesen Sie den Ablauf einmal komplett durch bevor Sie tätig werden. Uns ist es wichtig, dass der Vorgang der Datenpflege bzw. Datenlöschung nicht leichtfertig ohne vorherige Überlegungen durchgeführt wird. Sind die Daten einmal gelöscht, wird es schwierig und aufwendig diese wiederherzustellen falls was schiefgelaufen ist oder falsch gemacht wurde.
Deshalb erneut unsere Bitte, kontaktieren Sie die Autopoll Hotline im Vorfeld der Datenpflege bzw. Datenlöschung, um Ihr Vorgehen abzusprechen.
Wie bei einer Faktura sollte man alle normalen Tätigkeiten in Autopoll abschliessen, laufende Scheduler deaktivieren (bitte nach der erfolgreichen Datenpflege nicht vergessen den Scheduler wieder zu aktivieren) und dann nichts anderes in Autopoll tun, als den folgenden Ablauf. Damit stellt man sicher, dass bei einem Fehler die in Schritt 1 gemachte Datensicherung ohne Datenverluste wieder zurückgesichert werden kann. Andernfalls wird es aufwendig die fehlenden Daten aus der Datensicherung Schritt 1 wieder in die aktuelle Datenbank einzubauen.
Schritt 1 Datensicherung
Erstellen einer Autopoll Datensicherung.
Schritt 2 Löschversuch 1
Versuch die Firma, das Fahrzeug oder den Fahrer auf dem Weg über Daten-Firmen, Daten-Fahrzeuge oder Daten-Fahrer zu löschen.
Mögliches Ergebnis 1: Die Firma, das Fahrzeug oder der Fahrer lässt sich ohne Hinweis löschen. Dann entfallen die nächsten Schritte
Mögliches Ergebnis 2: Es wird ein Hinweis bei einer Firmen Löschung
oder zwei Hinweise bei einer Fahrzeug Löschung eingeblendet, die das Nicht-Löschen begründen.
Die folgenden Schritte sind abzuhandeln, wenn weiterhin gelöscht werden soll.
Schritt 3 Welche Daten sollen in der Datenbank verbleiben ?
Da die Löschung von vereinzelten Tankdaten die oben genannten Probleme verursacht, kann nur versucht werden die entsprechenden Firmen, Fahrzeuge oder Fahrer zu löschen, wenn vorher Tankungen, Waschungen und andere Buchungen über einen vergangenen Zeitraum (Jahr) komplett gelöscht werden. D.h an dieser Stelle muss der Kunde entscheiden welche Daten (Jahre) im aktuellen Autopoll verbleiben sollen und welche Vorjahre gelöscht werden sollen/können.
Zum Beispiel: In der Kundendatenbank befinden sich Tankdaten seit dem 01.01.2003. Der Kunde beschliesst die letzten beiden und das aktuelle Jahr zu behalten. D.h. alles vor dem 01.01.2019 kann gelöscht werden.
Schritt 4 Datensicherung
Erstellen einer Autopoll Datensicherung. Diese enthält dann alle Tankdaten, Waschungen, andere Buchungen und Lagerbewegungen. Am besten sichert man diese Datensicherung separat und übergibt Autopoll eine Kopie dieser Datensicherung. Sollte man nach der Löschaktion Daten aus dem gelöschten Zeitraum benötigen, kann Autopoll auf seinen Rechnern ein Testsystem aufbauen, die übergebene Datensicherung mit allen Daten einspielen und daraus die gewünschten Daten für den Kunden extrahieren. Wenn der Kunde dies bei sich auf dem aktiven Autopoll-PC durchführt, kann es unter Umständen zu Datenverlusten führen, wenn zum Beispiel aktuelle Tankdaten vom Tankautomaten abgerufen werden während die rückgesicherte Datensicherung gerade aktiv ist.
Schritt 5 Daten löschen (Reorganisation)
Mit dieser Autopoll Funktion kann, nach Auswahl des Löschzeitraumes, die Löschung aller Trasnaktionen (Tankdaten, Waschungen, andere Buchungen und Lagerbewegungen) durchgeführt werden. Dabei werden nicht nur die Transaktionen gelöscht, sondern auch die Bestände für den ersten Tag nach der gelöschten Periode berechnet und gespeichert.
Schritt 6 Datenbank Reorganisation
Nachdem die Transaktionen für den vorher ausgewählten Zeitraum unter Schritt 5 gelöscht wurden, befinden sich diese Daten nicht mehr in der Datenbank. Aber die Datenbank beinhaltet noch die "leeren" Stellen an denen diese Daten gespeichert waren. Damit diese "leeren" Stellen aus der Datenbank verschwinden und somit die Datenbank kleiner wird, muss eine Datenbank Reorganisation durchgeführt werden. Dabei wird zuerst eine normale Datensicherung erstellt, die dann sofort wieder rückgesichert wird. Bei diesen Vorgängen werden die bestehenden Daten zusammengeschoben und die "leeren" Stellen entfernt.
Schritt 7 Löschversuch 2
Erneuter Versuch die Firma, das Fahrzeug oder den Fahrer auf dem Weg über Daten-Firmen, Daten-Fahrzeuge oder Daten-Fahrer zu löschen.
Mögliches Ergebnis 1: Die Firma, das Fahrzeug oder der Fahrer lässt sich ohne Hinweis löschen. Dann entfallen die nächsten Schritte
Mögliches Ergebnis 2: Die Firma, das Fahrzeug oder der Fahrer lässt sich wiederum nicht löschen. Die folgenden Schritte sind abzuhandeln, wenn weiterhin gelöscht werden soll.
Schritt 8 Noch mehr alte Daten (Jahre) löschen ?
Sollte sich, nach dem 2.Löschversuch in Schritt 7, herausstellen, dass zu viele Jahre im aktuellen Datenbestand sind und darum Daten nicht gelöscht werden können, kann man Schritt 5, 6 und 7 wiederholen mit einem neuen Zeitraum der auch gelöscht werden soll. Z.B. man löscht auch das Jahr 2019.
Schritt 9 Daten umorganisieren
Können die entsprechenden Daten danach immer noch nicht gelöscht werden, hilft nur noch die Umorganisation der Daten. In den meisten Fällen sprechen wir bei einer Umorganisation in Autopoll von der Umnummerierung und/oder Umbenamung von Firmen, Fahrzeugen und Fahrern. Beides führt dazu, dass die "alten" und "inaktiven" Firmen, Fahrzeuge und/oder Fahrer zwar immer noch im Datenbestand verbleiben, aber in den Listen und Auswahllisten zusammen am Ende auftauchen. Es wird davon abgeraten eine separate Firma anzulegen und alle inaktiven Fahrzeuge und/oder Fahrer dieser Firma zuzuordnen. Dies widerspricht dem oben erklärten Prinzip der relationalen Datenbankstruktur gerade im Bereich der Transaktionen. Details hierzu unter Fahrzeug Verkauf bzw. Verschrottung.
Umnummerierung
Die reine Umnummerierung hat die Vorteile, dass man, nach der Wahl eines Nummernbereiches für inaktive Daten (z.B. ab 990000), die Stammdatenlisten nach Nummern sortieren kann und dann die inaktiven Daten am Ende der Liste stehen und, dass man die Nummern im aktiven Bereich immer wieder verwenden kann (z.B. wenn es eine 1:1 Beziehung zwischen Ausweisnummer und Fahrzeugnummer gibt und/oder die Fahrzeugnummer auf den Ausweis gelasert wurde). Der Nachteil bei der Umnummerierung ist, dass bei der Neuanlage immer der höchste Wert plus 1 vorgeschlagen wird, d.h. eigentlich aus dem inaktiven Nummernbereich. Das bedeutet, dass man vor der Neuanlage eine freie Nummer aus dem aktiven Nummernbereich raussuchen muss, die man dann bei der Neuanlage verwenden möchte.
Umbenamung
Mit Umbenamung ist im eigentlichen Sinne eine Ergänzung des bestehenden Namens oder Fahrzeugkennzeichens gemeint, sodass bei einer alphabetischen Sortierung die inaktiven Stammdaten am Ende der Liste erscheinen bzw. sofort erkennbar ist was inaktiv ist. Z.B. das Fahrzeugkennzeichen AA-BB 1234 wird um _ALT1 erweitert oder die Firma Meier GmbH wird am Anfang um XXX_ ergänzt.
Bei Fahrzeugen ist dies aus datenschutztechnischen Gründen ohne Weiteres machbar, da das Fahrzeugkennzeichen ein öffentlicher Wert ist. Details dazu weiter unten bei Autopoll Methoden.
Bei Firmen und Fahrern ist es etwas komplizierter. Immerhin handelt es sich bei einer Tankung um einen buchhalterischen und steuerrechtlichen Vorgang. Aufbewahrungsfristen gegenüber den Finanzbehörden sind hierbei auch zu beachten. Deshalb sind wir seitens Autopoll gegen eine Anonymisierung von Firmen und Fahrern durch Ersetzen der Namen durch Dummys im aktuellen Datenbestand.
Methoden und Funktionen in Autopoll
Schritt 5 Daten löschen (Reorganisation)
Bitte lesen Sie hierzu die separate Dokumentation Daten löschen (Reorganisation).
Schritt 6 Datenbank Reorganisation
Bitte lesen Sie hierzu die separate Dokumentation Datenbankreorganisation.
Schritt 9 Daten umorganisieren
Bitte lesen Sie hierzu die separate Dokumentation Fahrzeug Verkauf bzw. Verschrottung.
Inaktive Fahrzeuge (inkl. Fahrzeuge und Ausweise löschen)
Bitte lesen Sie hierzu die separate Dokumentation Inaktive Fahrzeuge.
Hinweis
Wir empfehlen in jedem Fall, bevor Kunden mit der Datenpflege beginnen, sich kurz mit der Autopoll Hotline in Verbindung zu setzen und das Vorhaben und das Vorgehen abzusprechen, damit das Resultat der Pflegeaktionen auch dem entspricht, was der Kunde sich vorgestellt hat.