So identifizieren Sie Ihre geschäftskritischen Daten | von Mikkel Dengsøe | Juni 2023

Praktische Schritte zur Identifizierung geschäftskritischer Datenmodelle und Dashboards und zur Stärkung des Vertrauens in Ihre Daten

Dieser Artikel wurde gemeinsam mit geschrieben Lindsay Murphy

Nicht alle Daten sind gleich. Wenn Sie in einem Datenteam arbeiten, wissen Sie, dass Sie bei einem Ausfall eines bestimmten Dashboards alles fallen lassen und sich darauf stürzen, während andere Probleme bis zum Ende der Woche warten können. Dafür gibt es einen guten Grund. Ersteres kann bedeuten, dass Ihrem gesamten Unternehmen Daten fehlen, während Ersteres möglicherweise keine wesentlichen Auswirkungen hat.

Es kann jedoch schwierig sein, den Überblick über alle Ihre geschäftskritischen Daten zu behalten, während Sie Ihr Crew vergrößern und die Anzahl der Datenmodelle und Dashboards erhöhen. Aus diesem Grund passieren Situationen wie diese

„Ich hatte keine Ahnung, dass sich die Finanzabteilung für ihren monatlichen Prüfungsbericht auf dieses Dashboard verlässt.“

oder

„Was zum Teufel, hat unser CEO dieses Dashboard, das ich vor sechs Monaten in aller Eile als einmalige Anfrage erstellt habe, mit einem Lesezeichen versehen?“

In diesem Artikel werden wir darauf eingehen

• Warum Sie Ihre kritischen Datenbestände identifizieren sollten
• So identifizieren Sie kritische Dashboards und Datenmodelle
• Schaffung einer Kultur der Verfügbarkeit kritischer Daten

Wenn Sie Ihre geschäftskritischen Belongings kartiert haben, können Sie einen Finish-Finish-Überblick über Ihren Stack erhalten, der zeigt, welche Datenmodelle oder Dashboards geschäftskritisch sind, wo sie verwendet werden und welchen aktuellen Standing sie haben.

Dies kann auf verschiedene Weise sehr nützlich sein:

• Es kann zu einem wichtigen Teil der Dokumentation werden, der dazu beiträgt, die Ausrichtung im gesamten Unternehmen auf die wichtigsten Datenbestände zu fördern
• Es stärkt das Vertrauen des Datenteams, Änderungen und Aktualisierungen an vorhandenen Modellen oder Funktionen vorzunehmen, ohne befürchten zu müssen, dass im Nachhinein etwas Kritisches kaputt geht
• Es ermöglicht eine bessere Entscheidungsfindung, Geschwindigkeit und Priorisierung, wenn Probleme auftreten
• Es gibt Ihrem Crew die Möglichkeit, mehr Energie auf die äußerst kritischen Belongings zu konzentrieren und einige weniger wichtige Dinge außer Acht zu lassen

In diesem Artikel erfahren Sie, wie Sie Ihre geschäftskritischen Datenmodelle und Dashboards identifizieren. Sie können die meisten dieser Prinzipien auch auf andere Arten von Datenbeständen anwenden, die für Ihr Unternehmen von entscheidender Bedeutung sein können.

Für die Entscheidungsfindung verwendete Daten sind wichtig, und wenn die Daten falsch sind, kann dies zu falschen Entscheidungen und im Laufe der Zeit zu einem Vertrauensverlust in die Daten führen. Aber datenorientierte Unternehmen verfügen über Daten, die wirklich geschäftskritisch sind. Wenn diese Daten falsch oder veraltet sind, gerät es ins Wanken und es hat unmittelbare Auswirkungen auf das Geschäft, wenn Sie sie nicht beheben, z. B. …

• Zehntausende Kunden erhalten möglicherweise die falsche E-Mail, da das Reverse-ETL-Device aus einem veralteten Datenmodell liest
• Sie melden falsche Daten an die Aufsichtsbehörden und Ihre Führungsebene kann persönlich haftbar gemacht werden
• Ihr Prognosemodell läuft nicht und Hunderte von Mitarbeitern im Kundensupport können ihre nächsten Schichtpläne nicht vor den Feiertagen erhalten

Um diese Anwendungsfälle abzubilden, müssen Sie ein tiefes Verständnis dafür haben, wie Ihr Unternehmen funktioniert, was für Ihre Stakeholder am wichtigsten ist und welche potenziellen Auswirkungen die Probleme haben.

Looker stellt Metadaten zur Inhaltsnutzung in vorgefertigten Explores bereit, die Sie mit Ihren eigenen Daten anreichern können, um sie nützlicher zu machen. In den folgenden Beispielen verwenden wir Looker, aber die meisten modernen BI-Instruments ermöglichen in irgendeiner Kind nutzungsbasierte Berichte (Lightdash hat auch eine integrierte Funktion). Nutzungsanalysebietet Tableau Cloud Admin-Einblickeund Modi Discovery-Datenbank bietet Zugriff auf Nutzungsdaten, um nur einige zu nennen).

Wenn Sie mit Ihren Unternehmensleitern sprechen, können Sie Fragen stellen wie:

• Was sind Ihre obersten Prioritäten für die nächsten drei Monate?
• Wie messen Sie den Erfolg für Ihren Bereich?
• Was waren die kritischsten Probleme, die Sie im letzten Jahr hatten?

Ihre Unternehmensleiter wissen vielleicht nicht, dass der Grund dafür, dass die durchschnittliche Reaktionszeit des Kundensupports über Weihnachten von zwei Stunden auf 24 Stunden gestiegen ist, auf einen Prognosefehler aufgrund veralteter Upstream-Daten zurückzuführen ist, aber sie werden Ihnen die schmerzhafte Erfahrung beschreiben. Wenn Sie die kritischsten Vorgänge und Arbeitsabläufe abbilden und verstehen, wie Daten verwendet werden, können Sie damit beginnen, die wirklich geschäftskritischen Daten aufzudecken.

Die offensichtlichsten und wichtigsten Dashboards sind diejenigen, die jeder im Unternehmen nutzt. Die meisten davon kennen Sie vielleicht bereits, etwa „Unternehmensweite KPIs“, „Produktnutzungs-Dashboards“ oder „Kundenservice-Kennzahlen“. Aber manchmal werden Sie überrascht sein, wenn Sie feststellen, dass Dutzende von Menschen sich auf Dashboards verlassen, von deren Existenz Sie gar nichts wussten.

In den meisten Fällen sollten Sie nach aktueller Nutzung filtern, um Dashboards auszuschließen, die vor sechs Monaten viele Benutzer, aber im letzten Monat keine Nutzung hatten. Es gibt Ausnahmen, wie zum Beispiel ein vierteljährliches OKR-Dashboard, das nur alle drei Monate verwendet wird.

Ob es Ihnen gefällt oder nicht, wenn Ihr CEO regelmäßig ein Dashboard verwendet, ist es wichtig, auch wenn es nur eine Handvoll anderer Benutzer gibt. Im schlimmsten Fall stellen Sie fest, dass ein Mitglied der C-Suite seit Monaten ein Dashboard mit falschen Daten verwendet, ohne dass Sie eine Ahnung von der Existenz dieses Dashboards haben.

„Wir haben herausgefunden, dass unser CEO eine täglich zugestellte E-Mail mit einem Umsatzbericht genau betrachtete, diese jedoch falsch gefiltert conflict, um ein bestimmtes Section einzubeziehen, sodass sie nicht mit dem zentralen KPI-Dashboard des Unternehmens übereinstimmte.“ – Kanadisches Gesundheits-Startup

Wenn Sie über ein Mitarbeiteraufzeichnungssystem verfügen, können Sie möglicherweise problemlos Identifikatoren für die Titel von Personen abrufen und Ihre Nutzungsdaten damit anreichern. Wenn nicht, können Sie eine manuelle Zuordnung dieser Daten pflegen und diese aktualisieren, wenn sich das Führungsteam ändert.

Während die Nutzung nach Dienstalter stark mit der Wichtigkeit korreliert, sollte Ihre erste Priorität darin bestehen, die geschäftskritischen Anwendungsfälle abzubilden. Beispielsweise verfügt ein größeres Fintech-Unternehmen über ein Dashboard, das der Leiter des Regulatory Reporting nutzt, um wichtige Informationen mit den Aufsichtsbehörden zu teilen. Die Genauigkeit dieser Daten kann für Ihren CEO von größerer Bedeutung sein als das Dashboard, das er täglich betrachtet.

Da viele DBT-Projekte Hunderte oder Tausende von Datenmodellen umfassen, ist es wichtig zu wissen, welche geschäftskritisch sind, damit Sie wissen, wann Sie einen Lauf oder einen Testfehler priorisieren oder besonders robuste Exams erstellen sollten.

Sie verfügen wahrscheinlich über eine Reihe von Datenmodellen, bei denen alles andere verzögert oder beeinträchtigt wird, wenn sie kaputt gehen. Dies sind typischerweise Modelle, von denen alles andere abhängt, wie z customers, orders oder transactions.

Welche das sind, wissen Sie vielleicht schon. Wenn nicht, können Sie auch die verwenden manifest.json Datei, die dbt als Teil der Artefakte bei jedem Aufruf erzeugt und die depends_on Eigenschaft für jeden Knoten, um alle Ihre Modelle zu durchlaufen und die Gesamtzahl der von ihnen abhängigen Modelle zu zählen.

In den meisten Fällen finden Sie eine Handvoll Modelle mit unverhältnismäßig vielen Abhängigkeiten. Diese sollten als kritisch markiert werden.

Datenmodelle sind für sich genommen selten von entscheidender Bedeutung, meist jedoch aufgrund der Bedeutung ihrer nachgelagerten Abhängigkeit, z. B. eines wichtigen Dashboards oder eines Modells für maschinelles Lernen, das dazu verwendet wird, Benutzern auf Ihrer Web site Empfehlungen zu geben

Sobald Sie die harte Arbeit geleistet haben, Ihre geschäftskritischen Downstream-Abhängigkeiten und Anwendungsfälle zu identifizieren, können Sie Exposures in dbt verwenden, um diese manuell abzubilden, oder ein Device verwenden, das Ihre Abstammung automatisch über Instruments hinweg verbindet.

Alles, was einer kritischen Anlage vorgelagert ist, sollte als kritisch oder auf dem kritischen Pfad markiert werden.

Automatisieren Sie die Kennzeichnung Ihrer kritischen Datenmodelle so weit wie möglich. Zum Beispiel:

• Verwenden Check-Model-Tags von dem vorab festlegen dbt-Paket, um zu erzwingen, dass jedes Datenmodell über ein Kritikalitäts-Tag verfügt
• Erstellen Sie ein Skript oder verwenden Sie es ein Werkzeugdas fügt automatisch a hinzu critical-path Tag für alle Modelle, die einem geschäftskritischen Asset vorgeschaltet sind

Es gibt keine allgemeingültige Antwort auf die Definition von Kritikalität, aber Sie sollten sich zwei Fragen stellen

1. Welche Pläne haben Sie für einen anderen Umgang mit kritischen Datenbeständen?
2. Wie können Sie eine konsistente Definition aller wichtigen Punkte aufrechterhalten, sodass alle auf dem gleichen Stand sind?

Die meisten Unternehmen verwenden einen abgestuften Ansatz (z. B. Bronze, Silber, Gold) oder einen binären Ansatz (z. B. kritisch, nicht kritisch). Beide Optionen können funktionieren und die beste Lösung hängt von Ihrer State of affairs ab.

Sie sollten bei der Definition von Kritikalität konsistent sein und diese als Teil Ihrer Bewertung aufschreiben Onboarding für Neueinsteiger und vermeiden Sie es, dies zu verschieben. Die Definition von Tiering könnte beispielsweise lauten

• Stufe 1: Datenmodell, das von einem maschinellen Lernsystem verwendet wird, um zu bestimmen, welche Benutzer sich für Ihr Produkt anmelden dürfen
• Rang 2: Dashboard, das vom CMO für die wöchentliche Marketingüberprüfung verwendet wird
• Stufe 3: Dashboard, das Ihr Produktmanager verwendet, um die monatliche Produktinteraktion zu verfolgen

Wenn Sie Ihre Belongings nicht regelmäßig aktualisieren und mit Tags versehen, führt dies zu mangelndem Vertrauen und der Annahme, dass Sie sich nicht auf die Definition verlassen können.

Es gibt nicht den richtigen Ort, um die Kritikalität zu definieren, aber am häufigsten erfolgt dies entweder in dem Device, mit dem Sie das Datenasset erstellen, oder in einem Datenkatalog wie Secoda.

In dbt können Sie Ihre Kritikalitätsdefinitionen neben Ihrer Datenmodelldefinition in Ihrer .yml-Datei behalten. Dies hat mehrere Vorteile, wie z. B. die Möglichkeit, die Kritikalität beim Zusammenführen einer PR durchzusetzen oder diese Informationen einfach über Instruments wie einen Datenkatalog oder ein Observability-Device zu übertragen

fashions:
- title: fct_orders 
description: All orders        
meta:
criticality: excessive

Beispiel für die Definition der Kritikalität in einer .yml-Datei

In BI-Instruments besteht eine Möglichkeit, die es für alle clear macht, darin, den Titel eines Dashboards zu kennzeichnen, z. B. „Stufe 1” um anzuzeigen, dass es kritisch ist. Diese Daten können normalerweise extrahiert und in anderen Instruments verwendet werden.

In einem Datenkatalog können Sie problemlos auf alle Ihre Unternehmensdaten zugreifen und Antworten auf häufige Fragen finden, indem Sie Ihren Stapel durchsuchen, was die Ausrichtung auf Metriken und Modelle erleichtert

Die Kartierung Ihrer geschäftskritischen Vermögenswerte wird sich nur dann auszahlen, wenn Sie dadurch anders handeln. Hier sind einige Prozesse, mit denen Sie Qualität durch Design einbauen können.

Dashboards:

• Tier-1-Dashboards benötigen einen Codeprüfer, bevor sie in die Produktion übertragen werden
• Dashboards der Stufe 1 sollten sich an bestimmte Leistungsmetriken rund um die Ladezeit halten und über ein einheitliches visuelles Structure verfügen
• Die Nutzung von Tier-1-Dashboards sollte monatlich vom Eigentümer überwacht werden

Datenmodelle:

• Check- oder Lauffehler bei kritischen Datenmodellen sollten noch am selben Tag behoben werden
• Probleme mit kritischen Datenmodellen sollten an PagerDuty (ein Mitglied des Bereitschaftsteams) gesendet werden, damit schnell darauf reagiert werden kann
• Für kritische Datenmodelle sollten mindestens eindeutige und keine Nulltests sowie ein Eigentümer definiert sein

Weitere Informationen zum Vorgehen bei Datenproblemen finden Sie in unserem Leitfaden Entwerfen von Schweregraden für Datenprobleme

Wenn Sie Ihre geschäftskritischen Datenbestände identifizieren und zuordnen, können Sie schneller auf wichtige Probleme reagieren und gezielt entscheiden, wo Sie qualitativ hochwertige Datenbestände aufbauen.

• Um geschäftskritische Dashboards zu identifizieren, betrachten Sie zunächst Ihre Geschäftsanwendungsfälle. Berücksichtigen Sie dann Nutzungsdaten wie die Anzahl der Benutzer oder ob jemand aus der Führungsebene ein Dashboard verwendet
• Geschäftskritische Datenmodelle weisen häufig viele nachgelagerte Abhängigkeiten und/oder kritische nachgelagerte Abhängigkeiten auf
• Definieren Sie die Kritikalität entweder direkt in den Instruments, in denen Sie die Datenbestände erstellen, oder verwenden Sie einen Datenkatalog
• Machen Sie deutlich, wie Sie bei Problemen im Zusammenhang mit geschäftskritischen Vermögenswerten vorgehen, und führen Sie Verfahren zur Gebäudequalität durch Design ein