Co to jest architektura magazynu danych?
Architektura magazynu danych to projekt, który obejmuje wszystkie aspekty magazynowania danych dla środowiska korporacyjnego.Hurtowni danych jest tworzeniem centralnej domeny do przechowywania złożonych, zdecentralizowanych danych przedsiębiorstwa w jednostce logicznej, która umożliwia eksplorację danych, inteligencję biznesową i ogólny dostęp do wszystkich istotnych danych w organizacji.Architektura hurtowni danych obejmuje wszystkie wymagania dotyczące raportowania, zarządzanie danymi, wymagania dotyczące bezpieczeństwa, wymagania dotyczące szerokości pasma i wymagania dotyczące przechowywania.projekt.Ten projekt należy uznać za niebieski druk architektury danych przedsiębiorstwa.W szczególności należy opracować kilka głównych obszarów, biorąc pod uwagę architekturę magazynu danych.Obszary te to dostęp do systemu źródłowego, proces oceny oceny, proces wzbogacania danych, architektura danych, proces wywiadu biznesowego i wymagania dotyczące przechowywania.
Hurting danych wymaga przeniesienia danych źródłowych z transakcyjnej lub bazy danych w magazynie danych.Proces ten jest uproszczony do terminu transformację i obciążenie wyciągu (ETL), który zasadniczo zawiera obszary dostępu systemu źródłowego, wzbogacania danych i architektury danych.Ze względu na przejrzystość lepiej jest szczegółowo zaprojektować te obszary architektoniczne, co określa, w jaki sposób proces ETL zostanie osiągnięty.Chociaż niektóre dane są wymagane z systemów źródłowych, wszystkie dane nie są pożądane, ponieważ przeciążyłyby magazyn przedsiębiorstwa.Podstawowymi obszarami niepokoju podczas rozwiązywania się z warstwą systemu źródłowego są metodologie dostępu do danych, dane wymagane z systemu źródłowego i wymagania odświeżania.
Kolejna warstwa architektoniczna, którą należy wziąć pod uwagę, jest proces przestrzenki.Ponieważ większość danych z systemów źródłowych będzie wymagała sprawdzania poprawności i oczyszczania danych, ważne jest utworzenie strefy lądowania dla danych źródłowych przed załadowaniem do warstwy reguł biznesowych w magazynie danych.Obszar inscenizacji utrzymuje surowe kanały danych z systemów źródłowych, które są zwykle stemplowane czasowo, aby zapewnić niedawność danych.
Proces wzbogacania danych lub reguł biznesowych jest to, gdzie dane są oczyszczane w celu spełnienia pożądanego wyniku hurtowni danych.Dobrym przykładem tego podejścia do czyszczenia jest użycie narzędzi do czyszczenia adresów;W przypadku, gdy system źródłowy ma nieprawidłowe dane, proces wzbogacania danych uruchomi adres z zestawu danych RAW w system reguł biznesowych, który poprawiłby nieprawidłowe adresy.Jest to również czas, w którym niedokładne dane są usuwane lub modyfikowane, aby zapewnić kompletność w hurtowni danych.
Następna warstwa do rozważenia jest warstwa architektury danych.W tym obszarze jest to, gdzie zakończy się prawdziwy projekt lub schemat magazynu danych przedsiębiorstwa.Hurtowni danych w nie kombinacji wszystkich zestawów danych w przedsiębiorstwie, ale zamiast tego jest to nowo zdefiniowana baza danych zbudowana w celu umożliwienia przeglądu wszystkich podmiotów biznesowych w przedsiębiorstwie.
To wymaga, aby architektura danych odpowiedziała na pytania, które będą postawione przez firmę w dziedzinie wywiadu biznesowego i wydobywania danych.Tworząc architekturę danych w ten sposób, surowe zestawy danych zostaną przekształcone w tabele faktów, które pozwolą użytkownikom wykonywać raportowanie ad-hoc w całym widoku przedsiębiorstwa, a nie określoną bazę danych.Jest to również obszar, który utrzyma metadane dotyczące danych z surowego systemu, który może obejmować nazwę systemu źródłowego lub kluczowe klucze.
Kolejnym obszarem do rozważenia są inteligencja biznesowa i wymagania dotyczące raportowania.Tę warstwę można traktować jako wymaganie dla użytkownika dla magazynowania danych.Zazwyczaj obszar ten zawiera raporty z puszek, możliwości raportowania ad hoc oraz płytki lub alerty Dash Enterprise.Business IntelligencWarstwy E zwykle uzyskują największe rozważenie, ponieważ jest to jedyny komponent skierowany na zewnątrz w hurtowni danych.
Ostatnią warstwą do rozważenia są ogólne wymagania dotyczące przechowywania danych i konserwacja.W miarę wzrostu i rozszerzania się hurtowni danych, przechowywanie danych bazowych użytkowników musi być ściśle zarządzane i utrzymywane.Ponadto, podczas tworzenia architektury hurtowni danych, projekt powinien dokonać realistycznych szacunków co do tego, co będzie wymagane, tworząc pojemność przechowywania danych, a także pasmo z pojemnością dostępu do danych.Wymagania te będą miały kluczowe znaczenie, ponieważ hurtownia danych będzie szeroko stosowana w całym przedsiębiorstwie.