Przykłady procesów ETL zarządzających zasilaniem hurtowni danych

Sekcja Szkolenie ETL zawiera przykładowe procesy ETL, które odpowiedzialne są za zarządzanie hurtownią danych i praktyczną implementacją szerokiej gamy zagadnień Business Intelligence.

Posługując się przenośnią, moduł ten często jest nazywany "książką kucharską ETL", która zawiera przepisy na rozwiązanie problemów przed którymi staje każdy projektant czy architekt hurtowni danych, podobnie jak kucharz przed nowym daniem.

Naszym celem jest pokazanie i analiza najczęściej spotykanych problemów występujących przy projektowaniu procesu przetwarzania danych w organizacji, zebranych w scenariusze biznesowe.
Na naszych stronach staramy się proponować optymalne rozwiązania dla każdego ze scenariuszy i pokazać jak można podejść do rozwiązania tych problemów przy pomocy różnych aplikacji ETL i środowisk hurtowni danych. Analiza przykładowych scenariuszy biznesowych proponowanych przez nas jest równocześnie dobrym sposobem pozwalającym na porównanie różnych narzędzi i aplikacji BI i zrozumienie podejścia do przetwarzania danych proponowanego przez różnych producentów rozwiązań business intelligence.
Dzięki temu rozdział "Szkolenie ETL" daje również możliwość porównania różnych narzędzi ETL i zidentyfikowania mocnych i słabych stron tych środowisk.

Przykładowe scenariusze ETL oparte na rzeczywistych CASE'ach:
  • Testy jakości danych - przykład czyszczenia danych i implementacji testów jakości w ładowaniu hurtowni danych
  • Przetwarzanie pliku o strukturze blokowej - ładowanie ekstraktu systemu żródłowego o strukturze blokowej, zawierającego bloki danych składające się z nagłówka, szczegółów i podsumowania (stopki). Ten typ plików generowany jest z reguły przez systemy klasy mainframe, tego typu struktura wystąpuje też np. w plikach EDI i EPIC.
  • Ładowanie ekstraktu - ekstrakt z danymi o klientach systemu źródłowego umieszczony jest na serwerze FTP. Proces przetwarzania powinien skopiować ten plik na serwer ETL i załadować do hurtowni danych. Dane przechodzą transformacje i aplikowane są na nich reguły biznesowe.
  • Generowanie kluczy technicznych (hurtownianych, zastępczych). Lekcja ta zawiera szczegółowe informacje o kluczach biznesowych (naturalnych, natywnych, kluczy systemu źródłowego) i pokazuje jak zarządzać tymi kluczami w hurtowni danych.
  • Hurtownia Danych statystyk WWW - przykład architektury hurtowni danych i przetwarzania ETL, które służą do monitorowania ruchu na portalu WWW za pomocą raportów i aplikacji analitycznych OLAP.

    Pozostałe implementacje procesu ETL i przykłady hurtowni danych dostępne są w języku angielskim na stronach naszego portalu


    • Równocześnie chcielibyśmy zachęcić naszych czytelników do aktywnego udziału w tworzeniu artykułów portalu ETL-Tools.info i dzielenia się z nami swoimi spostrzeżeniami. Szczegóły dotyczące kontaktu z nami zawarte są w sekcji Linki.