Implementacja SCD Typu 1 w Datastage

ETL-Tools.Info

ETL Tools in English

Business Intelligence - Hurtownie Danych - ETL

Spis lekcji:

Lekcja 1. Moduły Datastage

Lekcja 2. Projektowanie jobów - datastage palette

Lekcja 3. Ekstrakcja i ładowanie danych - stage ODBC i ORACLE

Lekcja 4. Ekstrakcja i ładowanie danych - pliki tekstowe

Lekcja 5. Transformacje i filtrowanie danych

Lekcja 6. Łączenie i wyszukiwanie danych w Datastage

Lekcja 7. Implementacja procesu etl w datastage

Lekcja 8. Wymiary wolno zmienne - SCD

Lekcja 9. Rozwiązania rzeczywistych problemów w Datastage

SCD - Typ 2

SCD - Typ 3 i 4

SCD Typu 1

Z wymiarem SCD Typu 1 mamy do czynienia wtedy, gdy w bazie danych nie jest przechowywana historia zmian. Istniejące dane są nadpisane nowymi danymi. To podejście jest stosowane w sytuacjach, gdy zmiana danych jest spowodowana ich korektą lub jest wynikiem czyszczenia danych (przykładowo literówki, konsolidacja danych, wycinanie niepotrzebnych spacji, znaków specjalnych, itp.).
Wymiar ten jest łatwy w utrzymaniu i implementacji i jest używany wtedy, gdy utrata możliwości śledzenia zmian nie jest problemem..

Implementacja SCD 1 w Datastage

Job opisany i przedstawiony poniżej pokazuje jak zaimplementować wolno zmieniające się wymiary (SCD) typu 1 w Datastage. Jest to jedna z wielu możliwych architektur pozwalających na zaimplementowanie tego zagadnienia. Poniższy przykład bazuje na jobie ładującym klientów do hurtowni danych.

SCD1 architektura

Job o nazwie CUST_SCD2 jest odpowiedzialny za zarządzanie zmiennością wymiarów. Należy zwrócić szczególną uwagę na:

Plik haszowany (Hash_NewCust), który pobiera nowe dane pochodzące z pliku tekstowego.

Transformer T001_Lookups wyszukuje dane w pliku hashed i mapuje nowe i stare wartości na osobne kolumny.

SCD1 mapowanie

Transformer T002 nadpisuje stare wartości nowymi

SCD1 nadpisanie wartosci

Stage ODBC jest odpowiedzialny za uaktualnienie bazy danych (użyta jest metoda aktualnizacji 'update existing rows’, czyli zaktualizuj istniejące wiersze)