Spis lekcji:

  • Lekcja 1. Moduły Datastage
  • Lekcja 2. Projektowanie jobów - datastage palette
  • Lekcja 3. Ekstrakcja i ładowanie danych - stage ODBC i ORACLE
  • Lekcja 4. Ekstrakcja i ładowanie danych - pliki tekstowe
  • Lekcja 5. Transformacje i filtrowanie danych
  • Lekcja 6. Łączenie i wyszukiwanie danych w Datastage
  • Lekcja 7. Implementacja procesu etl w datastage
  • Lekcja 8. Wymiary wolno zmienne - SCD
  • Lekcja 9. Rozwiązania rzeczywistych problemów w Datastage

    • SCD - Typ 1SCD - Typ 2

    SCD Typu 3

    W wymiarze SCD Typu 3 przechowywana jest informacja o poprzedniej wartości rekordu w bazie danych. W tabeli wymiarów tworzy się z reguły kolumnę 'wartosc_poprzednia', która przechowuje wartość zmiennej przed uaktualnieniem. Rozwiązanie to jest szybkie, ponieważ można szybko odpowiedzieć na pytanie jaka była wartość zmiennej przed i po zmianie.
    Jednak w wymiarze typu 3 nie można śledzić wszystkich zmian historycznych, np. wtedy, gdy wartość wymiaru zmienia się dwa lub więcej razy. W tym momencie trzebaby utworzyć kolejne kolumny, co może skomplikować znacznie architekturę bazy danych.

    Aby zaimplementować trzeci wymiar zmienny w Datastage można użyć podobnego przetwarzania jak w przykładzie dla SCD2, jedynie zmieniając stage docelowe tak, by stara wartość była nadpisywana nową i aktualizowane było pole wartosc_poprzednia.

    SCD Typu 4

    Koncepcja wymiaru SCD Typu 4 polega na tym, że tworzy się nową tabelę danych w hurtowni danych do przechowywania historii dla każdego z wymiarów.

    Aby zaimplementować czwarty wymiar zmienny w Datastage można użyć podobnego przetwarzania jak w przykładzie dla SCD2, jedynie zmieniając stage docelowe tak, by podłączyć nową tabelę historyczną (przykładowo o nazwie D_CUSTOMER_HIST) do transformera i zaktualizować odpowiednio stare wartości nowymi.