Spis lekcji:
Transformacje i filtrowanie danych
Przepływ danych w datastage w wielu przypadkach ma następujący przebieg:
ŹRÓDŁO DANYCH -> WALIDACJA CZYSZCZENIE KOREKTA DANYCH -> MAPOWANIE -> DOCELOWA BAZA DANYCH
W datastage część druga procesu - czyli walidacja, czyszczenie i korekta danych - jest realizowana za pomocą stage o nazwie transformer. Transformer jest używany do zarządzania przepływem danych, w transformerze odbywa się konwersja, mapowanie, walidacje i przekazywanie danych według określonych warunków. Transforme nie jest odpowiedzialny za ekstrakcję czy zapisywanie danych do systemu docelowego.
Transformer może mieć dowolną ilość linków wejściowych i wyjściowych. Linki wejściowe w przypadku transformera dzielą się na pierwotne (primary link) i referencyjne (reference link) i datastage pozwala na dowolność ilość referencyjnych linków, ale tylko jeden link pierwotny.
W przetwarzaniu przedstawionym poniżej, odpowiedzialnym za ładowanie klientów do hurtowni danych, został zaimplementowany typowy przepływ danych datastage.
Dane są pobierane ze źródła ODBC, następnie filtrowane, walidowane i poprawiane w transformerze. Odrzucone rekordy (czyli te, które nie przeszły walidacji), trafiają do pliku tekstowego. W drugim transformerze wyszukuje kraj klienta w pliku haszującym. W ostatniej fazie przetwarzania dane trafiają do bazy danych Oracle.
