Ekstrakcja, transformacja i ładowanie danych – ETL, SSIS, DTSX

Ilość uczniów: 7

Ten kompletny kurs przeznaczony jest dla osób z doświadczeniem, które znają już SQL Server oraz języki SQL i T-SQL. Zakres tego kursu pozwoli na poznanie zaawansowanych możliwości dotyczących przetwarzania danych, czyli procesów ETL (Extract, Transform and Load), a więc pokazuję dosłownie KROK PO KROKU: ekstrakcję danych, transformację danych oraz ładowanie danych.
• Ekstrakcja danych – to pobieranie danych z innych baz danych jak również innych systemów czy też plików.
• Transformacja danych – to procesy polegające na integrowaniu danych, ich weryfikowaniu, walidacji czyli sprawdzania, czyszczenia, jak również etykietowania tych danych.
• Ładowanie danych – to proces przesyłania odpowiednio przygotowanych już danych do docelowego miejsca w bazie danych czy też hurtowni danych.

          Wiedza zdobyta w tym kursie zagwarantuje Ci umiejętności, jakie możesz wykorzystać w ASID, czyli automatycznych systemach importowania danych. Nazwa ASID jest moją autorską nazwą, nie jest powszechnie używana przez Microsoft, a kryje się pod nią automat, czy też mechanizm automatycznie importujący dane z różnych heterogenicznych źródeł, czyli plików takich jak TXT, CSV oraz XLSX do bazy danych Ms SQL Server.

          Po wdrożeniu mechanizmu nie będzie wymagana pomoc programistyczna – użytkownik końcowy będzie mógł w pełni korzystać z automatu komunikując się z nim poprzez odpowiednie dostępy oraz mailing. Samo wdrożenie takiego mechanizmu pozwoli zaoszczędzić stosunkowo sporo czasu pracy programistów jak również znacznie przyśpieszy importowanie danych do bazy.

          Dzięki takiemu rozwiązaniu w mojej codziennej pracy dla jednego z moich klientów osiągnąłem naprawdę imponujące wyniki zarówno dotyczące kosztów jak i czasu obsługi klientów.

          W tym kursie przeprowadzę Ciebie przez cały proces budowy takiego automatu krok po kroku, począwszy od instalacji wymaganych składników a kończąc na jego wdrożeniu oraz przetestowaniu różnych przypadków.
 

DLA KOGO JEST TEN KURS ?
● dla osób znających już przynajmniej podstawy SQL’a
● dla studentów informatyki, chcących poznać zaawansowane rozwiązania z zakresu baz danych
● dla programistów baz danych, którzy chcą usprawniać pracę z bazami danych poprzez zaawansowane technologie
 

DLATEGO DAJĘ CI MOŻLIWOŚĆ NAUKI SQL’a W ZAAWANSOWANYCH TECHNOLOGIACH:
● lekcje to skondensowana wiedza i przydatne grafiki obrazujące rozwiązywanie problemów krok po kroku w analogicznej formie jak wpisy na tym blogu
● do lekcji dołączone są gotowe pliki importowe i skrypty SQL zawierające dokładne komentarze, żeby bez problemu zrozumieć wszystkie bloki kodu, są także opisane moje spostrzeżenia i uwagi
● kurs nie zawiera wideo, które trzeba zatrzymywać by przepisać kod, więc nie będziesz się rozpraszać
● inne kursy nie działają, bo są chaotyczne i niekompletne ale z moimi metodami sobie poradzisz
● dostęp czasowy oraz ilość i kolejność dostępów do lekcji jest bez ograniczeń
● sięgnij w końcu po bardzo obszerną wiedzę, której nie oferują żadne inne kursy w jednym miejscu
● w przeciwieństwie do mega drogich szkoleń na sali daję Tobie dodatkowo osobiste wsparcie mailowe.
 

UWAGA! Bardzo ważne jest, aby wszystkie lekcje były robione po kolei. Kolejne lekcje korzystają z obiektów, które kreowane są w lekcjach poprzednich.
 

Ilość lekcji: 27
Ilość dodatkowych, różnych plików importowych: 6
Ilość dodatkowych, gotowych skryptów SQL: 14
Szacowany czas nauki: około 19 godzin i 00 minut
Dostęp czasowy: bez ograniczeń
Ilość i kolejność dostępów do lekcji: bez ograniczeń
 

WSTĘP
     ➡ Dowiesz się co to jest ETL.
     ➡ Zobaczysz, dlaczego warto stosować zaawansowane rozwiązania w Microsoft Visual Studio.

1. INSTALACJA Microsoft Visual Studio
     ➡ Ściągniesz wymagane środowisko programistyczne Microsoft Visual Studio.
     ➡ Zainstalujesz wymagane środowisko programistyczne Microsoft Visual Studio.

2. INSTALACJA SQL SERVER DATA TOOLS (SSDT i SSDT-BI)
     ➡ Ściągniesz wymagane narzędzia bazodanowe SQL Server Data Tools (SSDT i SSDT-BI).
     ➡ Zainstalujesz SSDT-BI.

3. URUCHOMIENIE ŚRODOWISKA I UTWORZENIE PROJEKTU
     ➡ Dowiesz się jakie trzeba uruchomić serwisy.
     ➡ Poznasz środowisko programistyczne Ms Visual Studio.
     ➡ Utworzysz pierwszy projekt BI (Business Intelligence).

4. OPIS PLIKÓW IMPORTOWYCH I PROJEKTOWYCH
     ➡ Zapoznasz się z plikami importowymi oraz projektowymi.
     ➡ Zapoznasz się ze strukturą i danymi dotyczącymi plików importowych.
     ➡ Zapoznasz się ze strukturą najważniejszych plików projektowych.

5. OPIS MECHANIZMU I ZAŁOŻENIA AUTOMATU
     ➡ Poznasz funkcje mechanizmu, sposób jego działania i sposób komunikacji z użytkownikiem.
     ➡ Dowiesz się o założeniach mechanizmu.

6. UTWORZENIE BAZY DANYCH I JEJ PODŁĄCZENIE
     ➡ Utworzysz bazę danych.
     ➡ Podłączysz bazę danych w projekcie.

7. PRZYGOTOWANIE TABELI DLA PLIKÓW
     ➡ Dowiesz się jak włączyć wymagane narzędzia dla projektu w Visual Studio.
     ➡ Utworzysz tabelę dla plików wymaganych przez mechanizm.
     ➡ Utworzysz w projekcie zadanie, tzw. „klocek” odpowiedzialny za tworzenie tabeli dla plików.

8. ZACZYTANIE NAZW PLIKÓW DO BAZY
     ➡ Utworzysz klocek zaczytujący nazwy plików do tabeli w bazie danych.

9. WYKONANIE MECHANIZMU
     ➡ Utworzysz zmienną, która będzie zmieniała wartość na podstawie istniejących plików.
     ➡ Zaimplementujesz klocek, na podstawie którego mechanizm będzie uruchomiony dalej lub zatrzymany.

10. SPRAWDZENIE WYMAGANYCH PLIKÓW I ICH NAZW
     ➡ Utworzysz zmienną, która będzie zmieniała wartość w zależności od ilości i nazw plików.
     ➡ Napiszesz procedurę składowaną SQL, która będzie zwracała określoną wartość dla zmiennej na podstawie ilości i nazw plików.
     ➡ Zaimplementujesz klocek zwracający wartość zmiennej w zależności od ilości i nazw plików.

11. WYSŁANIE MAILA
     ➡ Skonfigurujesz konto w SSMS do wysyłania maili.
     ➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku błędnej ilości lub nazwy plików.
     ➡ Przygotujesz ładną treść maila HTML z dynamicznie budowaną tabelą zawierającą nazwy plików.
     ➡ Zbudujesz klocek wysyłający maila.

12. PRZYGOTOWANIE TABEL DLA DANYCH
     ➡ Utworzysz procedurę przechowywaną przygotowującą tabele dla danych z wszystkich plików.
     ➡ Zaimplementujesz krok w projekcie uruchamiający procedurę przechowywaną, który będzie uruchamiany tylko w przypadku prawidłowych plików.

13. USTAWIENIE WYMAGANYCH ZMIENNYCH
     ➡ Przygotujesz w projekcie zmienne dla plików oraz ścieżek.
     ➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
     ➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.

14. UTWORZENIE FOLDERU DOCELOWEGO
     ➡ Zaimplementujesz krok tworzący folder na podstawie zmiennej.

15. PRZENIESIENIE PLIKÓW PRZEZ AUTOMAT
     ➡ Zaimplementujesz kroki przenoszące pliki z folderu do lokalizacji roboczej na podstawie zmiennych.

16. USTAWIENIE ZMIENNYCH DLA PLIKÓW ROBOCZYCH
     ➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
     ➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.

17. POŁĄCZENIA DO PLIKÓW
     ➡ Utworzysz połączenia do plików z danymi.

18. ZACZYTANIE DANYCH Z PLIKÓW
     ➡ Zainstalujesz wymagane sterowniki bazodanowe.
     ➡ Utworzysz bloki importujące dane z plików do bazy danych.

19. PROCEDURA PRZENOSZENIA DANYCH
     ➡ Utworzysz procedurę przechowywaną do sprawdzenia danych wraz z parametrem wyjściowym.
     ➡ Utworzysz klocek uruchamiający procedurę oraz zwracający informację o błędach.

20. PRZYPADEK PRAWIDŁOWYCH DANYCH
     ➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku prawidłowych danych.
     ➡ Przygotujesz ładną treść maila HTML z informacją o zaimportowanych danych i ich ilości.
     ➡ Zbudujesz klocek wysyłający maila.

21. PRZYPADEK BŁĘDNYCH DANYCH – UTWORZENIE RAPORTU
     ➡ Zaimplementujesz krok przenoszący szablon raportu z folderu roboczego do lokalizacji finalnej na podstawie zmiennych.

22. WYGENEROWANIE RAPORTU
     ➡ Utworzysz nowe połączenie do pliku raportowego.
     ➡ Utworzysz krok generujący dane do raportu.
     ➡ Wyciągniesz dane z bazy, skonwertujesz je i zapiszesz w pliku raportowym dane z bazy.

23. WYSŁANIE MAILA + RAPORT BŁĘDÓW
     ➡ Utworzysz procedurę składowaną z parametrem wejściowym wysyłającą maila w przypadku błędnych danych.
     ➡ Przygotujesz ładną treść maila HTML z informacją o błędzie.
     ➡ Zbudujesz klocek z parametrem wejściowym wysyłający maila.

24. PODSUMOWANIE PROJEKTU
     ➡ Dowiesz się jakie korzyści niesie za sobą wdrażanie tego typu rozwiązań w codziennej pracy na stanowisku programisty baz danych.

25. UMIESZCZENIE PROJEKTU NA SERWERZE (DEPLOY)
     ➡ Utworzysz w SSMS katalog dla „Integration Services”.
     ➡ Udostępnisz projekt (DTSX) na serwerze baz danych.

26. UTWORZENIE AUTOMATU – ASID
     ➡ Dowiesz się co to są „JOB’y” w SQL Server.
     ➡ Dowiesz się o usłudze (agencie) odpowiadającej za pracę JOB’ów.
     ➡ Utworzysz JOB’a w SSMS uruchamiającego nasz mechanizm DTSX.

27. TESTOWANIE MECHANIZMU
     ➡ Przetestujemy działanie mechanizmu automatycznego wg wszystkich możliwych scenariuszy.

 
#Kurs #Online #MSSQL #SQL #Server #Microsoft #T-SQL #BazyDanych #SSMS #ManagementStudio #SSIS #DTS #DTSX #MsVS #VisualStudio
 

Zobacz inne kursy bazodanowe:
     ➡ Ms SQL Server – SOLIDNE PODSTAWY
     ➡ Ms SQL Server – KONKRETNE ROZWIĄZANIA
     ➡ Ms SQL Server – ZAAWANSOWANE TECHNIKI
     ➡ Profesjonalna baza danych KROK PO KROKU + Ćwiczenia
     ➡ WSZYSTKIE KURSY
 

Zamów