Ekstrakcja, transformacja i ładowanie danych – ETL, SSIS, DTSX

Ilość uczniów: 636

Ten kompletny kurs przeznaczony jest dla osób z doświadczeniem, które znają już SQL Server oraz języki SQL i T-SQL. Zakres tego kursu pozwoli na poznanie zaawansowanych możliwości dotyczących przetwarzania danych, czyli procesów ETL (Extract, Transform and Load), a więc pokazuję dosłownie KROK PO KROKU: ekstrakcję danych, transformację danych oraz ładowanie danych.

• Ekstrakcja danych – to pobieranie danych z innych baz danych jak również innych systemów czy też plików.
• Transformacja danych – to procesy polegające na integrowaniu danych, ich weryfikowaniu, walidacji czyli sprawdzania, czyszczenia, jak również etykietowania tych danych.
• Ładowanie danych – to proces przesyłania odpowiednio przygotowanych już danych do docelowego miejsca w bazie danych czy też hurtowni danych.

Wiedza zdobyta w tym kursie zagwarantuje Ci umiejętności, jakie możesz wykorzystać w ASID, czyli automatycznych systemach importowania danych. Nazwa ASID jest moją autorską nazwą, nie jest powszechnie używana przez Microsoft, a kryje się pod nią automat, czy też mechanizm automatycznie importujący dane z różnych heterogenicznych źródeł, czyli plików takich jak TXT, CSV oraz XLSX do bazy danych Ms SQL Server.

Po wdrożeniu mechanizmu nie będzie wymagana pomoc programistyczna – użytkownik końcowy będzie mógł w pełni korzystać z automatu komunikując się z nim poprzez odpowiednie dostępy oraz mailing. Samo wdrożenie takiego mechanizmu pozwoli zaoszczędzić stosunkowo sporo czasu pracy programistów jak również znacznie przyśpieszy importowanie danych do bazy.

Dzięki takiemu rozwiązaniu w mojej codziennej pracy dla jednego z moich klientów osiągnąłem naprawdę imponujące wyniki zarówno dotyczące kosztów jak i czasu obsługi klientów.

W tym kursie przeprowadzę Ciebie przez cały proces budowy takiego automatu krok po kroku, począwszy od instalacji wymaganych składników a kończąc na jego wdrożeniu oraz przetestowaniu różnych przypadków.

DLA KOGO JEST TEN KURS ?
● dla osób znających już przynajmniej podstawy SQL’a
● dla studentów informatyki, chcących poznać zaawansowane rozwiązania z zakresu baz danych
● dla programistów baz danych, którzy chcą usprawniać pracę z bazami danych poprzez zaawansowane technologie

DLATEGO DAJĘ CI MOŻLIWOŚĆ NAUKI SQL’a W ZAAWANSOWANYCH TECHNOLOGIACH:
● lekcje są w formie skondensowanej wiedzy w postaci artykułów i przydatnych grafik obrazujących rozwiązywanie problemów krok po kroku (nie są w formie video) w analogicznej formie jak wpisy na tym blogu
● do lekcji dołączone są gotowe pliki importowe i skrypty SQL zawierające dokładne komentarze, żeby bez problemu zrozumieć wszystkie bloki kodu, są także opisane moje spostrzeżenia i uwagi
● inne kursy nie działają, bo są chaotyczne i niekompletne ale z moimi metodami sobie poradzisz
● dostęp czasowy oraz ilość i kolejność dostępów do lekcji jest bez ograniczeń
● sięgnij w końcu po bardzo obszerną wiedzę, której nie oferują żadne inne kursy w jednym miejscu
● w przeciwieństwie do mega drogich szkoleń na sali daję Tobie dodatkowo osobiste wsparcie mailowe.

UWAGA! Bardzo ważne jest, aby wszystkie lekcje były robione po kolei. Kolejne lekcje korzystają z obiektów, które kreowane są w lekcjach poprzednich.

✔️ Ilość lekcji: 27
✔️ Ilość dodatkowych, różnych plików importowych: 6
✔️ Ilość dodatkowych, gotowych skryptów SQL: 14
✔️ Szacowany czas nauki: około 19 godzin i 00 minut
✔️ Dostęp czasowy: bez ograniczeń
✔️ Ilość i kolejność dostępów do lekcji: bez ograniczeń

WSTĘP
➡ Dowiesz się co to jest ETL.
➡ Zobaczysz, dlaczego warto stosować zaawansowane rozwiązania w Microsoft Visual Studio.

1. INSTALACJA Microsoft Visual Studio
➡ Ściągniesz wymagane środowisko programistyczne Microsoft Visual Studio.
➡ Zainstalujesz wymagane środowisko programistyczne Microsoft Visual Studio.

2. INSTALACJA SQL SERVER DATA TOOLS (SSDT i SSDT-BI)
➡ Ściągniesz wymagane narzędzia bazodanowe SQL Server Data Tools (SSDT i SSDT-BI).
➡ Zainstalujesz SSDT-BI.

3. URUCHOMIENIE ŚRODOWISKA I UTWORZENIE PROJEKTU
  ➡ Dowiesz się jakie trzeba uruchomić serwisy.
  ➡ Poznasz środowisko programistyczne Ms Visual Studio.
  ➡ Utworzysz pierwszy projekt BI (Business Intelligence).

4. OPIS PLIKÓW IMPORTOWYCH I PROJEKTOWYCH
  ➡ Zapoznasz się z plikami importowymi oraz projektowymi.
  ➡ Zapoznasz się ze strukturą i danymi dotyczącymi plików importowych.
  ➡ Zapoznasz się ze strukturą najważniejszych plików projektowych.

5. OPIS MECHANIZMU I ZAŁOŻENIA AUTOMATU
➡ Poznasz funkcje mechanizmu, sposób jego działania i sposób komunikacji z użytkownikiem.
➡ Dowiesz się o założeniach mechanizmu.

6. UTWORZENIE BAZY DANYCH I JEJ PODŁĄCZENIE
➡ Utworzysz bazę danych.
➡ Podłączysz bazę danych w projekcie.

7. PRZYGOTOWANIE TABELI DLA PLIKÓW
  ➡ Dowiesz się jak włączyć wymagane narzędzia dla projektu w Visual Studio.
  ➡ Utworzysz tabelę dla plików wymaganych przez mechanizm.
  ➡ Utworzysz w projekcie zadanie, tzw. „klocek” odpowiedzialny za tworzenie tabeli dla plików.

8. ZACZYTANIE NAZW PLIKÓW DO BAZY
➡ Utworzysz klocek zaczytujący nazwy plików do tabeli w bazie danych.

9. WYKONANIE MECHANIZMU
➡ Utworzysz zmienną, która będzie zmieniała wartość na podstawie istniejących plików.
➡ Zaimplementujesz klocek, na podstawie którego mechanizm będzie uruchomiony dalej lub zatrzymany.

10. SPRAWDZENIE WYMAGANYCH PLIKÓW I ICH NAZW
  ➡ Utworzysz zmienną, która będzie zmieniała wartość w zależności od ilości i nazw plików.
  ➡ Napiszesz procedurę składowaną SQL, która będzie zwracała określoną wartość dla zmiennej na podstawie ilości i nazw plików.
  ➡ Zaimplementujesz klocek zwracający wartość zmiennej w zależności od ilości i nazw plików.

11. WYSŁANIE MAILA
  ➡ Skonfigurujesz konto w SSMS do wysyłania maili.
  ➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku błędnej ilości lub nazwy plików.
  ➡ Przygotujesz ładną treść maila HTML z dynamicznie budowaną tabelą zawierającą nazwy plików.
  ➡ Zbudujesz klocek wysyłający maila.

12. PRZYGOTOWANIE TABEL DLA DANYCH
➡ Utworzysz procedurę przechowywaną przygotowującą tabele dla danych z wszystkich plików.
➡ Zaimplementujesz krok w projekcie uruchamiający procedurę przechowywaną, który będzie uruchamiany tylko w przypadku prawidłowych plików.

13. USTAWIENIE WYMAGANYCH ZMIENNYCH
  ➡ Przygotujesz w projekcie zmienne dla plików oraz ścieżek.
  ➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
  ➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.

14. UTWORZENIE FOLDERU DOCELOWEGO
➡ Zaimplementujesz krok tworzący folder na podstawie zmiennej.

15. PRZENIESIENIE PLIKÓW PRZEZ AUTOMAT
➡ Zaimplementujesz kroki przenoszące pliki z folderu do lokalizacji roboczej na podstawie zmiennych.

16. USTAWIENIE ZMIENNYCH DLA PLIKÓW ROBOCZYCH
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.

17. POŁĄCZENIA DO PLIKÓW
➡ Utworzysz połączenia do plików z danymi.

18. ZACZYTANIE DANYCH Z PLIKÓW
➡ Zainstalujesz wymagane sterowniki bazodanowe.
➡ Utworzysz bloki importujące dane z plików do bazy danych.

19. PROCEDURA PRZENOSZENIA DANYCH
➡ Utworzysz procedurę przechowywaną do sprawdzenia danych wraz z parametrem wyjściowym.
➡ Utworzysz klocek uruchamiający procedurę oraz zwracający informację o błędach.

20. PRZYPADEK PRAWIDŁOWYCH DANYCH
  ➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku prawidłowych danych.
  ➡ Przygotujesz ładną treść maila HTML z informacją o zaimportowanych danych i ich ilości.
  ➡ Zbudujesz klocek wysyłający maila.

21. PRZYPADEK BŁĘDNYCH DANYCH – UTWORZENIE RAPORTU
➡ Zaimplementujesz krok przenoszący szablon raportu z folderu roboczego do lokalizacji finalnej na podstawie zmiennych.

22. WYGENEROWANIE RAPORTU
  ➡ Utworzysz nowe połączenie do pliku raportowego.
  ➡ Utworzysz krok generujący dane do raportu.
  ➡ Wyciągniesz dane z bazy, skonwertujesz je i zapiszesz w pliku raportowym dane z bazy.

23. WYSŁANIE MAILA + RAPORT BŁĘDÓW
  ➡ Utworzysz procedurę składowaną z parametrem wejściowym wysyłającą maila w przypadku błędnych danych.
  ➡ Przygotujesz ładną treść maila HTML z informacją o błędzie.
  ➡ Zbudujesz klocek z parametrem wejściowym wysyłający maila.

24. PODSUMOWANIE PROJEKTU
➡ Dowiesz się jakie korzyści niesie za sobą wdrażanie tego typu rozwiązań w codziennej pracy na stanowisku programisty baz danych.

25. UMIESZCZENIE PROJEKTU NA SERWERZE (DEPLOY)
➡ Utworzysz w SSMS katalog dla „Integration Services”.
➡ Udostępnisz projekt (DTSX) na serwerze baz danych.

26. UTWORZENIE AUTOMATU – ASID
  ➡ Dowiesz się co to są „JOB’y” w SQL Server.
  ➡ Dowiesz się o usłudze (agencie) odpowiadającej za pracę JOB’ów.
  ➡ Utworzysz JOB’a w SSMS uruchamiającego nasz mechanizm DTSX.

27. TESTOWANIE MECHANIZMU
➡ Przetestujemy działanie mechanizmu automatycznego wg wszystkich możliwych scenariuszy.

#Kurs #Online #MSSQL #SQL #Server #Microsoft #T-SQL #BazyDanych #SSMS #ManagementStudio #SSIS #DTS #DTSX #MsVS #VisualStudio

Zobacz inne kursy bazodanowe:
  ➡ Ms SQL Server – SOLIDNE PODSTAWY
  ➡ Ms SQL Server – SOLIDNE PODSTAWY (VIDEO)
  ➡ Ms SQL Server – KONKRETNE ROZWIĄZANIA
  ➡ Ms SQL Server – KONKRETNE ROZWIĄZANIA (VIDEO)
  ➡ Ms SQL Server – ZAAWANSOWANE TECHNIKI
  ➡ Ms SQL Server – ZAAWANSOWANE TECHNIKI (VIDEO)
  ➡ Profesjonalna baza danych KROK PO KROKU + Ćwiczenia
  ➡ WSZYSTKIE KURSY