Ekstrakcja, transformacja i ładowanie danych – ETL, SSIS, DTSX
Ilość uczniów: 617
Ten kompletny kurs przeznaczony jest dla osób z doświadczeniem, które znają już SQL Server oraz języki SQL i T-SQL. Zakres tego kursu pozwoli na poznanie zaawansowanych możliwości dotyczących przetwarzania danych, czyli procesów ETL (Extract, Transform and Load), a więc pokazuję dosłownie KROK PO KROKU: ekstrakcję danych, transformację danych oraz ładowanie danych.
• Ekstrakcja danych – to pobieranie danych z innych baz danych jak również innych systemów czy też plików.
• Transformacja danych – to procesy polegające na integrowaniu danych, ich weryfikowaniu, walidacji czyli sprawdzania, czyszczenia, jak również etykietowania tych danych.
• Ładowanie danych – to proces przesyłania odpowiednio przygotowanych już danych do docelowego miejsca w bazie danych czy też hurtowni danych.
Wiedza zdobyta w tym kursie zagwarantuje Ci umiejętności, jakie możesz wykorzystać w ASID, czyli automatycznych systemach importowania danych. Nazwa ASID jest moją autorską nazwą, nie jest powszechnie używana przez Microsoft, a kryje się pod nią automat, czy też mechanizm automatycznie importujący dane z różnych heterogenicznych źródeł, czyli plików takich jak TXT, CSV oraz XLSX do bazy danych Ms SQL Server.
Po wdrożeniu mechanizmu nie będzie wymagana pomoc programistyczna – użytkownik końcowy będzie mógł w pełni korzystać z automatu komunikując się z nim poprzez odpowiednie dostępy oraz mailing. Samo wdrożenie takiego mechanizmu pozwoli zaoszczędzić stosunkowo sporo czasu pracy programistów jak również znacznie przyśpieszy importowanie danych do bazy.
Dzięki takiemu rozwiązaniu w mojej codziennej pracy dla jednego z moich klientów osiągnąłem naprawdę imponujące wyniki zarówno dotyczące kosztów jak i czasu obsługi klientów.
W tym kursie przeprowadzę Ciebie przez cały proces budowy takiego automatu krok po kroku, począwszy od instalacji wymaganych składników a kończąc na jego wdrożeniu oraz przetestowaniu różnych przypadków.
DLA KOGO JEST TEN KURS ?
● dla osób znających już przynajmniej podstawy SQL’a
● dla studentów informatyki, chcących poznać zaawansowane rozwiązania z zakresu baz danych
● dla programistów baz danych, którzy chcą usprawniać pracę z bazami danych poprzez zaawansowane technologie
DLATEGO DAJĘ CI MOŻLIWOŚĆ NAUKI SQL’a W ZAAWANSOWANYCH TECHNOLOGIACH:
● lekcje są w formie skondensowanej wiedzy w postaci artykułów i przydatnych grafik obrazujących rozwiązywanie problemów krok po kroku (nie są w formie video) w analogicznej formie jak wpisy na tym blogu
● do lekcji dołączone są gotowe pliki importowe i skrypty SQL zawierające dokładne komentarze, żeby bez problemu zrozumieć wszystkie bloki kodu, są także opisane moje spostrzeżenia i uwagi
● inne kursy nie działają, bo są chaotyczne i niekompletne ale z moimi metodami sobie poradzisz
● dostęp czasowy oraz ilość i kolejność dostępów do lekcji jest bez ograniczeń
● sięgnij w końcu po bardzo obszerną wiedzę, której nie oferują żadne inne kursy w jednym miejscu
● w przeciwieństwie do mega drogich szkoleń na sali daję Tobie dodatkowo osobiste wsparcie mailowe.
UWAGA! Bardzo ważne jest, aby wszystkie lekcje były robione po kolei. Kolejne lekcje korzystają z obiektów, które kreowane są w lekcjach poprzednich.
Ilość lekcji: 27
Ilość dodatkowych, różnych plików importowych: 6
Ilość dodatkowych, gotowych skryptów SQL: 14
Szacowany czas nauki: około 19 godzin i 00 minut
Dostęp czasowy: bez ograniczeń
Ilość i kolejność dostępów do lekcji: bez ograniczeń
WSTĘP
➡ Dowiesz się co to jest ETL.
➡ Zobaczysz, dlaczego warto stosować zaawansowane rozwiązania w Microsoft Visual Studio.
1. INSTALACJA Microsoft Visual Studio
➡ Ściągniesz wymagane środowisko programistyczne Microsoft Visual Studio.
➡ Zainstalujesz wymagane środowisko programistyczne Microsoft Visual Studio.
2. INSTALACJA SQL SERVER DATA TOOLS (SSDT i SSDT-BI)
➡ Ściągniesz wymagane narzędzia bazodanowe SQL Server Data Tools (SSDT i SSDT-BI).
➡ Zainstalujesz SSDT-BI.
3. URUCHOMIENIE ŚRODOWISKA I UTWORZENIE PROJEKTU
➡ Dowiesz się jakie trzeba uruchomić serwisy.
➡ Poznasz środowisko programistyczne Ms Visual Studio.
➡ Utworzysz pierwszy projekt BI (Business Intelligence).
4. OPIS PLIKÓW IMPORTOWYCH I PROJEKTOWYCH
➡ Zapoznasz się z plikami importowymi oraz projektowymi.
➡ Zapoznasz się ze strukturą i danymi dotyczącymi plików importowych.
➡ Zapoznasz się ze strukturą najważniejszych plików projektowych.
5. OPIS MECHANIZMU I ZAŁOŻENIA AUTOMATU
➡ Poznasz funkcje mechanizmu, sposób jego działania i sposób komunikacji z użytkownikiem.
➡ Dowiesz się o założeniach mechanizmu.
6. UTWORZENIE BAZY DANYCH I JEJ PODŁĄCZENIE
➡ Utworzysz bazę danych.
➡ Podłączysz bazę danych w projekcie.
7. PRZYGOTOWANIE TABELI DLA PLIKÓW
➡ Dowiesz się jak włączyć wymagane narzędzia dla projektu w Visual Studio.
➡ Utworzysz tabelę dla plików wymaganych przez mechanizm.
➡ Utworzysz w projekcie zadanie, tzw. „klocek” odpowiedzialny za tworzenie tabeli dla plików.
8. ZACZYTANIE NAZW PLIKÓW DO BAZY
➡ Utworzysz klocek zaczytujący nazwy plików do tabeli w bazie danych.
9. WYKONANIE MECHANIZMU
➡ Utworzysz zmienną, która będzie zmieniała wartość na podstawie istniejących plików.
➡ Zaimplementujesz klocek, na podstawie którego mechanizm będzie uruchomiony dalej lub zatrzymany.
10. SPRAWDZENIE WYMAGANYCH PLIKÓW I ICH NAZW
➡ Utworzysz zmienną, która będzie zmieniała wartość w zależności od ilości i nazw plików.
➡ Napiszesz procedurę składowaną SQL, która będzie zwracała określoną wartość dla zmiennej na podstawie ilości i nazw plików.
➡ Zaimplementujesz klocek zwracający wartość zmiennej w zależności od ilości i nazw plików.
11. WYSŁANIE MAILA
➡ Skonfigurujesz konto w SSMS do wysyłania maili.
➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku błędnej ilości lub nazwy plików.
➡ Przygotujesz ładną treść maila HTML z dynamicznie budowaną tabelą zawierającą nazwy plików.
➡ Zbudujesz klocek wysyłający maila.
12. PRZYGOTOWANIE TABEL DLA DANYCH
➡ Utworzysz procedurę przechowywaną przygotowującą tabele dla danych z wszystkich plików.
➡ Zaimplementujesz krok w projekcie uruchamiający procedurę przechowywaną, który będzie uruchamiany tylko w przypadku prawidłowych plików.
13. USTAWIENIE WYMAGANYCH ZMIENNYCH
➡ Przygotujesz w projekcie zmienne dla plików oraz ścieżek.
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.
14. UTWORZENIE FOLDERU DOCELOWEGO
➡ Zaimplementujesz krok tworzący folder na podstawie zmiennej.
15. PRZENIESIENIE PLIKÓW PRZEZ AUTOMAT
➡ Zaimplementujesz kroki przenoszące pliki z folderu do lokalizacji roboczej na podstawie zmiennych.
16. USTAWIENIE ZMIENNYCH DLA PLIKÓW ROBOCZYCH
➡ Zaimplementujesz procedurę przechowywaną przypisującą wartości do zmiennych.
➡ Utworzysz krok przypisujący wartości wymaganym zmiennym.
17. POŁĄCZENIA DO PLIKÓW
➡ Utworzysz połączenia do plików z danymi.
18. ZACZYTANIE DANYCH Z PLIKÓW
➡ Zainstalujesz wymagane sterowniki bazodanowe.
➡ Utworzysz bloki importujące dane z plików do bazy danych.
19. PROCEDURA PRZENOSZENIA DANYCH
➡ Utworzysz procedurę przechowywaną do sprawdzenia danych wraz z parametrem wyjściowym.
➡ Utworzysz klocek uruchamiający procedurę oraz zwracający informację o błędach.
20. PRZYPADEK PRAWIDŁOWYCH DANYCH
➡ Utworzysz procedurę składowaną wysyłającą maila w przypadku prawidłowych danych.
➡ Przygotujesz ładną treść maila HTML z informacją o zaimportowanych danych i ich ilości.
➡ Zbudujesz klocek wysyłający maila.
21. PRZYPADEK BŁĘDNYCH DANYCH – UTWORZENIE RAPORTU
➡ Zaimplementujesz krok przenoszący szablon raportu z folderu roboczego do lokalizacji finalnej na podstawie zmiennych.
22. WYGENEROWANIE RAPORTU
➡ Utworzysz nowe połączenie do pliku raportowego.
➡ Utworzysz krok generujący dane do raportu.
➡ Wyciągniesz dane z bazy, skonwertujesz je i zapiszesz w pliku raportowym dane z bazy.
23. WYSŁANIE MAILA + RAPORT BŁĘDÓW
➡ Utworzysz procedurę składowaną z parametrem wejściowym wysyłającą maila w przypadku błędnych danych.
➡ Przygotujesz ładną treść maila HTML z informacją o błędzie.
➡ Zbudujesz klocek z parametrem wejściowym wysyłający maila.
24. PODSUMOWANIE PROJEKTU
➡ Dowiesz się jakie korzyści niesie za sobą wdrażanie tego typu rozwiązań w codziennej pracy na stanowisku programisty baz danych.
25. UMIESZCZENIE PROJEKTU NA SERWERZE (DEPLOY)
➡ Utworzysz w SSMS katalog dla „Integration Services”.
➡ Udostępnisz projekt (DTSX) na serwerze baz danych.
26. UTWORZENIE AUTOMATU – ASID
➡ Dowiesz się co to są „JOB’y” w SQL Server.
➡ Dowiesz się o usłudze (agencie) odpowiadającej za pracę JOB’ów.
➡ Utworzysz JOB’a w SSMS uruchamiającego nasz mechanizm DTSX.
27. TESTOWANIE MECHANIZMU
➡ Przetestujemy działanie mechanizmu automatycznego wg wszystkich możliwych scenariuszy.
#Kurs #Online #MSSQL #SQL #Server #Microsoft #T-SQL #BazyDanych #SSMS #ManagementStudio #SSIS #DTS #DTSX #MsVS #VisualStudio
Zobacz inne kursy bazodanowe:
➡ Ms SQL Server – SOLIDNE PODSTAWY
➡ Ms SQL Server – SOLIDNE PODSTAWY (VIDEO)
➡ Ms SQL Server – KONKRETNE ROZWIĄZANIA
➡ Ms SQL Server – KONKRETNE ROZWIĄZANIA (VIDEO)
➡ Ms SQL Server – ZAAWANSOWANE TECHNIKI
➡ Ms SQL Server – ZAAWANSOWANE TECHNIKI (VIDEO)
➡ Profesjonalna baza danych KROK PO KROKU + Ćwiczenia
➡ WSZYSTKIE KURSY