Menu
Zamknij menu
Zaloguj się
  • Training description
  • Scope

Training description

Data Engineering on AWS to trzydniowe szkolenie na poziomie średniozaawansowanym, poświęcone projektowaniu, budowaniu, optymalizacji i zabezpieczaniu rozwiązań z obszaru inżynierii danych w środowisku AWS. Uczestnicy poznają role i kluczowe koncepcje związane z pracą Inżyniera danych oraz przegląd usług AWS wspierających przetwarzanie, orkiestrację, monitorowanie, bezpieczeństwo i optymalizację kosztów rozwiązań danych.

Szkolenie obejmuje projektowanie i implementację rozwiązań typu data lake oraz hurtowni danych z wykorzystaniem Amazon Redshift Serverless, a także budowę potoków przetwarzania wsadowego i strumieniowego. Szkolenie łączy teorię z praktyką – uczestnicy realizują laboratoria, które pozwalają przećwiczyć konfigurację, automatyzację, kontrolę dostępu oraz optymalizację wydajności rozwiązań danych w architekturze chmurowej.

W trakcie szkolenia:

  • poznasz role i kluczowe koncepcje inżynierii danych w środowisku AWS oraz powiązane usługi platformy,
  • nauczysz się projektować rozwiązania typu data lake i hurtownie danych z wykorzystaniem Amazon Redshift Serverless,
  • dowiesz się, jak budować, optymalizować i zabezpieczać potoki przetwarzania wsadowego i strumieniowego,
  • zrozumiesz zasady monitorowania, orkiestracji oraz optymalizacji kosztów w rozwiązaniach danych na AWS,
  • nauczysz się zarządzać kontrolą dostępu, bezpieczeństwem danych oraz wymaganiami zgodności w środowisku AWS.

Adresaci szkolenia:

  • Inżynierowie danych,
  • Architekci rozwiązań chmurowych,
  • Inżynierowie DevOps,
  • specjaliści IT zainteresowani projektowaniem, budową i zabezpieczaniem rozwiązań inżynierii danych z wykorzystaniem usług AWS.

Wymagania wstępne:

  • Znajomość podstawowych pojęć z zakresu uczenia nadzorowanego i nienadzorowanego, regresji, klasyfikacji oraz clusteringu,
  • Praktyczna znajomość języka Python oraz bibliotek takich jak NumPy, Pandas i Scikit-learn,
  • Podstawowa wiedza z zakresu przetwarzania w chmurze oraz znajomość platformy AWS,
  • Znajomość SQL i relacyjnych baz danych (zalecana, ale nieobowiązkowa),
  • Doświadczenie z systemami kontroli wersji, takimi jak Git (mile widziane).

Scope

  • Rola Inżyniera danych i kluczowe koncepcje
    • Rola Inżyniera danych
    • Kluczowe funkcje Inżyniera danych
    • Persony danych
    • Odkrywanie danych
    • Usługi danych AWS
  • Narzędzia i usługi AWS dla inżynierii danych
    • Orkiestracja i automatyzacja
    • Bezpieczeństwo w inżynierii danych
    • Monitorowanie
    • Ciągła Integracja (CI) i Ciągłe Dostarczanie (CD)
    • Infrastructure as Code
    • AWS Serverless Application Model
    • Aspekty sieciowe
    • Narzędzia do optymalizacji kosztów
  • Projektowanie i implementacja data lake
    • Wprowadzenie do data lake
    • Magazynowanie danych w data lake
    • Ładowanie danych do data lake
    • Katalogowanie danych
    • Transformacja danych
    • Udostępnianie danych do konsumpcji
    • Laboratorium: Konfiguracja data lake na AWS
  • Optymalizacja i zabezpieczanie rozwiązania data lake
    • Open Table Formats
    • Bezpieczeństwo z wykorzystaniem AWS Lake Formation
    • Nadawanie uprawnień w Lake Formation
    • Bezpieczeństwo i zarządzanie
    • Rozwiązywanie problemów
    • Laboratorium: Automatyzacja tworzenia data lake z użyciem AWS Lake Formation Blueprints
  • Architektura i zasady projektowania hurtowni danych
    • Wprowadzenie do hurtowni danych
    • Przegląd Amazon Redshift
    • Ładowanie danych do Redshift
    • Przetwarzanie danych
    • Udostępnianie danych do konsumpcji
    • Laboratorium: Konfiguracja hurtowni danych z użyciem Amazon Redshift Serverless
  • Techniki optymalizacji wydajności hurtowni danych
    • Opcje monitorowania i optymalizacji
    • Optymalizacja danych w Amazon Redshift
    • Optymalizacja zapytań w Amazon Redshift
    • Opcje orkiestracji
  • Bezpieczeństwo i kontrola dostępu w hurtowniach danych
    • Uwierzytelnianie i kontrola dostępu w Amazon Redshift
    • Bezpieczeństwo danych w Amazon Redshift
    • Audyt i zgodność w Amazon Redshift
    • Laboratorium: Zarządzanie kontrolą dostępu w Redshift
  • Projektowanie potoków przetwarzania wsadowego
    • Wprowadzenie do potoków przetwarzania wsadowego
    • Projektowanie potoku przetwarzania wsadowego
    • Usługi AWS do przetwarzania wsadowego
  • Implementacja strategii dla potoków przetwarzania wsadowego
    • Elementy potoku przetwarzania wsadowego
    • Przetwarzanie i transformacja danych
    • Integracja i katalogowanie danych
    • Udostępnianie danych do konsumpcji
    • Laboratorium: Dzień z życia Inżyniera danych
  • Optymalizacja, orkiestracja i zabezpieczanie potoków przetwarzania wsadowego
    • Optymalizacja potoku przetwarzania wsadowego
    • Orkiestracja potoku przetwarzania wsadowego
    • Zabezpieczanie potoku przetwarzania wsadowego
    • Laboratorium: Orkiestracja przetwarzania danych w Spark z użyciem AWS Step Functions
  • Wzorce architektury przetwarzania strumieniowego
    • Wprowadzenie do potoków przetwarzania strumieniowego
    • Pozyskiwanie danych ze źródeł strumieniowych
    • Usługi do przetwarzania strumieniowego
    • Przechowywanie danych strumieniowych
    • Przetwarzanie danych strumieniowych
    • Analiza danych strumieniowych z wykorzystaniem usług AWS
    • Laboratorium: Analiza strumieniowa z użyciem Amazon Managed Service for Apache Flink
  • Optymalizacja i zabezpieczanie rozwiązań strumieniowych
    • Optymalizacja rozwiązania przetwarzania strumieniowego
    • Zabezpieczanie potoku przetwarzania strumieniowego
    • Aspekty zgodności
    • Laboratorium: Kontrola dostępu z użyciem Amazon Managed Streaming for Apache Kafka

Training schedule

Remote

… if you value the opportunity to learn with a trainer and other participants, from anywhere without having to commute.

Stationary

… if you want to learn while sitting in the same room with the trainer and other participants.

Online

… if you want to learn from materials available via the interenet anywhere at any time

Filters:

Training: AWS_DEN_Z

Data Engineering on AWS

Date
Form
Language
Additional info
Price

Currently, there is no trainings in the selected form.

Filters:

Training: AWS_DEN_Z

Data Engineering on AWS

Date
Location
Language
Additional info
Price

Currently, there is no trainings in the selected form.

Filters:

Training: AWS_DEN_Z

Data Engineering on AWS

Dostęp do szkolenia
Form
Language
Additional info
Price

Currently, there is no trainings in the selected form.

Szukasz szkolenia w innym terminie?

Co nowego?

  • Newest
  • Uncategorized

Chcesz z nami porozmawiać?

Zadzwoń do nas: tel. 801 30 30 30