reklama - zainteresowany?

Airflow. Monitorowanie przep - Helion

Airflow. Monitorowanie przep
ebook
Autor: Piotr Chudzik
ISBN: 978-83-289-3387-3
stron: 168, Format: ebook
Księgarnia: Helion

Cena książki: 59,00 zł

Książka będzie dostępna od września 2025

Tagi: Analiza danych | Inne | Python - Programowanie

Wszystkie dane pod pe

Spis treści

Airflow. Monitorowanie przepływu danych eBook -- spis treści

Od autora

Wprowadzenie

Rozdział 1. DAG i zadania

  • Pierwszy DAG
  • BashOperator
    • Skrypty powłoki (sh)
  • Kolejność wykonywania poleceń (graf)
    • Podejście bitowe (rekomendowane)
    • Podejście funkcyjne
    • Przykładowa implementacja
  • Operatory Pythona
    • PythonOperator
    • Skrypty i moduły
    • PythonVirtualenvOperator
    • ExternalPythonOperator
  • Konfiguracja i harmonogram DAG-a
    • default_args
    • Dokumentacja
    • Podstawowy harmonogram zadań (scheduler)
    • catchup i indywidualny start/end
  • Historia wykonań

Rozdział 2. Połączenia, HTTP, sensory

  • Połączenia
  • Operator i sensor HTTP
  • FileSensor
  • BashSensor
  • PythonSensor
  • Sterowanie zadaniami
  • Operatory sterujące

Rozdział 3. Reguły wykonywania zadania

  • all_success
  • all_failed
  • all_done
  • one_failed
  • one_success
  • none_failed
  • none_skipped
  • none_failed_min_one_success
  • Przykładowa implementacja

Rozdział 4. Przekazywanie informacji

  • Szablon Jinja
  • XCom
  • Historia XCom
  • Variable
  • DAG Config oraz obiekt Param
    • Opcja do modyfikacji daty logicznej

Rozdział 5. Zadania oparte na SQL-u

  • Instalacja rozszerzeń
  • SQLExecuteQueryOperator
  • SQLColumnCheckOperator/SQLTableCheckOperator
  • SQLCheckOperator/SQLValueCheckOperator
  • SQLIntervalCheckOperator/SQLThresholdCheckOperator
  • BranchSQLOperator
  • SQLSensor

Rozdział 6. Hooki i pozostałe operatory

  • Hooki
  • TriggerDagRunOperator
  • ShortCircuitOperator

Rozdział 7. Dataset i backfill

  • Dataset jako harmonogram
  • Backfill

Rozdział 8. Bezpieczeństwo i administracja

  • fernet key
    • Rotacja kluczy
  • Użytkownicy i uprawnienia

Rozdział 9. Przykłady rozszerzeń (providers)

  • Docker
  • SFTP
  • MongoDB

Rozdział 10. Symulacja środowiska HA

  • Uruchomienie klastra
  • Pool i kolejka

Rozdział 11. Airflow CLI

  • airflow db
  • airflow dags
  • airflow tasks
  • airflow users
  • airflow roles
  • airflow variables
  • airflow connections
  • airflow info/version/fernet

Code, Publish & WebDesing by CATALIST.com.pl



(c) 2005-2025 CATALIST agencja interaktywna, znaki firmowe należą do wydawnictwa Helion S.A.