Airflow. Monitorowanie przep - Helion

Autor: Piotr Chudzik
ISBN: 978-83-289-1906-8
okładka: mi
Księgarnia: Helion
ISBN: 978-83-289-1906-8
okładka: mi
Księgarnia: Helion
Książka będzie dostępna od października 2024
Zobacz także:
- Jak zhakowa 125,00 zł, (10,00 zł -92%)
- Cisco CCNA 200-301. Kurs video. Administrowanie bezpieczeństwem sieci. Część 3 776,67 zł, (69,90 zł -91%)
- Cisco CCNA 200-301. Kurs video. Administrowanie urządzeniami Cisco. Część 2 776,67 zł, (69,90 zł -91%)
- Cisco CCNA 200-301. Kurs video. Podstawy sieci komputerowych i konfiguracji. Część 1 776,67 zł, (69,90 zł -91%)
- Biologika Sukcesji Pokoleniowej. Sezon 3. Konflikty na terytorium 117,27 zł, (12,90 zł -89%)
Spis treści
Airflow. Monitorowanie przepływu danych -- spis treści
Od autora
Wprowadzenie
Rozdział 1. DAG i zadania
- Pierwszy DAG
- BashOperator
- Skrypty powłoki (sh)
- Kolejność wykonywania poleceń (graf)
- Podejście bitowe (rekomendowane)
- Podejście funkcyjne
- Przykładowa implementacja
- Operatory Pythona
- PythonOperator
- Skrypty i moduły
- PythonVirtualenvOperator
- ExternalPythonOperator
- Konfiguracja i harmonogram DAG-a
- default_args
- Dokumentacja
- Podstawowy harmonogram zadań (scheduler)
- catchup i indywidualny start/end
- Historia wykonań
Rozdział 2. Połączenia, HTTP, sensory
- Połączenia
- Operator i sensor HTTP
- FileSensor
- BashSensor
- PythonSensor
- Sterowanie zadaniami
- Operatory sterujące
Rozdział 3. Reguły wykonywania zadania
- all_success
- all_failed
- all_done
- one_failed
- one_success
- none_failed
- none_skipped
- none_failed_min_one_success
- Przykładowa implementacja
Rozdział 4. Przekazywanie informacji
- Szablon Jinja
- XCom
- Historia XCom
- Variable
- DAG Config oraz obiekt Param
- Opcja do modyfikacji daty logicznej
Rozdział 5. Zadania oparte na SQL-u
- Instalacja rozszerzeń
- SQLExecuteQueryOperator
- SQLColumnCheckOperator/SQLTableCheckOperator
- SQLCheckOperator/SQLValueCheckOperator
- SQLIntervalCheckOperator/SQLThresholdCheckOperator
- BranchSQLOperator
- SQLSensor
Rozdział 6. Hooki i pozostałe operatory
- Hooki
- TriggerDagRunOperator
- ShortCircuitOperator
Rozdział 7. Dataset i backfill
- Dataset jako harmonogram
- Backfill
Rozdział 8. Bezpieczeństwo i administracja
- fernet key
- Rotacja kluczy
- Użytkownicy i uprawnienia
Rozdział 9. Przykłady rozszerzeń (providers)
- Docker
- SFTP
- MongoDB
Rozdział 10. Symulacja środowiska HA
- Uruchomienie klastra
- Pool i kolejka
Rozdział 11. Airflow CLI
- airflow db
- airflow dags
- airflow tasks
- airflow users
- airflow roles
- airflow variables
- airflow connections
- airflow info/version/fernet