Proudění vzduchu apache

Apache Airflow  je software s otevřeným zdrojovým kódem pro vytváření, spouštění, monitorování a organizování pracovních postupů zpracování dat.

Původně vyvinuto Airbnb v říjnu 2014 [3] [4] . V březnu 2016 se stal projektem Apache Inkubátor a v lednu 2019 se stal projektem nejvyšší úrovně Apache Software Foundation .

Pracovní postupy a jejich závislosti jsou napsány v Pythonu , jsou také kódovány v Pythonu způsobem konfigurace jako kód (na rozdíl od systémů jako Oozie a Azkaban , které používají konfigurační soubory [5] ). Pracovní postupy jsou organizovány pomocí reprezentace řízeného acyklického grafu (DAG); skupina operací shromážděných v grafu může být spuštěna buď podle konkrétního plánu (například hodinově nebo denně), nebo pomocí události (například výskyt souboru v Hive [6] ).

Airflow je předplatitelská služba poskytovaná mnoha veřejnými cloudovými poskytovateli, včetně Google Cloud Platform (Cloud Composer) [7] a Amazon Web Services (od listopadu 2020) [8] .

Poznámky

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Apache Airflow . Apache Airflow . Staženo 30. září 2019. Archivováno 12. srpna 2019. (neurčitý)
4. ↑ Proudění vzduchu . Získáno 30. září 2019. Archivováno z originálu 6. července 2019. (neurčitý)
5. ↑ Návrh proudění vzduchu . Apache Software Foundation (28. března 2019). Získáno 1. října 2019. Archivováno z originálu dne 7. dubna 2022. (neurčitý)
6. ↑ Trencseni, Marton Recenze proudění vzduchu . BytePawn (16. ledna 2016). Datum přístupu: 1. října 2019. Archivováno z originálu 28. února 2019. (neurčitý)
7. ↑ -automation-tool-for-developers/ Google spouští Cloud Composer, nový nástroj pro automatizaci pracovních postupů pro vývojáře  . TechCrunch . Datum přístupu: 18. září 2019.
8. ↑ -airflow-mwaa/ Úvod do Amazon Managed Workflows pro Apache Airflow (MWAA  ) . Amazon Web Services (24. listopadu 2020). Datum přístupu: 17. prosince 2020.