Apache légáramlás

Az Apache Airflow  egy nyílt forráskódú szoftver adatfeldolgozási munkafolyamatok létrehozására, végrehajtására, figyelésére és összehangolására .

Eredetileg az Airbnb fejlesztette ki 2014 októberében [3] [4] . 2016 márciusában Apache Incubator projekt lett , 2019 januárjában pedig Apache Software Foundation legfelső szintű projektje lett.

Pythonban írva , a munkafolyamatok és azok függőségei szintén Pythonban vannak kódolva konfigurációs kódként (ellentétben az olyan rendszerekkel, mint az Oozie és az Azkaban , amelyek konfigurációs fájlokat használnak [5] ). A munkafolyamatokat irányított aciklikus gráf (DAG) ábrázolás segítségével hangszereljük; egy gráfban összegyűjtött műveletcsoport elindítható egy meghatározott ütemezés szerint (például óránként vagy naponta), vagy egy esemény hatására (például egy fájl megjelenése a Hive -ban [6] ).

Az Airflow számos nyilvános felhőszolgáltató előfizetéses szolgáltatása, köztük a Google Cloud Platform (Cloud Composer) [7] és az Amazon Web Services (2020 novembere óta) [8] .

Jegyzetek

1. ↑ https://github.com/apache/airflow/releases/tag/2.4.0
2. ↑ https://airflow.incubator.apache.org/license.html
3. ↑ Apache Airflow . Apache Airflow . Letöltve: 2019. szeptember 30. Archiválva : 2019. augusztus 12. (határozatlan)
4. ↑ Légáramlás . Letöltve: 2019. szeptember 30. Az eredetiből archiválva : 2019. július 6. (határozatlan)
5. ↑ AirflowProposal . Apache Software Foundation (2019. március 28.). Letöltve: 2019. október 1. Az eredetiből archiválva : 2022. április 7.. (határozatlan)
6. ↑ Trencseni, Marton Review of Airflow . BytePawn (2016. január 16.). Hozzáférés időpontja: 2019. október 1. Archiválva az eredetiből 2019. február 28-án. (határozatlan)
7. ↑ -automatizálási eszköz fejlesztőknek/ A Google elindítja a Cloud Composert, egy új munkafolyamat-automatizálási eszközt a fejlesztők számára  . TechCrunch . Hozzáférés időpontja: 2019. szeptember 18.
8. ↑ -airflow-mwaa/ Bevezetés az Amazon Managed Workflows for Apache Airflow (MWAA  ) szolgáltatásába . Amazon Web Services (2020. november 24.). Hozzáférés időpontja: 2020. december 17.