Apache légáramlás

apache légáramlás
Típusú Apache Foundation projekt [d] és Python könyvtár [d]
Fejlesztő Apache Software Foundation
Beírva Piton
legújabb verzió
Engedély Apache License 2.0 [2] és Apache License
Weboldal airflow.apache.org
 Médiafájlok a Wikimedia Commons oldalon

Az Apache Airflow  egy nyílt forráskódú szoftver adatfeldolgozási munkafolyamatok létrehozására, végrehajtására, figyelésére és összehangolására .

Eredetileg az Airbnb fejlesztette ki 2014 októberében [3] [4] . 2016 márciusában Apache Incubator projekt lett , 2019 januárjában pedig Apache Software Foundation legfelső szintű projektje lett.

Pythonban írva , a munkafolyamatok és azok függőségei szintén Pythonban vannak kódolva konfigurációs kódként (ellentétben az olyan rendszerekkel, mint az Oozie és az Azkaban , amelyek konfigurációs fájlokat használnak [5] ). A munkafolyamatokat irányított aciklikus gráf (DAG) ábrázolás segítségével hangszereljük; egy gráfban összegyűjtött műveletcsoport elindítható egy meghatározott ütemezés szerint (például óránként vagy naponta), vagy egy esemény hatására (például egy fájl megjelenése a Hive -ban [6] ).

Az Airflow számos nyilvános felhőszolgáltató előfizetéses szolgáltatása, köztük a Google Cloud Platform (Cloud Composer) [7] és az Amazon Web Services (2020 novembere óta) [8] .

Jegyzetek

  1. https://github.com/apache/airflow/releases/tag/2.4.0
  2. https://airflow.incubator.apache.org/license.html
  3. Apache Airflow . Apache Airflow . Letöltve: 2019. szeptember 30. Archiválva : 2019. augusztus 12.
  4. Légáramlás . Letöltve: 2019. szeptember 30. Az eredetiből archiválva : 2019. július 6.
  5. AirflowProposal . Apache Software Foundation (2019. március 28.). Letöltve: 2019. október 1. Az eredetiből archiválva : 2022. április 7..
  6. Trencseni, Marton Review of Airflow . BytePawn (2016. január 16.). Hozzáférés időpontja: 2019. október 1. Archiválva az eredetiből 2019. február 28-án.
  7. ↑ -automatizálási eszköz fejlesztőknek/ A Google elindítja a Cloud Composert, egy új munkafolyamat-automatizálási eszközt a fejlesztők számára  . TechCrunch . Hozzáférés időpontja: 2019. szeptember 18.
  8. -airflow-mwaa/ Bevezetés az Amazon Managed Workflows for Apache Airflow (MWAA  ) szolgáltatásába . Amazon Web Services (2020. november 24.). Hozzáférés időpontja: 2020. december 17.