Pengalaman menginstal Apache Airflow di Windows 10

Pembukaan : atas kehendak nasib dari dunia sains akademis (kedokteran), saya masuk ke dunia teknologi informasi, di mana saya harus menggunakan pengetahuan saya tentang metodologi membangun percobaan dan strategi untuk menganalisis data eksperimental, namun, menerapkan tumpukan teknologi baru untuk saya. Dalam proses penguasaan teknologi ini, saya menghadapi sejumlah kesulitan, yang sejauh ini, untungnya, telah diatasi. Mungkin posting ini akan bermanfaat bagi mereka yang juga baru mulai bekerja dengan proyek Apache.

Jadi intinya . Terinspirasi oleh sebuah artikel oleh Yuri Emelyanov tentang kemampuan Apache Airflow di bidang otomatisasi prosedur analitis, saya ingin mulai menggunakan set perpustakaan yang diusulkan dalam pekerjaan saya. Mereka yang tidak akrab dengan Apache Airflow mungkin tertarik dengan artikel ulasan singkat di situs web Perpustakaan Nasional N.E. Bauman.

Karena instruksi yang biasa untuk memulai Airflow, tampaknya, tidak berlaku di lingkungan Windows, dan itu akan berlebihan untuk menggunakan buruh pelabuhan untuk menyelesaikan masalah ini dalam kasus saya, saya mulai mencari solusi lain. Untungnya bagi saya, saya bukan yang pertama di jalur ini, jadi saya berhasil menemukan tutorial video yang bagus tentang cara menginstal Apache Airflow di Windows 10 tanpa menggunakan buruh pelabuhan. Tetapi, seperti yang sering terjadi, ketika melakukan langkah-langkah yang direkomendasikan, kesulitan muncul, dan, saya percaya, tidak hanya untuk saya. Karena itu, saya ingin berbicara tentang pengalaman saya menginstal Apache Airflow, mungkin itu akan menghemat waktu bagi seseorang.

Mari kita ikuti langkah-langkah dari instruksi (spoiler - langkah ke-5, semuanya berjalan dengan baik):

1. Menginstal Subsistem Windows untuk Linux untuk instalasi distribusi Linux selanjutnya

Ini adalah masalah yang lebih kecil, seperti yang mereka katakan:

Panel Kontrol → Program → Program dan Komponen → Mengaktifkan dan Menonaktifkan Komponen Windows → Subsistem Windows untuk Linux

2. Menginstal distribusi Linux pilihan Anda

Saya menggunakan aplikasi Ubuntu .

3. Instalasi dan perbarui pip

sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get update sudo apt-get install python-pip 

4. Instal Apache Airflow

 export SLUGIFY_USES_TEXT_UNIDECODE=yes pip install apache-airflow 

5. Inisialisasi basis data

Dan di sinilah kesulitan kecil saya dimulai. Instruksi memerintahkan Anda untuk memasukkan perintah airflow initdb dan pergi ke langkah berikutnya. Namun, saya selalu mendapat airflow: command not found respons. Adalah logis untuk mengasumsikan bahwa ada kesulitan selama fase instalasi Apache Airflow dan tidak ada file yang diperlukan. Setelah memastikan bahwa semuanya berada di tempat yang seharusnya, saya memutuskan untuk mencoba menentukan path lengkap ke file aliran udara (seharusnya terlihat seperti ini: ////airflow initdb ). Tetapi keajaiban itu tidak terjadi dan jawabannya adalah airflow: command not found sama airflow: command not found . Saya mencoba menggunakan path relatif ke file ( ./.local/bin/airflow initdb ), yang menyebabkan munculnya kesalahan baru ModuleNotFoundError: No module named json' , yang dapat diatasi dengan memperbarui perpustakaan werkzeug (dalam kasus saya, ke versi 0.15.4) :

 pip install werkzeug==0.15.4 

Baca lebih lanjut tentang werkzeug di sini .

Setelah manipulasi sederhana ini, perintah ./.local/bin/airflow initdb berhasil diselesaikan.

6. Memulai Server Airflow

Kesulitan mengakses aliran udara belum berakhir. Menjalankan perintah ./.local/bin/airflow webserver -p 8080 mengakibatkan No such file or directory kesalahan No such file or directory . Mungkin, pengguna Ubuntu yang berpengalaman akan segera mencoba mengatasi kesulitan seperti itu dengan mengakses file dengan menggunakan export PATH=$PATH:~/.local/bin/ command (yaitu, menambahkan direktori /.local ke jalur yang ada untuk mencari file yang dapat dieksekusi / bin /), tetapi posting ini ditujukan bagi mereka yang terutama bekerja dengan Windows dan mungkin tidak menemukan solusi ini jelas.

Setelah manipulasi yang dijelaskan di atas, perintah ./.local/bin/airflow webserver -p 8080 berhasil dieksekusi.

7. URL: localhost : 8080 /

Jika semuanya berjalan dengan baik di tahap sebelumnya, maka Anda siap untuk menaklukkan puncak analitis.

Saya harap pengalaman menginstal Apache Airflow pada Windows 10 yang dijelaskan di atas akan bermanfaat bagi pemula dan akan mempercepat entri mereka ke dalam semesta alat analisis modern.

Lain kali saya ingin melanjutkan topik dan berbicara tentang pengalaman menggunakan Apache Airflow di bidang menganalisis perilaku pengguna aplikasi mobile.