体验在Windows 10上安装Apache Airflow的经验

序言 :受学术界(医学)命运的影响,我进入了信息技术领域,在这里我必须运用自己的知识来构建实验方法和分析实验数据的策略,但是要为我应用新的技术体系。 在掌握这些技术的过程中,我遇到了许多困难,幸运的是,到目前为止已经克服了许多困难。 对于那些也刚开始使用Apache项目的人来说,这篇文章也许会很有用。

所以到了重点 。 受尤里·埃梅利扬诺夫 Yuri Emelyanov)的一篇有关Apache Airflow在分析程序自动化领域中的功能的文章的启发,我想在我的工作中开始使用建议的库集。 那些根本不熟悉Apache Airflow的人可能会对国家图书馆网站上的一篇简短评论文章感兴趣,该文章以 鲍曼(N.E. Bauman)。

显然,由于启动Airflow的通常说明不适用于Windows环境,在我的情况下,使用docker解决此问题将是多余的,因此我开始寻找其他解决方案。 对我来说幸运的是,我不是第一个走这条路的人,所以我设法找到了一个很棒的视频教程,内容涉及不使用docker在Windows 10中安装Apache Airflow的情况。 但是,经常发生的是,在执行建议的步骤时,出现了困难,而且我相信,这不仅对我而言。 因此,我想谈谈我安装Apache Airflow的经验,也许这可以为某人节省一些时间。

让我们按照说明进行操作(扰流板-第五步,一切正常):

1.安装Linux的Windows子系统,以用于Linux发行版的后续安装

正如他们所说的那样,这是较小的问题:

控制面板→程序→程序和组件→启用和禁用Windows组件→Windows Linux子系统

2.安装您选择的Linux发行版

我使用了Ubuntu应用程序。

3.安装和更新pip

sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get update sudo apt-get install python-pip 

4.安装Apache Airflow

 export SLUGIFY_USES_TEXT_UNIDECODE=yes pip install apache-airflow 

5.数据库初始化

这就是我的小困难开始的地方。 该说明指示您输入airflow initdb命令并转到下一步。 但是,我总是airflow: command not found响应。 可以合理地假设在Apache Airflow的安装阶段存在困难,并且根本没有必要的文件。 在确保所有内容都应该存在之后,我决定尝试指定气流文件的完整路径(它看起来应该像这样: ////airflow initdb )。 但是奇迹没有发生,答案是相同的airflow: command not found 。 我尝试使用文件( ./.local/bin/airflow initdb )的相对路径,这导致出现新的错误ModuleNotFoundError: No module named json' ,可以通过更新werkzeug库来解决(在我的情况下,版本为0.15.4) :

 pip install werkzeug==0.15.4 

在此处阅读有关werkzeug的更多信息。

经过简单的操作,。/。 ./.local/bin/airflow initdb命令成功完成。

6.启动气流服务器

获取气流的困难尚未结束。 运行./.local/bin/airflow webserver -p 8080命令导致No such file or directory错误。 可能,有经验的Ubuntu用户将通过应用export PATH=$PATH:~/.local/bin/命令(即,将/.local目录添加到现有路径中,以查找由PATH变量定义的可执行文件)来尝试克服访问文件时遇到的此类困难。 / bin /),但本文仅供那些主要使用Windows且可能不会发现此解决方案的人使用。

经过上述操作,。/。 ./.local/bin/airflow webserver -p 8080命令已成功执行。

7. URL: 本地主机 :8080 /

如果在之前的阶段中一切顺利,那么您就可以克服分析峰了。

我希望上述在Windows 10上安装Apache Airflow的经验将对初学者有用,并将加速他们进入现代分析工具领域。

下次,我想继续讨论该主题,并讨论在分析移动应用程序用户行为方面使用Apache Airflow的经验。

Source: https://habr.com/ru/post/zh-CN462161/


All Articles