airflow的安装和配置

1.安装
virtualenv airflow
export AIRFLOW_HOME=~/airflow
source airflow/bin/activate
pip install airflow
这个过程时间有点长,airflow安装了很多依赖包,数据库同步工具alembic, orm工具sqlalchemy, flask等
2.初始化数据库
airflow默认的数据库是sqlite,如果你想具体测试airflow的功能的话,你需要指定一个真实的数据库,mysql或者postgresql
airflow initdb

3.启动服务
airflow webserver -p 8080
启动服务之后,你就可以访问127.0.0.1来访问airflow。这时整个网站是没有登录入口的,需要在配置文件里配置才可以看到用户登录界面
4.配置登录界面
airflow配置文件在主目录下,airflow.cfg
找到[webserver]这一项
authenticate = True
auth_backend = airflow.contrib.auth.backends.password_auth
把这两项改完之后,保存配置文件
cd /airflow python
Python 2.7.9 (default, Feb 10 2015, 03:28:08)
Type “help”, “copyright”, “credits” or “license” for more information.

>>> import airflow
>>> from airflow import models, settings
>>> from airflow.contrib.auth.backends.password_auth import PasswordUser
>>> user = PasswordUser(models.User())
>>> user.username = 'new_user_name'
>>> user.email = 'new_user_email@example.com'
>>> user.password = 'set_the_password'
>>> session = settings.Session()
>>> session.add(user)
>>> session.commit()
>>> session.close()
>>> exit()

重启服务 airflow webserver -p 8080
5.设置一个后端
修改airflow.cfg:
executor = LocalExecutor
sql_alchemy_conn = mysql://username:password@localhost:3306/dbname
初始化数据库:
airflow initdb
6.测试airflow的scheduler
启动scheduler服务: airflow scheduler 如果定时任务还没有运行的话,重启一下服务 airflow webserver -p 8080

发表评论

电子邮件地址不会被公开。 必填项已用*标注