跳到主要内容

用于数据工程管道的开源工作流管理平台。

Apache Airflow是一个开源的工作流管理平台,用于数据工程管道。你可以用它来自动化、协调和监控工作流程和数据管道。Airflow最大的特点之一是,你可以用代码创建和执行工作流程。当你使用由代码驱动的工作流时,你可以对你的工作流进行版本控制、协作和调试。

部署一个市场应用程序

Linode市场允许您使用云管理器在计算实例上轻松部署软件。请参阅 "开始使用市场应用 "以了解完整的步骤。

  1. 登录云管理器,从左侧导航菜单中选择 "市场 "链接。这将显示Linode创建页面,并预选了市场标签。
  2. 选择应用程序部分,选择你想部署的应用程序。
  3. 按照创建计算实例指南中的步骤和建议完成该表格。根据您所选择的Marketplace App,可能会有其他配置选项可用。请参阅下面的配置选项部分,了解该市场应用的兼容分布、推荐计划和任何其他可用的配置选项。
  4. 点击 "创建Linode"按钮。一旦计算实例被配置并完全通电,等待软件安装完成。如果在这之前关闭实例的电源或重新启动,软件安装将可能失败。
  5. 要验证应用程序是否已完全安装,请参阅 "开始使用市场应用程序">"验证安装"。一旦安装完毕,请按照部署后入门部分的指示访问该应用程序并开始使用它。

预计的部署时间: Apache Airflow应在计算实例完成配置后10-15分钟内完全安装完毕。

  • 支持的发行版: Ubuntu 20.04 LTS
  • 推荐的最小计划: 所有的计划类型和尺寸都可以使用。

Apache 气流选项

  • 电子邮件地址 (必填): 用于生成SSL证书的电子邮件地址。

有限用户(可选)

您可以选择填写以下字段,为您的新计算实例自动创建一个有限用户。作为一项额外的安全措施,建议在大多数部署中这样做。这个账户将被分配给 肃德 组,该组在运行具有以下功能的命令时提供高等级权限 sudo 前缀。

  • 有限的sudo用户。输入你喜欢的有限用户的用户名。
  • 有限用户的密码。为新用户输入一个密码。
  • 有限用户的SSH公钥。如果你想通过公钥认证(不需要输入密码)作为有限用户登录,在这里输入你的公钥。关于生成密钥对的说明,请参见创建SSH密钥对和配置服务器上的公钥认证
  • 禁止通过SSH访问根用户:要阻止根用户通过SSH登录,请选择(推荐)。你仍然可以在登录后切换到根用户,你也可以通过Lish以根身份登录。

自定义域名(可选)

如果您希望自动配置一个自定义的域名,您首先需要配置您的域名以使用 Linode 的名称服务器。这通常是通过您的注册商直接完成的。请参阅在您的域名中使用 Linode 的名称服务器。一旦完成,你可以为市场应用程序填写以下字段:

  • LinodeAPI 令牌:如果您希望使用 Linode 的DNS 管理器来管理您的自定义域名的 DNS 记录,请在您的账户上创建一个具有域名读写权限的 LinodeAPI 个人访问令牌。如果这与子域和域名字段一起提供(如下所述),安装会尝试通过LinodeAPI 创建DNS记录。请参阅获取API 访问令牌。如果你不提供这个字段,你需要通过你的DNS提供商手动配置你的DNS记录,并将它们指向新实例的IP地址。
  • 子域。 你希望使用的子域,比如说 淘宝网 为 www.example.com.
  • 域名。你希望使用的域名,如example.com

部署后开始工作

  1. 使用你在创建实例时输入的根用户和相关密码,通过LISH或SSH登录到你的新计算实例。
  2. 如果你在部署应用程序的同一天登录,会显示一条信息,其中有一个链接到你的Apache Airflow GUI以及要使用的用户名和密码。
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

如果你没有看到这条信息,你可以用下面的命令输出它:

cat /etc/motd

3.打开你的网络浏览器,导航到上一步提供的Airflow URL。这应该是你在部署过程中输入的自定义域或你的计算实例的rDNS域(如 192-0-2-1.ip.linodeusercontent.com).参见 管理IP地址 关于查看rDNS的信息,请参见指南。

4.在出现的Airflow登录提示中,输入上一步提供的凭证并登录。

3.一旦你登录了,Airflow仪表板就会出现。在这里,你可以查看DAG(有向无环图)并访问仪表盘的所有其他区域。

6.你现在可以开始使用Apache Airflow。如果你对它不熟悉,可以考虑通读官方文档或Linode自己的指南:

警告

Linode Marketplace应用程序以独立模式部署Apache Airflow,适用于开发、测试和初始配置。单机模式不建议用于生产部署

Apache Airflow Marketplace应用程序是由Linode建立的。有关应用程序部署的支持,请联系 Linode支持.有关工具或软件本身的支持,请访问Airflow社区论坛