Apache Airflow

Plataforma de gerenciamento de fluxo de trabalho de código aberto para dutos de engenharia de dados.

Apache O Airflow é uma plataforma de gerenciamento de fluxo de trabalho de código aberto para dutos de engenharia de dados. Você pode usá-la para automatizar, orquestrar e monitorar os fluxos de trabalho e os dutos de dados. Uma das maiores características do Airflow é que você pode criar e executar fluxos de trabalho com código. Quando você usa fluxos de trabalho que são alimentados por código, você pode controlar a versão, colaborar e depurar seus fluxos de trabalho.

Implantação de um aplicativo de mercado

O Linode Marketplace permite que você implante facilmente um software em uma instância de computação usando o Gerenciador de Nuvem. Veja Começar com os aplicativos do Marketplace para obter as etapas completas.

1. Entre no Gerenciador de Nuvem e selecione o link Marketplace no menu de navegação à esquerda. Isto exibe a página Criar Linode com a guia Marketplace pré-selecionada.
2. Na seção Selecionar aplicativo, selecione o aplicativo que você gostaria de implantar.
3. Preencha o formulário seguindo os passos e conselhos dentro do guia Criando uma Instância de Cálculo. Dependendo do aplicativo do Marketplace selecionado, pode haver opções adicionais de configuração disponíveis. Consulte a seção Opções de configuração abaixo para obter distribuições compatíveis, planos recomendados e quaisquer opções de configuração adicionais disponíveis para este aplicativo do Marketplace.
4. Clique no botão Criar Linode. Uma vez que a Instância de Computação tenha sido provisionada e totalmente ligada, aguarde que a instalação do software esteja concluída. Se a instância for desligada ou reiniciada antes deste tempo, a instalação do software provavelmente falhará.
5. Para verificar se o aplicativo foi totalmente instalado, veja Começar com o Marketplace Apps > Verificar a instalação. Uma vez instalado, siga as instruções dentro da seção Getting Started After Deployment para acessar o aplicativo e começar a usá-lo.

Tempo estimado de implantação: Apache O fluxo de ar deve ser totalmente instalado dentro de 10-15 minutos depois que a Instância de Cálculo tiver terminado o provisionamento.

• Distribuições com suporte: Ubuntu 20.04 LTS
• Plano mínimo recomendado: Todos os tipos e tamanhos de planos podem ser usados.

Apache Opções de fluxo de ar

• Endereço de e-mail (obrigatório): O endereço de e-mail a ser usado para a geração de certificados SSL.

Usuário limitado (Opcional)

Você pode opcionalmente preencher os seguintes campos para criar automaticamente um usuário limitado para sua nova Instância de Computação. Isto é recomendado para a maioria das implementações como uma medida de segurança adicional. Esta conta será atribuída à sudo grupo, que fornece permissão elevada ao executar comandos com o sudo prefixo.

• Usuário limitado do sudo: Digite seu nome de usuário preferido para o usuário limitado.
• Senha para o usuário limitado: Digite uma senha forte para o novo usuário.
• Chave pública SSH para o usuário limitado: Se você deseja entrar como usuário limitado através de autenticação de chave pública (sem digitar uma senha), digite sua chave pública aqui. Consulte Criando um par de chaves SSH e Configurando autenticação de chave pública em um servidor para obter instruções sobre como gerar um par de chaves.
• Desabilitar acesso root sobre SSH: Para bloquear o usuário root de fazer login sobre SSH, selecione Sim (recomendado). Você ainda pode mudar para o usuário root uma vez logado e você também pode logar como root através de Lish.

Domínio personalizado (Opcional)

Se você deseja configurar automaticamente um domínio personalizado, primeiro você precisa configurar seu domínio para usar os servidores de nomes da Linode. Isso normalmente é feito diretamente através de seu registrador. Veja Use os servidores de nomes da Linode com seu domínio. Uma vez terminado, você pode preencher os seguintes campos para o aplicativo Marketplace:

• Linode API Token: Se você deseja utilizar o Gerenciador DNS da Linode para gerenciar os registros DNS de seu domínio personalizado, crie um Linode API Personal Access Token em sua conta com acesso de leitura/gravação a Domínios. Se isto for fornecido junto com os campos de subdomínio e domínio (descritos abaixo), a instalação tenta criar registros DNS através do Linode API. Veja Obter um Token de Acesso API . Se você não fornecer este campo, você precisará configurar manualmente seus registros DNS através de seu provedor DNS e apontá-los para o endereço IP da nova instância.
• Subdomínio: O subdomínio que você deseja utilizar, como por exemplo www para www.example.com.
• Domínio: O nome de domínio que você deseja usar, como por exemplo.com.

Começando após a implantação

1. Entre em sua nova instância de computação através de LISH ou SSH usando o usuário root e a senha associada que você inseriu ao criar a instância.
2. Se você se conectar no mesmo dia em que implantou o aplicativo, uma mensagem é exibida com um link para seu GUI Apache Airflow e o nome de usuário e senha a serem usados.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Se você não vir esta mensagem, você pode emiti-la usando o comando abaixo:

cat /etc/motd

3. Abra seu navegador da web e navegue até a URL do fluxo aéreo fornecida na última etapa. Este deve ser o domínio personalizado que você inseriu durante a implantação ou o domínio rDNS de sua Instância de Computação (como 192-0-2-1.ip.linodeusercontent.com). Veja o Gerenciamento de endereços IP guia para informações sobre a visualização do rDNS.

4. Dentro do prompt de login do Airflow que aparece, digite as credenciais fornecidas em uma etapa anterior e faça o login.

3. Uma vez conectado, aparece o painel do fluxo de ar. Daqui, você pode visualizar os DAGs (Gráficos Acíclicos Direcionados) e acessar todas as outras áreas do painel de instrumentos.

6. Agora você pode começar a usar Apache Airflow. Se você não estiver familiarizado com ele, considere a leitura através da documentação oficial ou dos próprios guias da Linode:

• Fluxo de ar > Tutoriais
• Fluxo de ar > Guias de Como Chegar
• Criar Conexões e Variáveis em Apache Airflow

Advertência

O aplicativo Linode Marketplace implementa Apache Airflow em modo autônomo, adequado para desenvolvimento, testes e configurações iniciais. O modo autônomo não é recomendado para implantações de produção.

O aplicativo Apache Airflow Marketplace foi construído pela Linode. Para obter suporte em relação à implantação do aplicativo, entre em contato com Apoio Linode. Para obter apoio em relação à ferramenta ou software em si, visite o fórum da comunidade Airflow.