Plataforma de gestão de fluxo de trabalho de fonte aberta para gasodutos de engenharia de dados.
Apache Airflow é uma plataforma de gestão de fluxo de trabalho de fonte aberta para gasodutos de engenharia de dados. Pode utilizá-la para automatizar, orquestrar, e monitorizar fluxos de trabalho e condutas de dados. Uma das maiores características do Airflow é que pode criar e executar fluxos de trabalho com código. Quando utiliza fluxos de trabalho que são alimentados por código, pode controlar a versão, colaborar e depurar os seus fluxos de trabalho.
Implementação de uma aplicação de mercado
O Linode Marketplace permite-lhe implementar facilmente software numa Instância de Computação utilizando o Cloud Manager. Ver Começar com o Marketplace Apps para passos completos.
- Inicie sessão no Gestor de Nuvens e seleccione a ligação Marketplace a partir do menu de navegação à esquerda. Isto exibe a página Criar Linode com o separador Marketplace pré-seleccionado.
- Sob a secção Seleccionar aplicação, seleccione a aplicação que gostaria de implementar.
- Preencher o formulário seguindo os passos e conselhos do guia Criar uma Computação de Instância. Dependendo da aplicação Marketplace que seleccionou, pode haver opções de configuração adicionais disponíveis. Ver a secção Opções de Configuração abaixo para distribuições compatíveis, planos recomendados, e quaisquer opções de configuração adicionais disponíveis para esta aplicação do Marketplace.
- Clique no botão Criar Linode. Uma vez que a Instância de Cálculo tenha sido provisionada e esteja totalmente ligada, aguarde que a instalação do software esteja concluída. Se a instância for desligada ou reiniciada antes deste momento, a instalação do software provavelmente falhará.
- Para verificar se o aplicativo foi totalmente instalado, ver Começar com o Marketplace Apps > Verificar a instalação. Uma vez instalada, siga as instruções na secção Começar após a instalação para aceder à aplicação e começar a utilizá-la.
Tempo estimado de implantação: Apache O fluxo de ar deve ser totalmente instalado dentro de 10-15 minutos após a Comissão de Cálculo ter terminado o aprovisionamento.
- Distribuições suportadas: Ubuntu 20.04 LTS
- Plano mínimo recomendado: Podem ser utilizados todos os tipos e tamanhos de planos.
Apache Opções de fluxo de ar
- Endereço de correio electrónico (obrigatório) : O endereço de correio electrónico a utilizar para a geração de certificados SSL.
Utilizador limitado (Opcional)
Opcionalmente pode preencher os seguintes campos para criar automaticamente um utilizador limitado para a sua nova Instância de Computação. Isto é recomendado para a maioria das implantações como medida de segurança adicional. Esta conta será atribuída à sudo grupo, que fornece permissão elevada ao executar comandos com o sudo
prefixo.
- Utilizador limitado de sudo: Introduza o seu nome de utilizador preferido para o utilizador limitado.
- Palavra-passe para o utilizador limitado: Introduza uma palavra-passe forte para o novo utilizador.
- Chave pública SSH para o utilizador limitado: Se desejar entrar como utilizador limitado através de autenticação de chave pública (sem introduzir uma palavra-passe), introduza aqui a sua chave pública. Ver Criar um par de chaves SSH e Configurar Autenticação de Chave Pública num Servidor para instruções sobre como gerar um par de chaves.
- Desactivar o acesso root sobre SSH: Para bloquear o utilizador root de iniciar sessão sobre SSH, seleccionar Sim (recomendado). Ainda pode mudar para o utilizador root uma vez iniciado a sessão e também pode iniciar a sessão como root através de Lish.
Domínio personalizado (Opcional)
Se desejar configurar automaticamente um domínio personalizado, terá primeiro de configurar o seu domínio para utilizar os servidores de nomes da Linode. Isto é normalmente realizado directamente através do seu registador. Ver Usar os servidores de nomes da Linode com o seu domínio. Uma vez terminado, pode preencher os seguintes campos para a aplicação Marketplace:
- Linode API Token: Se desejar utilizar o Gestor DNS do Linode para gerir os registos DNS do seu domínio personalizado, crie um Linode API Token de Acesso Pessoal na sua conta com acesso de Leitura/Escrita a Domínios. Se isto for fornecido juntamente com os campos do subdomínio e do domínio (descritos abaixo), a instalação tenta criar registos DNS através do Linode API. Consulte Obter um Token de Acesso API . Se não fornecer este campo, terá de configurar manualmente os seus registos DNS através do seu fornecedor de DNS e apontá-los para o endereço IP da nova instância.
- Subdomínio: O subdomínio que deseja utilizar, como por exemplo www para
www.example.com
. - Domínio: O nome de domínio que deseja utilizar, como por exemplo.com.
Começar após a implantação
- Inicie sessão na sua nova instância de computação através de LISH ou SSH usando o utilizador raiz e a palavra-passe associada que introduziu ao criar a instância.
- Se iniciar sessão no mesmo dia em que implantou a aplicação, é exibida uma mensagem com um link para o seu GUI Apache Airflow e o nome de utilizador e palavra-passe a utilizar.
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.
Se não vir esta mensagem, pode emiti-la usando o comando abaixo:
cat /etc/motd
3. Abra o seu web browser e navegue para o URL do fluxo aéreo fornecido no último passo. Este deve ser o domínio personalizado que introduziu durante a implementação ou o domínio rDNS da sua Compute Instance (tal como 192-0-2-1.ip.linodeusercontent.com
). Ver o Gestão de Endereços IP guia de informação sobre a visualização do rDNS.
4. Dentro do aviso de login do Airflow que aparece, introduza as credenciais fornecidas num passo anterior e inicie a sessão.

3. Uma vez que se tenha entrado, aparece o painel de bordo do Airflow. A partir daqui, pode visualizar os DAGs (Gráficos Acíclicos Dirigidos) e aceder a todas as outras áreas do tablier.

6. Pode agora começar a utilizar Apache Airflow. Se não estiver familiarizado com ele, considere a leitura através da documentação oficial ou dos próprios guias de Linode:
- Fluxo de ar > Tutoriais
- Fluxo de ar > Guias de Como Chegar
- Criar Ligações e Variáveis em Apache Fluxo de ar
Advertência
O aplicativo Linode Marketplace app implementa Apache Airflow em modo autónomo, adequado para desenvolvimento, testes, e configurações iniciais. O modo standalone não é recomendado para implantações de produção.
O aplicativo Apache Airflow Marketplace foi construído por Linode. Para apoio relativo à implementação da aplicação, contactar Apoio Linode. Para apoio relativamente à ferramenta ou software em si, visite o fórum da comunidade Airflow.