Apache Fluxo de ar

Plataforma de gestão de fluxo de trabalho de fonte aberta para gasodutos de engenharia de dados.

Apache Airflow é uma plataforma de gestão de fluxo de trabalho de fonte aberta para gasodutos de engenharia de dados. Pode utilizá-la para automatizar, orquestrar, e monitorizar fluxos de trabalho e condutas de dados. Uma das maiores características do Airflow é que pode criar e executar fluxos de trabalho com código. Quando utiliza fluxos de trabalho que são alimentados por código, pode controlar a versão, colaborar e depurar os seus fluxos de trabalho.

Implementação de uma aplicação de mercado

O Linode Marketplace permite-lhe implementar facilmente software numa Instância de Computação utilizando o Cloud Manager. Ver Começar com o Marketplace Apps para passos completos.

1. Inicie sessão no Gestor de Nuvens e seleccione a ligação Marketplace a partir do menu de navegação à esquerda. Isto exibe a página Criar Linode com o separador Marketplace pré-seleccionado.
2. Sob a secção Seleccionar aplicação, seleccione a aplicação que gostaria de implementar.
3. Preencher o formulário seguindo os passos e conselhos do guia Criar uma Computação de Instância. Dependendo da aplicação Marketplace que seleccionou, pode haver opções de configuração adicionais disponíveis. Ver a secção Opções de Configuração abaixo para distribuições compatíveis, planos recomendados, e quaisquer opções de configuração adicionais disponíveis para esta aplicação do Marketplace.
4. Clique no botão Criar Linode. Uma vez que a Instância de Cálculo tenha sido provisionada e esteja totalmente ligada, aguarde que a instalação do software esteja concluída. Se a instância for desligada ou reiniciada antes deste momento, a instalação do software provavelmente falhará.
5. Para verificar se o aplicativo foi totalmente instalado, ver Começar com o Marketplace Apps > Verificar a instalação. Uma vez instalada, siga as instruções na secção Começar após a instalação para aceder à aplicação e começar a utilizá-la.

Tempo estimado de implantação: Apache O fluxo de ar deve ser totalmente instalado dentro de 10-15 minutos após a Comissão de Cálculo ter terminado o aprovisionamento.

• Distribuições suportadas: Ubuntu 20.04 LTS
• Plano mínimo recomendado: Podem ser utilizados todos os tipos e tamanhos de planos.

Apache Opções de fluxo de ar

• Endereço de correio electrónico (obrigatório) : O endereço de correio electrónico a utilizar para a geração de certificados SSL.

Utilizador limitado (Opcional)

Opcionalmente pode preencher os seguintes campos para criar automaticamente um utilizador limitado para a sua nova Instância de Computação. Isto é recomendado para a maioria das implantações como medida de segurança adicional. Esta conta será atribuída à sudo grupo, que fornece permissão elevada ao executar comandos com o sudo prefixo.

• Utilizador limitado de sudo: Introduza o seu nome de utilizador preferido para o utilizador limitado.
• Palavra-passe para o utilizador limitado: Introduza uma palavra-passe forte para o novo utilizador.
• Chave pública SSH para o utilizador limitado: Se desejar entrar como utilizador limitado através de autenticação de chave pública (sem introduzir uma palavra-passe), introduza aqui a sua chave pública. Ver Criar um par de chaves SSH e Configurar Autenticação de Chave Pública num Servidor para instruções sobre como gerar um par de chaves.
• Desactivar o acesso root sobre SSH: Para bloquear o utilizador root de iniciar sessão sobre SSH, seleccionar Sim (recomendado). Ainda pode mudar para o utilizador root uma vez iniciado a sessão e também pode iniciar a sessão como root através de Lish.

Domínio personalizado (Opcional)

Se desejar configurar automaticamente um domínio personalizado, terá primeiro de configurar o seu domínio para utilizar os servidores de nomes da Linode. Isto é normalmente realizado directamente através do seu registador. Ver Usar os servidores de nomes da Linode com o seu domínio. Uma vez terminado, pode preencher os seguintes campos para a aplicação Marketplace:

• Linode API Token: Se desejar utilizar o Gestor DNS do Linode para gerir os registos DNS do seu domínio personalizado, crie um Linode API Token de Acesso Pessoal na sua conta com acesso de Leitura/Escrita a Domínios. Se isto for fornecido juntamente com os campos do subdomínio e do domínio (descritos abaixo), a instalação tenta criar registos DNS através do Linode API. Consulte Obter um Token de Acesso API . Se não fornecer este campo, terá de configurar manualmente os seus registos DNS através do seu fornecedor de DNS e apontá-los para o endereço IP da nova instância.
• Subdomínio: O subdomínio que deseja utilizar, como por exemplo www para www.example.com.
• Domínio: O nome de domínio que deseja utilizar, como por exemplo.com.

Começar após a implantação

1. Inicie sessão na sua nova instância de computação através de LISH ou SSH usando o utilizador raiz e a palavra-passe associada que introduziu ao criar a instância.
2. Se iniciar sessão no mesmo dia em que implantou a aplicação, é exibida uma mensagem com um link para o seu GUI Apache Airflow e o nome de utilizador e palavra-passe a utilizar.

The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

Se não vir esta mensagem, pode emiti-la usando o comando abaixo:

cat /etc/motd

3. Abra o seu web browser e navegue para o URL do fluxo aéreo fornecido no último passo. Este deve ser o domínio personalizado que introduziu durante a implementação ou o domínio rDNS da sua Compute Instance (tal como 192-0-2-1.ip.linodeusercontent.com). Ver o Gestão de Endereços IP guia de informação sobre a visualização do rDNS.

4. Dentro do aviso de login do Airflow que aparece, introduza as credenciais fornecidas num passo anterior e inicie a sessão.

3. Uma vez que se tenha entrado, aparece o painel de bordo do Airflow. A partir daqui, pode visualizar os DAGs (Gráficos Acíclicos Dirigidos) e aceder a todas as outras áreas do tablier.

6. Pode agora começar a utilizar Apache Airflow. Se não estiver familiarizado com ele, considere a leitura através da documentação oficial ou dos próprios guias de Linode:

• Fluxo de ar > Tutoriais
• Fluxo de ar > Guias de Como Chegar
• Criar Ligações e Variáveis em Apache Fluxo de ar

Advertência

O aplicativo Linode Marketplace app implementa Apache Airflow em modo autónomo, adequado para desenvolvimento, testes, e configurações iniciais. O modo standalone não é recomendado para implantações de produção.

O aplicativo Apache Airflow Marketplace foi construído por Linode. Para apoio relativo à implementação da aplicação, contactar Apoio Linode. Para apoio relativamente à ferramenta ou software em si, visite o fórum da comunidade Airflow.