メインコンテンツにスキップ

データエンジニアリング・パイプラインのためのオープンソースのワークフロー管理プラットフォーム。

Apache Airflowは、データエンジニアリングパイプラインのためのオープンソースのワークフロー管理プラットフォームです。ワークフローやデータパイプラインの自動化、オーケストレーション、監視に利用することができます。Airflowの最大の特徴は、コードでワークフローを作成し実行できることです。コードによるワークフローを利用することで、ワークフローのバージョン管理、コラボレーション、デバッグが可能になります。

マーケットプレイスアプリのデプロイメント

Linode Marketplaceでは、Cloud Managerを使用してCompute Instanceに簡単にソフトウェアをデプロイすることができます。完全な手順については、Get Started with Marketplace Appsを参照してください。

  1. Cloud Managerにログインし、左のナビゲーションメニューから「Marketplace」リンクを選択します。これにより、LinodeCreateページが表示され、Marketplaceタブがあらかじめ選択されています。
  2. Select App」セクションで、デプロイしたいアプリを選択します。
  3. コンピュートインスタンスの作成」ガイドの手順とアドバイスに従って、フォームに記入します。選択したMarketplace Appによっては、追加の設定オプションが利用できる場合があります。この Marketplace App で利用できる互換性のあるディストリビューション、推奨プラン、および追加の構成オプションについては、以下の「構成オプション」セクションを参照してください。
  4. Linodeの作成]ボタンをクリックします。Compute Instanceがプロビジョニングされ、完全に電源が入ったら、ソフトウェアのインストールが完了するのを待ちます。この前にインスタンスの電源を切ったり再起動したりすると、ソフトウェアのインストールに失敗する可能性があります。
  5. アプリが完全にインストールされたことを確認するには、「Get Started with Marketplace Apps > Verify Installation(マーケットプレイスアプリを始める)」を参照してください。インストールが完了したら、「Getting Started After Deployment」セクションの指示に従って、アプリケーションにアクセスし、使用を開始します。

導入時間の目安 Apache Airflowは、Compute Instanceのプロビジョニング終了後、10-15分以内に完全にインストールされるはずです。

  • 対応ディストリビューション Ubuntu 20.04 LTS
  • 推奨する最小限のプランです。 すべてのプランタイプ、サイズが使用可能です。

Apache エアフローオプション

  • メールアドレス (必須)。 SSL証明書の生成に使用するEメールアドレス。

限定ユーザー(オプション)

オプションで以下のフィールドに入力すると、新しいCompute Instanceの限定ユーザーを自動的に作成することができます。これは、追加のセキュリティ対策として、ほとんどのデプロイメントで推奨されています。このアカウントは スッド グループでコマンドを実行する際に、昇格されたパーミッションを提供します。 sudo の接頭辞があります。

  • sudoの限定ユーザー。制限付きユーザーとして希望するユーザー名を入力します。
  • 限定ユーザーのパスワード。新しいユーザーのための強力なパスワードを入力します。
  • 限定ユーザのSSH公開鍵。公開鍵認証で(パスワードを入力せずに)限定ユーザーとしてログインする場合は、ここに公開鍵を入力します。鍵ペアの生成方法については、「SSH鍵ペアの作成」および「サーバーでの公開鍵認証の設定」を参照してください。
  • Disable root access over SSH:ルートユーザーがSSHでログインできないようにするには、[はい]を選択します(推奨)。ただし、一度ログインした後はrootユーザーに切り替えることができ、Lishからrootでログインすることも可能です。

カスタムドメイン(オプション)

カスタムドメインを自動的に設定したい場合は、まず、Linodeのネームサーバーを使用するようにドメインを設定する必要があります。これは通常、レジストラを通じて直接行われます。あなたのドメインでLinodeのネームサーバーを使用するを参照してください。これが完了したら、マーケットプレイスアプリの次のフィールドに入力することができます。

  • LinodeAPI Token:カスタムドメインのDNSレコードを管理するためにLinodeのDNS Managerを使用したい場合、Domainsへの読み書きアクセス権を持つアカウントにLinodeAPI Personal Access Tokenを作成します。これがサブドメインとドメインフィールド(以下に概説)と共に提供される場合、インストールはLinodeAPI を介してDNSレコードを作成しようとします。 API アクセストークンを取得するを参照してください。このフィールドを提供しない場合は、DNSプロバイダを介してDNSレコードを手動で設定し、新しいインスタンスのIPアドレスを指定する必要があります。
  • サブドメインです。 など、使用したいサブドメインを指定します。 www にとって www.example.com.
  • ドメイン。 example.comのように、使用したいドメイン名です。

展開後のスタートアップ

  1. インスタンス作成時に入力したルートユーザーと関連するパスワードを使用して、LISHまたはSSHで新しいコンピュート・インスタンスにログインします。
  2. アプリを展開した当日にログインすると、Apache Airflow GUIへのリンクと、使用するユーザー名とパスワードがメッセージで表示されます。
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.

このメッセージが表示されない場合は、以下のコマンドで出力することができます。

cat /etc/motd

3.Webブラウザを開き、最後のステップで提供されたAirflow URLに移動します。これは、デプロイ時に入力したカスタムドメイン、またはCompute InstanceのrDNSドメイン(例えば、「Security」)である必要があります。 192-0-2-1.ip.linodeusercontent.com).をご覧ください。 IPアドレスの管理 のガイドを参照し、rDNSの表示方法を確認してください。

4.表示されるAirflowログインプロンプトで、前のステップで提供された認証情報を入力し、サインインします。

3.サインインすると、Airflow ダッシュボードが表示されます。ここから、DAG(Directed Acyclic Graphs)を表示し、ダッシュボードの他のすべての領域にアクセスすることができます。

6.これでApache Airflow を使い始めることができます。もし慣れていなければ、公式ドキュメントやLinode自身のガイドに目を通すことを検討してください。

警告

Linode Marketplaceアプリは、開発、テスト、初期設定に適したスタンドアローンモードでApache Airflowをデプロイします。スタンドアロンモードは、本番環境でのデプロイメントには推奨されません。

Apache Airflow MarketplaceアプリはLinodeによって構築されました。アプリのデプロイメントに関するサポートは、以下までご連絡ください。 Linodeサポート.ツールまたはソフトウェア自体に関するサポートは、Airflowコミュニティフォーラムをご覧ください。