データエンジニアリング・パイプラインのためのオープンソースのワークフロー管理プラットフォーム。
Apache Airflowは、データエンジニアリングパイプラインのためのオープンソースのワークフロー管理プラットフォームです。ワークフローやデータパイプラインの自動化、オーケストレーション、監視に利用することができます。Airflowの最大の特徴は、コードでワークフローを作成し実行できることです。コードによるワークフローを利用することで、ワークフローのバージョン管理、コラボレーション、デバッグが可能になります。
マーケットプレイスアプリのデプロイメント
Linode Marketplaceでは、Cloud Managerを使用してCompute Instanceに簡単にソフトウェアをデプロイすることができます。完全な手順については、Get Started with Marketplace Appsを参照してください。
- Cloud Managerにログインし、左のナビゲーションメニューから「Marketplace」リンクを選択します。これにより、LinodeCreateページが表示され、Marketplaceタブがあらかじめ選択されています。
- Select App」セクションで、デプロイしたいアプリを選択します。
- コンピュートインスタンスの作成」ガイドの手順とアドバイスに従って、フォームに記入します。選択したMarketplace Appによっては、追加の設定オプションが利用できる場合があります。この Marketplace App で利用できる互換性のあるディストリビューション、推奨プラン、および追加の構成オプションについては、以下の「構成オプション」セクションを参照してください。
- Linodeの作成]ボタンをクリックします。Compute Instanceがプロビジョニングされ、完全に電源が入ったら、ソフトウェアのインストールが完了するのを待ちます。この前にインスタンスの電源を切ったり再起動したりすると、ソフトウェアのインストールに失敗する可能性があります。
- アプリが完全にインストールされたことを確認するには、「Get Started with Marketplace Apps > Verify Installation（マーケットプレイスアプリを始める）」を参照してください。インストールが完了したら、「Getting Started After Deployment」セクションの指示に従って、アプリケーションにアクセスし、使用を開始します。
導入時間の目安 Apache Airflowは、Compute Instanceのプロビジョニング終了後、10-15分以内に完全にインストールされるはずです。
- 対応ディストリビューション Ubuntu 20.04 LTS
- 推奨する最小限のプランです。 すべてのプランタイプ、サイズが使用可能です。
Apache エアフローオプション
- メールアドレス （必須）。 SSL証明書の生成に使用するEメールアドレス。
限定ユーザー（オプション）
オプションで以下のフィールドに入力すると、新しいCompute Instanceの限定ユーザーを自動的に作成することができます。これは、追加のセキュリティ対策として、ほとんどのデプロイメントで推奨されています。このアカウントは スッド グループでコマンドを実行する際に、昇格されたパーミッションを提供します。 sudo の接頭辞があります。
- sudoの限定ユーザー。制限付きユーザーとして希望するユーザー名を入力します。
- 限定ユーザーのパスワード。新しいユーザーのための強力なパスワードを入力します。
- 限定ユーザのSSH公開鍵。公開鍵認証で（パスワードを入力せずに）限定ユーザーとしてログインする場合は、ここに公開鍵を入力します。鍵ペアの生成方法については、「SSH鍵ペアの作成」および「サーバーでの公開鍵認証の設定」を参照してください。
- Disable root access over SSH：ルートユーザーがSSHでログインできないようにするには、［はい］を選択します（推奨）。ただし、一度ログインした後はrootユーザーに切り替えることができ、Lishからrootでログインすることも可能です。
カスタムドメイン(オプション)
カスタムドメインを自動的に設定したい場合は、まず、Linodeのネームサーバーを使用するようにドメインを設定する必要があります。これは通常、レジストラを通じて直接行われます。あなたのドメインでLinodeのネームサーバーを使用するを参照してください。これが完了したら、マーケットプレイスアプリの次のフィールドに入力することができます。
- LinodeAPI Token:カスタムドメインのDNSレコードを管理するためにLinodeのDNS Managerを使用したい場合、Domainsへの読み書きアクセス権を持つアカウントにLinodeAPI Personal Access Tokenを作成します。これがサブドメインとドメインフィールド(以下に概説)と共に提供される場合、インストールはLinodeAPI を介してDNSレコードを作成しようとします。 API アクセストークンを取得するを参照してください。このフィールドを提供しない場合は、DNSプロバイダを介してDNSレコードを手動で設定し、新しいインスタンスのIPアドレスを指定する必要があります。
- サブドメインです。 など、使用したいサブドメインを指定します。 www にとって
www.example.com. - ドメイン。 example.comのように、使用したいドメイン名です。
展開後のスタートアップ
- インスタンス作成時に入力したルートユーザーと関連するパスワードを使用して、LISHまたはSSHで新しいコンピュート・インスタンスにログインします。
- アプリを展開した当日にログインすると、Apache Airflow GUIへのリンクと、使用するユーザー名とパスワードがメッセージで表示されます。
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.このメッセージが表示されない場合は、以下のコマンドで出力することができます。
cat /etc/motd
3.Webブラウザを開き、最後のステップで提供されたAirflow URLに移動します。これは、デプロイ時に入力したカスタムドメイン、またはCompute InstanceのrDNSドメイン（例えば、「Security」）である必要があります。 192-0-2-1.ip.linodeusercontent.com).をご覧ください。 IPアドレスの管理 のガイドを参照し、rDNSの表示方法を確認してください。
4.表示されるAirflowログインプロンプトで、前のステップで提供された認証情報を入力し、サインインします。
3.サインインすると、Airflow ダッシュボードが表示されます。ここから、DAG（Directed Acyclic Graphs）を表示し、ダッシュボードの他のすべての領域にアクセスすることができます。
6.これでApache Airflow を使い始めることができます。もし慣れていなければ、公式ドキュメントやLinode自身のガイドに目を通すことを検討してください。
警告
Linode Marketplaceアプリは、開発、テスト、初期設定に適したスタンドアローンモードでApache Airflowをデプロイします。スタンドアロンモードは、本番環境でのデプロイメントには推奨されません。
Apache Airflow MarketplaceアプリはLinodeによって構築されました。アプリのデプロイメントに関するサポートは、以下までご連絡ください。 Linodeサポート.ツールまたはソフトウェア自体に関するサポートは、Airflowコミュニティフォーラムをご覧ください。
