데이터 엔지니어링 파이프라인을 위한 오픈 소스 워크플로 관리 플랫폼.
Apache Airflow 는 데이터 엔지니어링 파이프라인을 위한 오픈 소스 워크플로 관리 플랫폼입니다. 이를 사용하여 워크플로 및 데이터 파이프라인을 자동화, 오케스트레이션 및 모니터링할 수 있습니다. Airflow의 가장 큰 기능 중 하나는 코드로 워크플로를 만들고 실행할 수 있다는 것입니다. 코드로 구동되는 워크플로를 사용하면 워크플로의 버전을 제어하고, 공동 작업하고, 디버깅할 수 있습니다.
마켓플레이스 앱 배포
리노드 마켓플레이스를 사용하면 클라우드 관리자를 사용하여 컴퓨팅 인스턴스에 소프트웨어를 쉽게 배포할 수 있습니다. 전체 단계에 대한 마켓플레이스 앱으로 시작하세요.
- 클라우드 관리자에 로그인하고 왼쪽 탐색 메뉴에서 마켓플레이스 링크를 선택합니다. 이렇게 하면 마켓플레이스 탭이 미리 선택된 리노드 만들기 페이지가 표시됩니다.
- 앱 선택 섹션에서 배포할 앱을 선택합니다.
- 계산 인스턴스 만들기 가이드 내에서 단계와 조언을 수행하여 양식을 작성합니다. 선택한 마켓플레이스 앱에 따라 추가 구성 옵션이 있을 수 있습니다. 호환 되는 배포, 권장 된 계획 및 이 마켓 플레이스 앱에 사용할 수 있는 추가 구성 옵션에 대 한 아래 구성 옵션 섹션을 참조 하십시오.
- 리노드 만들기 단추를 클릭합니다. Compute 인스턴스가 프로비전되고 완전히 전원이 켜지면 소프트웨어 설치가 완료될 때까지 기다립니다. 이 시간 전에 인스턴스가 전원을 끄거나 다시 시작하면 소프트웨어 설치가 실패할 수 있습니다.
- 앱이 완전히 설치되었는지 확인하려면 마켓플레이스 앱으로 시작하기 > 설치를 확인하십시오. 설치한 후 배포 시작 섹션 내의 지침을 따라 응용 프로그램에 액세스하고 사용을 시작합니다.
예상 배포 시간: Apache 공기 흐름은 컴퓨팅 인스턴스가 프로비전을 완료한 후 10-15분 내에 완전히 설치되어야 합니다.
- 지원되는 배포판: Ubuntu 20.04 LTS
- 권장 최소 계획: 모든 플랜 유형 및 크기를 사용할 수 있습니다.
Apache 공기 흐름 옵션
- 이메일 주소(필수): SSL 인증서를 생성하는 데 사용할 이메일 주소 입니다.
제한된 사용자(선택 사항)
선택적으로 다음 필드를 작성하여 새 계산 인스턴스에 대해 제한된 사용자를 자동으로 만들 수 있습니다. 이 방법은 대부분의 배포에 추가 보안 조치로 권장됩니다. 이 계정은 스도 () 명령을 실행할 때 높은 권한을 제공하는 그룹( sudo 접두사.
- 한정 된 sudo 사용자: 제한된 사용자에 대해 기본 사용자 이름을 입력합니다.
- 제한된 사용자를 위한 암호: 새 사용자에 대한 강력한 암호를 입력합니다.
- 제한된 사용자를 위한 SSH 공개 키: 공개 키 인증을 통해(암호를 입력하지 않고) 제한된 사용자로 로그인하려면 여기에서 공개 키를 입력합니다. 키 쌍을 생성하는 방법에 대한 지침은 서버에서 SSH 키 쌍 만들기 및 공용 키 인증 구성을 참조하십시오.
- SSH를 통해 루트 액세스를 사용하지 않도록 설정합니다. 루트 사용자가 SSH 를 통해 로그인하지 못하도록 차단하려면 예(권장)를 선택합니다. 로그인한 후에도 루트 사용자로 전환할 수 있으며 Lish를 통해 루트로 로그인할 수도 있습니다.
사용자 지정 도메인(선택 사항)
사용자 지정 도메인을 자동으로 구성하려면 먼저 Linode의 이름 서버를 사용하도록 도메인을 구성해야 합니다. 이 작업은 일반적으로 등록 기관을 통해 직접 수행됩니다. 도메인에 Linode의 이름 서버 사용을 참조하십시오. 이 작업이 완료되면 마켓플레이스 앱에 대한 다음 필드를 채울 수 있습니다.
- 리노드 (주) API 토큰: Linode의 DNS 관리자를 사용하여 사용자 지정 도메인에 대한 DNS 레코드를 관리하려면 Linode를 만듭니다. API 도메인에 대한 읽기/쓰기 액세스가 있는 계정의 개인 액세스 토큰입니다. 하위 도메인 및 도메인 필드(아래에 설명된)와 함께 제공되는 경우 설치는 Linode를 통해 DNS 레코드를 만들려고 시도합니다.API. 보다API 액세스 토큰. 이 필드를 제공하지 않는 경우 DNS 공급자를 통해 DNS 레코드를 수동으로 구성하고 새 인스턴스의 IP 주소를 가리키야 합니다.
- 하위 도메인: 사용하려는 하위 도메인(예: www 때문에
www.example.com. - 도메인: example.com 등 사용하려는 도메인 이름입니다.
배포 후 시작하기
- 인스턴스를 생성할 때 입력한 루트 사용자 및 연결된 암호를 사용하여 LISH 또는 SSH를 통해 새 컴퓨팅 인스턴스에 로그인합니다.
- 앱을 배포한 당일에 로그인하면 Apache 공기 흐름 GUI 및 사용할 사용자 이름 및 암호.
The installation of Apache Airflow is now complete, and the application is running in standalone mode.
#
You can log into the Airflow GUI at 192-0-2-170.ip.linodeusercontent.com
With the credentials:
Username: admin
Password: pNbgWNDhYcRNvgRq
#
Standalone mode is not recommended for production.이 메시지가 표시되지 않으면 아래 명령을 사용하여 출력할 수 있습니다.
cat /etc/motd
3. 웹 브라우저를 열고 마지막 단계에서 제공한 Airflow URL로 이동합니다. 이 도메인은 배포 중에 입력한 사용자 지정 도메인 또는 컴퓨팅 인스턴스의 rDNS 도메인(예: 192-0-2-1.ip.linodeusercontent.com). IP 주소 관리 rDNS 보기에 대한 자세한 내용은 가이드입니다.
4. 표시되는 Airflow 로그인 프롬프트에서 이전 단계에서 제공한 자격 증명을 입력하고 로그인합니다.
3. 로그인하면 에어플로우 대시보드가 나타납니다. 여기에서 DAG(방향성 비순환 그래프)를 보고 대시보드의 다른 모든 영역에 액세스할 수 있습니다.
6. 이제 사용을 시작할 수 있습니다. Apache 공기 흐름. 익숙하지 않은 경우 공식 문서 또는 Linode의 자체 가이드를 읽어보십시오.
경고
리노드 마켓플레이스 앱이 배포됩니다. Apache 독립 실행형 모드의 공기 흐름으로 개발, 테스트 및 초기 구성에 적합합니다. 독립 실행형 모드는 프로덕션 배포에 권장되지 않습니다.
그 Apache Airflow Marketplace 앱은 Linode에 의해 구축되었습니다. 앱 배포에 대한 지원은 Linode 지원에 문의하십시오. 도구 또는 소프트웨어 자체에 대한 지원을 받으려면 Airflow 커뮤니티 포럼을 방문하십시오.
