GrowthHack/BigQuery8 composer : BigQuery to GCS 보호되어 있는 글 입니다. 2021. 7. 14. GCP - composer 사용하기 왜 사용하는가 - 구글에서 공짜로 제공하는 Airflow - ETL관련 크론잡을 GCP에서 할 수 있음. (기존에 윈도우 작업스케줄러 사용했었음) - 대략적인 이해를 원한다면 유투브 영상 추천. 구글 가이드 - 프로젝트 생성 > 컴포저 환경 생성 > DAG 생성 : [Documents] [영상(21분부터)] - 다양한 DAG 사용법 : [Documents]** 1) bash operator : command - gcloud, bq, gsutil, kubectl 2) python operator 3) bigquery operator 4) email operator 컴포저 환경 생성 방법 DAG 생성 방법 0) 로컬 머신에 quickstart.py 파일을 만듭니다. 1) COMPOSER 환경의 DAG 폴더 .. 2021. 6. 21. 예약쿼리 만들기 (스케줄링) 보호되어 있는 글 입니다. 2021. 5. 17. BigQuery - Firebase data set to partitioned tables 보호되어 있는 글 입니다. 2021. 3. 23. 이전 1 2 다음
