전체 글

Data Camp vs Data Quest

Data Camp Data Camp에서는 Python, Scala 등 많은 언어와 tool을 다룬다. 예를 들어 pi spark, airflow, postgres, mongodb, hadoop, hive, presto 등 Data Engineer가 다룰 수 있는 모든 tool에 대한 강의를 제공한다. 하지만 Data Quest와 다르게 Python과 SQL에 대한 지식이 어느 정도 있다는 전제 하에 강의를 제공하기 때문에 기본 지식을 갖추고 강의를 들을 필요가 있다. Url of the Data Camp : Data Camp Data Quest 앞서 말했던 것과 같이, Data Quest에서는 Python, SQL에 대한 Fundamental knowledge를 긴 시간동안 투자한다. Python -> ..

[SQL] Writing Efficient Queries

1. Some useful functions show_amount_of_data_scanned() shows the amount of data the query uses show_time_to_run() prints how long it takes for the query to execute from google.cloud import bigquery from time import time client = bigquery.Client() def show_amount_of_data_scanned(query): # dry_run lets us see how much data the query uses without running it dry_run_config = bigquery.QueryJobConfig(..

[SQL] Nested and Repeated Data

1. Nested data https://cookiethecat2020.blogspot.com/2020/06/array-struct.html 빅쿼리(BigQuery)의 Array(repeated)와 Struct(nested) 데이터 타입 완전 정복하기 빅쿼리(BigQuery)의 반복되는 (repeated) 배열(array)와 중첩되는(nested) 스트럭트(struct) 데이터 구조 이해하기 #bigquery #빅쿼리 #array #struct cookiethecat2020.blogspot.com Consider a hypothetical dataset containing information about pets and their toys. We could organize this information ..

[SQL] Analytic Functions

1. What is Analytic Functions ? 분석 함수는 Aggregate Function 의 계산을 지정하는 행 그룹을 기반으로 계산해서 각 그룹에 대해 여러 행을 반환할 수 있는 Function을 말한다. 일반적으로 누적 계산, 집계 및 보고용 결과를 질의 할 때 유용하게 사용할 수 있으며 복잡한 질의를 보다 간편하고 빠르게 실행할 수 있게 도와준다. https://oukr.tistory.com/49 Analytic Function (분석 함수) Analytic Function (분석 함수) 분석 함수는 Aggregate Function 의 계산을 지정하는 행 그룹을 기반으로 계산하여 각 그룹에 대해 여러 행을 반환 할 수 있는 Function 을 말합니다. 일반적으로 누적 계산, 집 o..