구글 빅쿼리를 이용한지 벌써 6년이 넘어가고 있지만 제대로 정리한 적이 없어 정리 차원에서 글을 남깁니다.
https://cloud.google.com/bigquery/docs/introduction?hl=ko
구글 빅쿼리(Google BigQuery)의 정의
BigQuery는 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다.
BigQuery의 서버리스 아키텍처에서는 SQL 쿼리를 사용하여 제로 인프라 관리에 관한 조직의 가장 큰 질문을 해결할 수 있습니다. BigQuery의 확장 가능한 분산형 분석 엔진을 통해 테라바이트급 쿼리를 초 단위로 수행하고 페타바이트급 쿼리를 분 단위로 쿼리할 수 있습니다.
BigQuery 아키텍처는 데이터를 수집, 저장, 최적화하는 스토리지 레이어와 분석 기능을 제공하는 컴퓨팅 레이어로 구성됩니다. 이러한 컴퓨팅 및 스토리지 레이어는 둘 사이에 필요한 통신을 가능하게 해주는 Google의 페타비트 규모 네트워크 덕분에 서로 독립적으로 효율적으로 작동합니다.
구글 빅쿼리(Google BigQuery) 무료 사용
BigQuery의 성능 등을 무료로 테스트하려면 빅쿼리 샌드박스를 이용하면 됩니다. 빅쿼리 샌드박스 설정 방법은 https://cloud.google.com/bigquery/docs/sandbox?hl=ko 를 참고하세요.
참고로 GCP 프로젝트를 생성하고 빅쿼리를 실행하면 아래와 같이 [샌드박스]라고 나타납니다.
구글 빅쿼리의 샌드박스를 이용하면 다음고 같이 무료 사용량이 제공됩니다.
빅쿼리 무료 사용량
Google Cloud 무료 등급 혜택 중 하나로 BigQuery의 일부 리소스를 특정 한도까지 무료로 사용할 수 있습니다. 무료 사용량은 무료 체험 기간 및 그 이후에도 사용할 수 있습니다. 그러나 무료 체험 기간 종료 이후 이 사용량 한도를 초과하는 경우에는 이 페이지의 가격 정책에 따라 요금이 청구됩니다. 비용 부담 없이 BigQuery 샌드박스에서 BigQuery의 무료 등급을 사용해 볼 수 있습니다.
| 스토리지 | 매월 처음 10GiB는 무료입니다. | BigQuery에 저장된 BigQuery ML 모델 및 학습 데이터는 BigQuery 스토리지 무료 등급에 포함됩니다. |
| 쿼리(분석) | 매월 처리되는 쿼리 데이터 중 처음 1TiB는 무료입니다. | BigQuery ML 예측, 검사, 평가 기능을 사용하는 쿼리는 BigQuery 분석 무료 등급에 포함됩니다. CREATE MODEL 문을 포함하는 BigQuery ML 쿼리는 포함되지 않습니다. 월정액 요금을 선호하는 대용량 사용 고객을 위한 BigQuery 버전 가격 책정도 제공됩니다. |
| BigQuery ML CREATE MODEL 쿼리 | 매월 CREATE MODEL 문이 포함된 쿼리로 처리되는 데이터의 처음 10GiB는 무료입니다. | BigQuery ML CREATE MODEL 쿼리는 BigQuery 분석 무료 등급에 포함되지 않으며 BigQuery ML 기본 제공 모델(BigQuery에서 학습된 모델)에만 적용됩니다. |
| BI Engine | Looker Studio 사용자의 경우 최대 1GiB의 무료 용량이 제공됩니다. |
빅쿼리 기본 무료 제공 작업
다음 BigQuery 작업은 모든 위치에서 무료로 제공됩니다. 이 작업에는 할당량 및 한도가 적용됩니다.
| 데이터 로드 | 공유 슬롯 풀을 사용하면 무료입니다. 고객은 보장된 용량으로 버전 가격 책정을 선택할 수 있습니다. 데이터가 BigQuery에 로드되면 스토리지 비용이 청구됩니다. 자세한 내용은 데이터 수집 버전 가격 책정을 참조하세요. |
| 데이터 복사 | 테이블 복사에는 요금이 청구되지 않지만 데이터 수집 버전 가격 책정 또는 새 테이블과 복사한 테이블을 저장하면 요금이 청구됩니다. 자세한 내용은 기존 테이블 복사를 참조하세요. |
| 데이터 내보내기 | 공유 슬롯 풀을 사용하면 무료이지만 Cloud Storage에 데이터를 저장하면 요금이 부과됩니다. 고객은 버전 가격 책정을 선택하여 용량을 보장할 수 있습니다. EXPORT DATA SQL 문을 사용하면 쿼리 처리에 대한 요금이 부과됩니다. 자세한 내용은 데이터 내보내기를 참조하세요. |
| 작업 삭제 | 데이터 세트 또는 테이블, 개별 테이블 파티션, 뷰 또는 사용자 정의 함수 삭제에는 요금이 청구되지 않습니다. |
| 메타데이터 작업 | list, get, patch, update, delete 호출 요금은 청구되지 않습니다. 그 예로 데이터 세트 나열, 데이터 세트의 액세스 제어 목록(ACL) 업데이트, 테이블 설명 업데이트 또는 데이터 세트의 사용자 정의 함수 나열 등이 있습니다. BigLake 테이블의 메타데이터 캐싱 작업은 무료 작업에 포함되지 않습니다. |
빅쿼리 사용량 확인하기
BigQuery를 실제 사용하면서 사용한 용량은 다음 경로에서 확인할 수 있습니다.
[IAM 및 관리자] > [할당량 및 시스템 한도] > [BigQuery API] 를 조회 합니다.
구글 빅쿼리 스튜디오(Google BigQuery Studio) 사용하기
BigQuery를 자유롭게 사용하기 위해서는 Google BigQuery Studio를 사용해서 관리할 수 있습니다.
Google Cloud 데이터 분석 제품군을 위한 통합형 공동 작업공간인 BigQuery Studio는 데이터 수집과 준비부터 분석, 탐색, 시각화, 심지어 ML 학습 및 추론에 이르기까지 데이터와 AI 간 워크플로 가속화를 지원합니다. 데이터 실무자에게는 다음과 같은 이점을 제공합니다.
- SQL, Python, Spark, 자연어를 BigQuery 내에서 직접 사용하고 해당 코드 애셋을 Vertex AI를 비롯한 여러 제품의 특수 워크플로에 손쉽게 활용
- CI/CD, 버전 기록, 소스 제어 등 소프트웨어 개발 권장사항을 데이터 애셋까지 확장하여 공동작업 개선
- BigQuery 내에서 데이터 경로, 프로파일링, 품질 전반에 일관된 보안 정책을 즉각 시행하고 유용한 거버넌스 정보 도출
'Architecture for Software > Google BigQuery' 카테고리의 다른 글
| 구글 빅쿼리(Google BigQuery)의 리소스 모델의 이해 (0) | 2024.03.12 |
|---|---|
| 구글 빅쿼리(Google BigQuery) 와 OLTP (0) | 2024.03.12 |
