본문 바로가기

Architecture for Software

(87)
구글 빅쿼리(Google BigQuery)의 리소스 모델의 이해 Google Cloud Platform에서 BigQuery를 사용할 때 리소스의 계층 하나의 조직(Organization)은 여러 프로젝트(Project)를 가질 수 있으며, 프로젝트 안에는 여러 데이터세트(Dataset)를 가지고 있습니다. 데이터세트 안에는 테이블(Table)과 ML Model 등이 있으며, Job이 실행되어 데이터 조작(Data Manipulation)을 합니다. 빅쿼리와 RDBMS 데이터 구조 비교 일반적인 RDBMS와 빅쿼리를 비교하면 다음과 같습니다. BigQuery (DW) RDBMS 데이터 모델 열 기반 행 기반 데이터 저장 분산 파일 시스템 페이지 기반 저장 스키마 동적 스키마 정적 스키마 파티셔닝 지원 지원 클러스터링 자동 수동 쿼리 처리 병렬 처리 단일 노드 처리 데이..
구글 빅쿼리(Google BigQuery) 와 OLTP OLTP(Online Transaction Process) 실시간으로 트랜잭션을 처리하는 데이터베이스 시스템 OLTP란 OLTP는 완전무결하게 거래(Transaction)을 처리하기 위해서 사용하는 데이터베이스 시스템입니다. OLTP는 데이터가 무결하며, 데이터의 추가(INSERT)나 변경(UPDATE)가 많이 발생합니다. OLTP(Online Transactional Processing)는 ATM 및 온라인 뱅킹, 금전 등록기, 전자상거래 그리고 우리가 매일 상호작용하는 수많은 기타 서비스를 위한 신속하고 정확한 데이터 처리를 가능하게 합니다. OLTP(Online Transactional Processing)는 일반적으로 인터넷을 통해 많은 사람들이 많은 데이터베이스 트랜잭션을 실시간으로 실행할 수 ..
구글 빅쿼리(Google BigQuery)와 빅쿼리 스튜디오 구글 빅쿼리를 이용한지 벌써 6년이 넘어가고 있지만 제대로 정리한 적이 없어 정리 차원에서 글을 남깁니다. https://cloud.google.com/bigquery/docs/introduction?hl=ko 구글 빅쿼리(Google BigQuery)의 정의 BigQuery는 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다. BigQuery의 서버리스 아키텍처에서는 SQL 쿼리를 사용하여 제로 인프라 관리에 관한 조직의 가장 큰 질문을 해결할 수 있습니다. BigQuery의 확장 가능한 분산형 분석 엔진을 통해 테라바이트급 쿼리를 초 단위로 수행하고 페타바이트급 쿼리를 분 단위로 쿼리할 수..
[Lib] 사이킷런(scikit-learn) 사이킷런 (Scikit-Learn) 이란 Python을 대표하는 Open Source 기반의 ML 라이브러리 입니다. 사용법이 쉽고 ML 알고리즘이 효율적으로 구현되어 대표적으로 활용되고 있습니다. https://scikit-learn.org/ scikit-learn: machine learning in Python — scikit-learn 0.16.1 documentation scikit-learn.org
[Python] 아나콘다(Anaconda) 아나콘다(Anaconda)란 ML이나 데이터 분석 등에 사용하는 여러가지 패키지가 기본적으로 포함되어있는 파이썬 무료 배포판 으로 Windows 에서 쉽게 Jupiter Notebook과 같은 파이썬 개발 환경을 구성할 수 있습니다. https://www.anaconda.com/ Unleash AI Innovation and Value | Anaconda Accelerate growth efficiently for everyone with the AI and data science experts. www.anaconda.com 만약 Windows 환경에서 Python 개발을 한다면 pip 사용이 쉽지 않으므로 아나콘다 사용을 강력히 권장합니다. 위의 사이트에서 아나콘다 배포판을 다운로드 받아 설치하시기 ..
[CSB #1] CSB(Cloud Services Brokerage)의 필요성에 대하여 안녕하세요~ 장선진입니다. 최근 CSB(Cloud Services Brokerage)에 대한 관심이 높아져가고 있습니다.이에 따라 CSB에 대한 내용을 개인적으로 정리하였습니다. 우선 1차적인 정리인데 추후 더욱 보강하여 정리하고자 합니다. 그리고 여러분과 함께 공유하고자 이렇게 포스팅합니다. 연재 형식으로 포스팅할 예정이며, 원문 전체는 여기에서 보실 수 있습니다. 보시고 궁금하신 부분 등에 의견주세요~ :-) CSB(Cloud Services Brokerage)의 필요성CSB 관련 현황최근 클라우드 이용이 확산되면서 다양한 클라우드 컴퓨팅 플랫폼을 이용할 수 있도록 지원하는 CSB의 필요성이 대두되고 있다. CSB는 개인과 기업 등이 클라우드 컴퓨팅을 이용함에 있어 필요한 제반 서비스를 공급하고 더 ..
GAE 세미나 자료를 올립니다. 안녕하세요~ 장선진입니다. 지난번에 전자신문사 주최로 Google App Engine 세미나를 주최했었습니다. 자세한 내용은 다음과 같습니다. 여러분들께서 세미나때 사용한 PPT를 요청하셔서 이렇게 올려드립니다. 좋은 참고가 되었으면 좋겠네요~1 S01 gae and_hybrid_app_v1.0 View more presentations from Sun-Jin Jang S02 hybrid app_and_gae_restful_architecture_v2.0 View more presentations from Sun-Jin Jang S03 hybrid app_and_gae_datastore_v1.0 View more presentations from Sun-Jin Jang S04 hybrid app_and_..
KT UCloud 서비스를 사용하면서 안녕하세요~ 장선진입니다. 평소 구글앱엔진(Google App Engine) 등 클라우드 컴퓨팅(Cloud Computing)에 많은 관심을 가지고 있었는데, 얼마전에 KT에서 UCloud라는 IaaS(Infrastructure as a Service)형 클라우드 컴퓨팅 서비스를 내놓았습니다. 평소 PaaS(Platform as a Service)형 클라우드 컴퓨팅에 많은 관심을 가지고 있었지만, 최근 IaaS형 클라우드 컴퓨팅 서비스 역시 나름의 가치가 있고 Amazon의 S3를 하이브리드하게 연동하여 활용한 사례들을 보면서 클라우드 컴퓨팅 기술을 연합하여 활용하는 것이 큰 가치가 있다고 생각합니다. IaaS형 클라우드 컴퓨팅의 한계는 기존의 웹 호스팅과 유사한 구조를 가지고 있다는 점입니다. 하지만 ..