Study Log

Snowflake 컨테이너 계층 구조OrganizationAccount (Snowflake 인스턴스)Account-Level Objects (User, Role, Warehouse 등)DatabaseSchemaTablwe, View, Procedure, File Format, Stream 등계정 간 테이블 직접 접근은 불가하며, 반드시 Secure Share 기능을 통해야 함 (A 회사의 Snowflake 계정에서 B 회사의 Snowflake 계정의 테이블에 접근하는 것이 불가능하다는 의미) Secure Share 작동 방식1. 공급자(Snowflake 계정 A)CREATE SHARE myshare;GRANT USAGE ON DATABASE mydb TO SHARE myshare;ADD TABLE myt..

1. 주요 클라우드 플랫폼(AWS, Azure, GCP) 지원Snowflake는 세 가지 주요 클라우드 플랫폼 모두에서 운영 가능.데이터는 GCP에 있어도, AWS에 위치한 Snowflake 인스턴스에서 로드 가능 (크로스 클라우드 로딩).가격 정책은 클라우드 플랫폼이 아닌 Snowflake 에디션 기준으로 결정됨.보안 및 컴플라이언스 기능 (SOC, HIPAA 등)은 모든 클라우드에서 동일하게 제공.2. 무제한 스토리지와 컴퓨트 확장성완전한 클라우드 네이티브 구조로 무한한 수평 확장 가능.컴퓨트는 초 단위 요금제, 저장소는 압축 평균 기준 일별 과금.사용한 만큼만 비용 지불(Pay-as-you-go) → 비용 효율적.3. Data Platform as a Service하드웨어/소프트웨어 설치, 유지보수..

항목Snowflake전통적/기존 솔루션아키텍처3계층 분리 - Storage / Compute / Cloud Services대부분 Storage-Compute 결합 구조확장성Compute, Storage 독립적 무제한 확장, 자동 조정 가능수동 확장 필요, 클러스터 재배치/증설 필요비용 구조초 단위 과금, Pay-as-you-go고정형 인프라 과금(예약 인스턴스, 노드 수 기준 등)SQL 지원ANSI SQL 100% 지원 + 객체 생성/관리까지 SQL로 처리SQL은 질의용, 인프라/운영은 별도 도구 필요데이터 공유Secure Data Sharing (복사 없음), Reader Account 지원ETL 또는 파일 복사 방식만 지원Zero-Copy Clone복사 없이 개발/테스트 환경 생성 가능 (즉시, 무료..

Snowsight란?기존 Legacy Web UI의 대체 UI로 설계된 Snowflake의 새로운 웹 인터페이스SQL Worksheet, Dashboard, Data 탐색, 시각화 등 생산성을 높이는 다양한 기능 내장현재 Preview 모드이며, 일부 기능은 계속 개발/보완 중정부 클라우드 리전(Gov regions)을 제외한 모든 에디션에서 사용 가능항목Legacy Web UISnowsightUI 구조탭 기반 분산 구조기능별 그룹화된 메뉴 (Profile, Worksheet, Data 등)폴더 / 대시보드없음있음Worksheet 공유없음있음Data Profiling 없음있음 (Power BI 유사 시각화)Role 전환수동 / 명령어 필요UI에서 손쉽게 가능Git 연동없음지원 예정Script 덮어쓰기경고..

Menu 소개Notification -> Account Admin만 볼 수 있음Partner ConnectService Partner vs Partner Connect 도구데이터 온보딩, 변환 툴 연결App Preview -> SnowSite(신 UI) 탭으로 이동Databases: 테이블, 뷰, 스키마, 스퀸스, 파일 포맷, 파이프 생성 가능Shares / MarketplaceAccount Admin일 경우에만 활용 가능공유 데이터셋 탐색 및 구매 가능Warehouses: 모든 역할 접근 가능History: 쿼리 실행 이력Account: Account Admin / Security Admin만 접근 가능 Navigation Tree모든 데이터베이스 -> 스키마 -> 테이블/뷰 검색 및 접근 가능객체 클..

전통적 아키텍처와 한계점Share Disk Architecture모든 compute node가 하나의 공유 스토리지 참조장점간단한 메타데이터 관리단점단일 장애 지점(SPOF): 스토리지가 죽으면 전체 다운수직 확장만 가능 -> 고비용여러 쿼리와 작업이 몰릴 경우 I/O 병목 발생ETL/BI 작업 동시 처리에 매우 불리Shared Nothing Architecture각 노드가 자체 스토리지 + compute 보유장점수평 확장 (노드 추가만으로 처리량 증가)SPOF 없음단점스토리지/컴퓨트 독립 확장 불가데이터 재분배/재배치 복잡Eventually Consistent (일관성 보장 어려움) Snowflake 혁신적 아키텍처Multi-Cluster Shared Data Archtiecture -> Shared ..

Snowflake란?클라우드 기반 전용 데이터 웨어하우스 플랫폼 (AWS, Azure, GCP 전용)On-premise 버전은 없음모든 산업에서 채택이 증가하고 있는 플랫폼 Snowflake 특징Worklaod Isolation: 서로 다른 작업(Workload)이 서로 성능에 영향을 주지 않도록 격리된 환경에서 실행Snowflake에서는 Virtual Warehouse 사용각각의 Virtual Warehouse는 독립적인 컴퓨터 리소스를 가지며, 하나의 작업군이 리소스를 많이 사용해도 다른 Warehouse에는 영향이 없음 ex)업무Warehouse 이름용도데이터 적재ETL_WHETL 배치 처리BI 분석BI_WHTableau/Power BI 쿼리 실행ML 실험ML_WH대규모계산Time Travel: 과..