Study Log

Snowflake 컨테이너 계층 구조OrganizationAccount (Snowflake 인스턴스)Account-Level Objects (User, Role, Warehouse 등)DatabaseSchemaTablwe, View, Procedure, File Format, Stream 등계정 간 테이블 직접 접근은 불가하며, 반드시 Secure Share 기능을 통해야 함 (A 회사의 Snowflake 계정에서 B 회사의 Snowflake 계정의 테이블에 접근하는 것이 불가능하다는 의미) Secure Share 작동 방식1. 공급자(Snowflake 계정 A)CREATE SHARE myshare;GRANT USAGE ON DATABASE mydb TO SHARE myshare;ADD TABLE myt..

1. 주요 클라우드 플랫폼(AWS, Azure, GCP) 지원Snowflake는 세 가지 주요 클라우드 플랫폼 모두에서 운영 가능.데이터는 GCP에 있어도, AWS에 위치한 Snowflake 인스턴스에서 로드 가능 (크로스 클라우드 로딩).가격 정책은 클라우드 플랫폼이 아닌 Snowflake 에디션 기준으로 결정됨.보안 및 컴플라이언스 기능 (SOC, HIPAA 등)은 모든 클라우드에서 동일하게 제공.2. 무제한 스토리지와 컴퓨트 확장성완전한 클라우드 네이티브 구조로 무한한 수평 확장 가능.컴퓨트는 초 단위 요금제, 저장소는 압축 평균 기준 일별 과금.사용한 만큼만 비용 지불(Pay-as-you-go) → 비용 효율적.3. Data Platform as a Service하드웨어/소프트웨어 설치, 유지보수..

항목Snowflake전통적/기존 솔루션아키텍처3계층 분리 - Storage / Compute / Cloud Services대부분 Storage-Compute 결합 구조확장성Compute, Storage 독립적 무제한 확장, 자동 조정 가능수동 확장 필요, 클러스터 재배치/증설 필요비용 구조초 단위 과금, Pay-as-you-go고정형 인프라 과금(예약 인스턴스, 노드 수 기준 등)SQL 지원ANSI SQL 100% 지원 + 객체 생성/관리까지 SQL로 처리SQL은 질의용, 인프라/운영은 별도 도구 필요데이터 공유Secure Data Sharing (복사 없음), Reader Account 지원ETL 또는 파일 복사 방식만 지원Zero-Copy Clone복사 없이 개발/테스트 환경 생성 가능 (즉시, 무료..

Snowsight란?기존 Legacy Web UI의 대체 UI로 설계된 Snowflake의 새로운 웹 인터페이스SQL Worksheet, Dashboard, Data 탐색, 시각화 등 생산성을 높이는 다양한 기능 내장현재 Preview 모드이며, 일부 기능은 계속 개발/보완 중정부 클라우드 리전(Gov regions)을 제외한 모든 에디션에서 사용 가능항목Legacy Web UISnowsightUI 구조탭 기반 분산 구조기능별 그룹화된 메뉴 (Profile, Worksheet, Data 등)폴더 / 대시보드없음있음Worksheet 공유없음있음Data Profiling 없음있음 (Power BI 유사 시각화)Role 전환수동 / 명령어 필요UI에서 손쉽게 가능Git 연동없음지원 예정Script 덮어쓰기경고..

Menu 소개Notification -> Account Admin만 볼 수 있음Partner ConnectService Partner vs Partner Connect 도구데이터 온보딩, 변환 툴 연결App Preview -> SnowSite(신 UI) 탭으로 이동Databases: 테이블, 뷰, 스키마, 스퀸스, 파일 포맷, 파이프 생성 가능Shares / MarketplaceAccount Admin일 경우에만 활용 가능공유 데이터셋 탐색 및 구매 가능Warehouses: 모든 역할 접근 가능History: 쿼리 실행 이력Account: Account Admin / Security Admin만 접근 가능 Navigation Tree모든 데이터베이스 -> 스키마 -> 테이블/뷰 검색 및 접근 가능객체 클..

전통적 아키텍처와 한계점Share Disk Architecture모든 compute node가 하나의 공유 스토리지 참조장점간단한 메타데이터 관리단점단일 장애 지점(SPOF): 스토리지가 죽으면 전체 다운수직 확장만 가능 -> 고비용여러 쿼리와 작업이 몰릴 경우 I/O 병목 발생ETL/BI 작업 동시 처리에 매우 불리Shared Nothing Architecture각 노드가 자체 스토리지 + compute 보유장점수평 확장 (노드 추가만으로 처리량 증가)SPOF 없음단점스토리지/컴퓨트 독립 확장 불가데이터 재분배/재배치 복잡Eventually Consistent (일관성 보장 어려움) Snowflake 혁신적 아키텍처Multi-Cluster Shared Data Archtiecture -> Shared ..

Snowflake란?클라우드 기반 전용 데이터 웨어하우스 플랫폼 (AWS, Azure, GCP 전용)On-premise 버전은 없음모든 산업에서 채택이 증가하고 있는 플랫폼 Snowflake 특징Worklaod Isolation: 서로 다른 작업(Workload)이 서로 성능에 영향을 주지 않도록 격리된 환경에서 실행Snowflake에서는 Virtual Warehouse 사용각각의 Virtual Warehouse는 독립적인 컴퓨터 리소스를 가지며, 하나의 작업군이 리소스를 많이 사용해도 다른 Warehouse에는 영향이 없음 ex)업무Warehouse 이름용도데이터 적재ETL_WHETL 배치 처리BI 분석BI_WHTableau/Power BI 쿼리 실행ML 실험ML_WH대규모계산Time Travel: 과..

Dockerfile Instruction과 이미지 레이어는 1대1 관계FROM node:18COPY . /appRUN npm install도커 파일이 위와 같이 구성되어 있다면 이미지 레이어는 총 3개가 생성되는 것입니다.FROM node:18 -> Node.js base 이미지 레이어COPY: 애플리케이션 파일 복사 레이어RUN: 의존성 설치 레이어즉, 각 명령어 1개는 1개의 레이어를 만듭니다.이 개념이 중요한 이유는 밑에서 자세히 설명하겠지만, 도커 레이어는 공유 가능하고 캐싱이 가능하며 수정할 수 없기 때문입니다. 도커 이미지는 이미지 레이어들의 논리적 묶음Docker 이미지는 하나의 단일 파일처럼 보이지만, 내부적으로 여러 개의 레이어로 구성되어 있습니다.이 레이어들은 논리적으로 묶여서 하나의 ..

호스트 컴퓨터(내 PC나 서버) 설정된 환경 변수가 컨테이너 내부에도 자동으로 적용될까요?결론은 "그렇지 않다" 입니다. 도커 컨테이너 내부는 별개의 환경이기 때문에, 호스트의 환경변수는 자동으로 컨테이너와 공유되지 않습니다. 1. 철저히 분리된 컨테이너 내부와 호스트도커 컨테이너는 호스트 운영체제의 커널을 공유하되, 네임스페이스와 cgroups 등을 통해 격리된 환경을 만듦따라서,컨테이너는 호스트 프로세스나 네트워크 설정을 직접 볼 수 없음환경 변수 역시 호스트와 별개로 관리즉, 호스트 컴퓨터에서 export MY_ENV=hello 같은 식으로 환경 변수를 설정해도, 컨테이너는 이를 알 수가 없음각 컨테이너가 가지고 있는 환경 변수는 도커가 직접 부여한 값들만 존재예시)호스트에서 환경변수를 다음과 같이..

우리가 docker run 명령어를 통해 컨테이너를 실행할 때는 다음과 같은 과정을 거쳐 컨테이너가 실행되게 됩니다.Docker CLI -> Docker Engine -> containerd -> runc -> 호스트 OS 커널각 단계를 하나하나 자세히 알아보겠습니다. Docker CLI 와 Docker Engine도커 CLI (Docker Command Line interface)터미널에 입력하는 docker run, docker pull 등의 명령어는 Docker API를 호출하는 클라이언트웹으로 비유하자면 브라우저 역할도커 API도커 엔진이 제공하는 REST 기반 API기본적으로 로컬에서만 호출하도록 설정되어 있지만, 엔진 설정을 바꾸면 네트워크로도 접근 가능Docker CLI가 보낸 요청을 받아서..