SQL Server 대용량 데이터 처리 기술 이해

교육 대상

  • DBA, DPA, DA, DW 등
  • 데이터 엔지니어
  • 기술 지원 담당자
  • SQL Server 대용량 데이터 처리/분석 기술에 관심 있는 사용자

선수 지식

  • SQL Server 사용/운영 경험

 

교육개요 및 목적

동시 대량 접속에 따른 DB 처리 성능 지원이 필요한가요? 대용량 Log성 테이블의 관리와 성능 문제가 걱정되지 않나요? 손익분석 같은 OLAP 쿼리나 머신러닝/딥러닝에 사용되는 대용량의 데이터 분석 쿼리에 성능 개선이 필요하지 않나요? SQL Server에서 대용량 데이터베이스를 기반으로 데이터를 운영/관리/분석할 때 도움이 되는 핵심 기술들이 어떤 것이 있는지 소개하고 기본적인 사용법을 학습하고 특징들과 고려사항들을 이해함으로써, 실무에 적용하기 위한 기본 사항들을 파악하는데 목적을 두고 있습니다.

 

교육 특징

본 과정을 이수한 후 다음 지식들을 습득할 수 있다.

  1. 데이터 집계, 통계, 분석에 활용할 수 있는 SQL 함수 이해
  2. 대용량 데이터 저장 및 관리를 위한 분할(Partitioning) 기술 이해
  3. 대용량 데이터 빠른 동시 처리 지원을 위한 InMemory 기술 이해
  4. 대용량 리소스 경합을 줄이기 위한 리소스 조정 및 관리 방법 이해
  5. 실무 적용 사례를 통한 간접 학습

 

학습 일정 (상세 내용)

 

1장 SQL 함수

  • 집계함수 – 분산, 표준편차
  • 분석함수 – 위치함수(시계열), 분포함수, 분위수
  • 소계/총계
  • 변환함수
  • 근사치 함수

2장. 데이터 수평 분할과 압축

  • 파일그룹 리뷰
  • 수동 분할
  • 분할 테이블과 인덱스 구현(Partitioned Table/Index)
  • 분할 인덱스 검색 동작 및 성능 이슈
  • 분할 테이블 운영
  • 테이블 압축(Table Compression)
  • 분할 뷰(Partitioned View)
  • 분산 분할 뷰(Distributed Partitioned View)

3장. 메모리 최적화

  • OLTP용 In-Memory 기술 이해와 활용
    • 메모리 최적화 테이블(Memory-Optimized Table)
    • Native Compiled T-SQL Modules (SP, Function)
    • Nonclustered Columnstore Index
  • OLAP(DW용) In-Memory 기술 이해와 활용
    • 클러스터형 컬럼스토어 인덱스 for DW

4장. 리소스 조정과 관리

  • 리소스 관리자(Resource Governor) 소개 및 구현
    • 리소스 관리자로 메모리 최적화 테이블용 리소스 관리
    • 리소스 관리자로 Machine Learning 서비스용 리소스 관리

(제외)5장. SQL Server Machine Learning 서비스 소개 (R 기준)

  • SQL Server ML 서비스 구조
    • sp_executesql_external_script
    • Microsoft RevoScaleR 소개
    • SQL Server ML 데모