SQL Server/SQL Server Tip

NUMA Architecture

SungWookKang 2016. 9. 7. 06:23
반응형

SQL Server DBA

(SQL Server Technical Assistance Group)

 

작성일자(2012년, 01월, 28일)

문서등급(일반)

 

 

문서 정보

문서 정보

NUMA 설정 가이드

 

연락처

SQLTAG (SQL Server Technical Assistance Group) http://www.sqltag.org

 

문서 히스토리

버전

일자

이력사항

작성자

승인자

1.0

2012.01.28

최초작성

강성욱

 

.

.

.

.

.

 

 

저작권

Copyright 2012 SQLTAG All Rights Reserved.

 

SQLTAG는 이 문서의 내용을 예고 없이 변경할 수 있습니다.

 

 

목차

1.    NUMA    5

1.1    NUMA(Non-Uniform Memory Access)    6

1.1.1    NUMA 와SQL Server버전    6

1.2    NUMA 아키텍처    7

1.2.1    NUMA 와 SMP 차이점    8

1.2.2    NUMA 구성에 영향을 주는 설정    9

1.3    하드웨어 NUMA    10

1.3.1    하드웨어 NUMA 구성 무시    10

1.4    소프트 NUMA    11

1.4.1    소프트 NUMA 구성 무시    11

1.5    하드웨어 NUMA 와 소프트 NUMA의 메모리 공유 차이점    12

1.6    NUMA 시나리오    13

1.6.1    NUMA 선도호에 대한 포트 없음.    13

1.6.2    우선 순위 응용 프로그램의 성능 향상을 위해 여러 개의 노드에 단일 포트 연결.    13

1.6.3    여러 개의 노드에 여러 개의 포트 연결.    14

1.7    SQL Server의 NUMA 설정    15

1.7.1    소프트 NUMA 레지스트리 설정    15

1.7.2    NUMA 노드에 TCP/IP 매핑    15

1.7.3    어플리케이션 사용    18

1.8    활용    20

1.8.1    배채(Batch)작업 활용    20

1.8.2    게임 서비스에서 활용    20

1.9    참고 자료.    21

 

  1. NUMA

Microsoft SQL Server는 NUMA(Non-Uniform Memory Access)를 인식하며 특수한 구성 없이 NUMA 하드웨어에서 원활하게 작동한다. 클럭 속도와 프로세서 수가 증가할수록 이러한 추가 처리 능력을 사용하는 데 필요한 메모리 대기 시간을 줄이기가 더 어려워 진다. 이러한 문제를 피하기 위해 하드웨어 공급업체에서는 대용량의 L3 캐시를 제공하지만 이는 제한적인 해결책일 뿐이다. NUMA 아키텍처는 이 문제에 대한 포괄적인 해결책을 제공 한다. SQL Server는 응용 프로그램을 변경할 필요 없이 NUMA 기반 컴퓨터를 활용하도록 디자인 되었다. 이제 그 구성을 자세히 알아보고 현재 운영중인 서버에서 비효율적인 구성이 있으면 고쳐보길 바란다. 먼저 당부하고 싶은 것은 서버의 설정을 바꾸는 것은 대단히 위험한 행위이다. 구성 변경 시 충분한 검토와 테스트를 수행 한 후 적용하길 바란다.

  1. NUMA(Non-Uniform Memory Access)

    작은 프로세서 집합에 사용되는 시스템 버스를 여러 개 구성하는 것이 일반적인 하드웨어 추세이다. CPU 개수가 증가하고 메모리 용량이 증가하는 추세에 대용량 서비스를 할 때 기존의 UMA 방식으로 메모리를 공유하여 사용하게 되면 메모리 대기 시간이 길어 진다. 이를 해결하기 위해 공유 메모리를 전용 메모리로 할당 함으로써 효율성을 높인다.

     

    SQL Server는 응용 프로그램을 변경할 필요 없이 NUMA 기반 컴퓨터를 활용하도록 디자인 되었다.

  2. NUMA 와SQL Server버전

    소프트 NUMA 구성시 SQL Server 2000 SP4 이상 지원되며 SQL Server 2005 이상 사용 할 것을 권장 한다.

     

  3. NUMA 아키텍처

    각 프로세서 그룹에는 자체 메모리가 있으며 자체 I/O 채널이 있는 경우도 있다. 그러나 각 CPU는 일관된 방법으로 다른 그룹과 연결된 메모리에 액세스 한다. 각 그룹을 NUMA노드라 한다.

    다른 NUMA 노드와 연결된 메모리보다 로컬 메모리를 액세스 하는 것이 훨씬 빠르다. NUMA 하드웨어에서는 일부 메모리 영역이 실제로 나머지 영역과 다른 버스에 있다. NUMA는 로컬 메모리와 외부 메모리를 사용하므로 다른 영역에 비해 일부 메모리 영역에 액세스 하는 시간이 오래 걸린다.

  • 로컬 메모리 : 현재 스레드를 실행 중인 CPU와 같은 노드에 있는 메모리.
  • 외부 메모리 : 현재 실행중인 노드에 속하지 않는 메모리 (원격 메모리 라고도 함)
  • NUMA 비율 : 로컬 메모리 액세스 비용에 대한 외부 메모리 액세스 비용의 비율. (비율이 1이면 SMP(대칭 다중 처리). 비율이 높을수록 외부 메모리에 액세스 하는 비용이 증가.)

     

 

.

 

  1. NUMA 와 SMP 차이점

    NUMA 아키텍처는 SMP(Symmetric Multiprocessor) 아키텍처의 확장성 제한을 극복하기 위해 고안 되었다. SMP를 사용하면 모든 메모리 액세스가 같은 공유 메모리 버스에 게시 된다, CPU 수가 비교적 적을 때는 문제가 없지만 수 많은 CPU가 공유 메모리 버스 액세스를 위해 경쟁 할 때는 이 기능이 제대로 작동 하지 않는다.

    NUMA는 특정 메모리 버스의 CPU 개수를 제한하고 고속 연결로 여러 개의 노드를 연결하여 SMP의 병목 현상을 해결 한다.

 

  1. NUMA 구성에 영향을 주는 설정

    1. 하드웨어 NUMA는 컴퓨터 제조업체에서 제공.
    2. 소프트 NUMA(SQL Server 메모리)는 레지스트리를 사용.
    3. CPU 선호도는 affinity mask 옵션 사용.
    4. NUMA 선호도에 대한 포트구성은 TCP/IP 포트 매핑 사용.

  2. 하드웨어 NUMA

    하드웨어 NUMA가 적용된 컴퓨터 에서는 여러 개의 시스템 버스가 있다. 각 프로세서 그룹에는 자체 메모리가 있으며 자체 I/O 채널이 있는 경우도 있지만 CPU는 일관된 방법으로 다른 그룹과 연결된 메모리에 액세스 한다. NUMA 노드 내의 CPU 수는 하드웨어 공급업체에 따라 다르다. 하드웨어 NUMA가 있는 경우 NUMA 대신 인터리브 메모리를 사용하도록 구성 할 수 있다. 그러면 Windows와 SQL Server에서는 NUMA로 인식 되지 않는다.

     

     

    SQL Server에서 사용 가능한 NUMA 개수 확인 DMV

SELECT DISTINCT memory_node_id FROM sys.dm_os_memory_clerks

 

 

결과 값이 하나의 메모리 노드(노드 0)만 반환되면 하드웨어 NUMA가 없거나 해당 하드웨어가 인터리브로 구성되어 있다는 뜻 이다.

 

 

  1. 하드웨어 NUMA 구성 무시

    SQL Server는 하드웨어 NUMA에 대해 4개 이하의CPU가 있고 CPU가 하나뿐인 노드가 하나 이상 있는 경우 NUMA 구성을 무시 한다.

  2. 소프트 NUMA

    SQL Server에서는 CPU를 NUMA라는 노드로 그룹화 할 수 있다. 많은 CPU가 있고 하드웨어 NUMA가 없는 컴퓨터에서 I/O 및 지연기록 병목을 해결 할 수 있다. 4개의 물리적 NUMA 노드를 구성하면 I/O스레드와 지연 기록기 스레드가 각각 4개가 되므로 성능이 향상 된다. 하드웨어 NUMA와 결합하여 NUMA 그룹을 세분화 할 수 있다. SQL Server 스케줄러와 SQL Server 네트워크 인터페이스(SNI)만 소프트 NUMA를 인식 한다.

     

     

     

     

NODE_ID 64는 관리자 전용 DAC 이다.

 

 

  1. 소프트 NUMA 구성 무시

    여러 하드웨어 NUMA 노드의 CPU를 포함하는 소프트 NUMA를 만들 수 없다. 하지만 CPU 선호도(TCP 매핑)를 사용하여 여러 하드웨어 NUMA 노드에 액세스가 가능하다.

    EX) 예를 들어 하드웨어에 8개의 CPU(0..7)가 있고 하드웨어 NUMA 노드가 두 개(0-3 및 4-7)이면 CPU(0,1)과 CPU(2,3)을 결합하여 소프트 NUMA를 만들 수 있다. CPU(1, 5)를 사용하여 소프트 NUMA를 만들 수는 없지만 CPU 선호도를 사용하여 SQL Server 인스턴스의 선호도를 여러 NUMA 노드의 CPU로 설정할 수 있다. SQL Server에 CPU 0-3이 사용되는 경우 I/O 스레드와 지연 기록기 스레드가 각각 하나씩 있다. SQL Server에 CPU 1, 2, 5, 6이 사용되는 경우 두 개의 NUMA 노드에 액세스하게 되며 I/O 스레드와 지연 기록기 스레드가 각각 두 개씩 있다.

  2. 하드웨어 NUMA 와 소프트 NUMA의 메모리 공유 차이점

    하드웨어 NUMA는 CPU와 메모리가 하나의 세트로 할당되어 동작 하지만 소프트 NUMA의 경우에는 CPU 할당은 가능 하지만 메모리는 공유하여 사용한다.

    예를 들면 SMP 컴퓨터에 8개의 CPU가 있으며 각각 두 개의 CPU를 가진 소프트 NUMA 노드를 4개 만들면 메모리 노드 하나에서 4개의 NUMA를 모두 처리 한다.

     

     

  3. NUMA 시나리오

  4. NUMA 선도호에 대한 포트 없음.

하드웨어 NUMA 및 SQL Server의 단일 인스턴스가 있는 컴퓨터에서의 기본 상태. 모든 트랙픽은 단일 포트를 통해 들어오며 사용 가능한 모든 NUMA 노드에 라운드 로빈 방식으로 배포 된다. NUMA는 액세스 효율을 높이며 I/O 및 지연 기록기 스레드를 증가 시킨다. 설정된 연결은 해당 노드에 적용 되므로 NUMA 노드에서 자동으로 균형이 조정된다.

  1. 우선 순위 응용 프로그램의 성능 향상을 위해 여러 개의 노드에 단일 포트 연결.

 

포트 하나의 선호도를 주 우선 순위 응용 프로그램에 사용할 여러 개의 하드웨어 NUMA 노드로 설정한다. 두 번째 포트의 선호도를 두 번째 부 응용 프로그램에 사용할 다른 하드웨어 NUMA 노드로 설정 한다. 두 응용 프로그램의 메모리 및 CPU 리소스는 불균형하게 고정되어 부 응용프로그램보다 3배 많은 로컬 메모리 및 CPU 리소스를 주 응용 프로그램에 제공한다. 이 기능은 우선 적용되는 연결에 추가 리소스를 할당하여 일종의 우선 순위 스레드 실행을 제공 할 수 있다.

 

  1. 여러 개의 노드에 여러 개의 포트 연결.

 

둘 이상의 포트를 동일한 NUMA 노드로 매핑 할 수 있다. 이렇게 하면 각 포트에서 서로 다른 권한을 구성 할 수 있다. 예를 들어 해당 TCP의 끝점에서 사용 권한을 제어하여 포트를 통해 제공되는 액세스를 제한 할 수 있다. 하지만 두 포트는 똑같이 NUMA를 완벽하게 활용 할 수 있다.

 

 

  1. SQL Server의 NUMA 설정

    SQL Server는 Windows에 표시되는 하드웨어 NUMA 경계를 기반으로 CPU 그룹화에 매핑할 스케줄러를 그룹화 한다. 특정 하드웨어 NUMA 노드에서 실행되는 스레드가 메모리를 할당하는 경우 SQL Server의 메모리 관리자는 참조 효율을 위해 해당 NUMA 노드와 연결된 메모리에서 메모리 할당을 시도 한다. 마찬가지로 버퍼 풀 페이지도 하드웨어 NUMA 노드에 분산 된다. 스레드가 로컬에 할당된 버퍼 페이지의 메모리에 액세스하는 것이 외부 메모리를 액세스 하는 것보다 효율 적이다.

    각 NUMNA 노드(하드웨어 NUMA 또는 소프트 NUMA)에는 네트워크 I/O 처리에 사용되는 I/O 완료 포트가 연결되어 있어 여러 포트에 네트워크 I/O 처리를 분산하는 데 도움이 된다.

     

  2. 소프트 NUMA 레지스트리 설정

    레지스트리에 다음과 같이 CPU affinity mask를 지정 한다.

    (SQL Server 2008 R2 화면 이다. SQL 2008의 경우에는 GROUP 값을 삭제 한다.)

     

    (MSDN : http://msdn.microsoft.com/ko-kr/library/ms345357.aspx)

     

     

  3. NUMA 노드에 TCP/IP 매핑

    NUMA(Non-Uniform Memory Access) 노드 선호도에 대한 TCP/IP 포트는 SQL Server 구성 관리자에서 서버 설정으로 구성된다. 한 개 또는 여러 개의 노드에 TCP/IP 주소와 포트를 설정하려면 포트 번호 뒤에서 괄호 안에 노드 확인 비트맵(선호도 마스크)을 추가한다. 십진수나 16진수 형식으로 노드를 지정할 수 있다.

     

    설정 변경 후 서비스를 반드시 재시작 하여야 한다.

     

    (MSDN : http://msdn.microsoft.com/ko-kr/library/ms345346.aspx)

     

     

     

     

    데이터베이스가 시작 될 때 데이터베이스 엔진에서 오류 로그에 노드 정보를 기록한다. 사용할 노드의 번호를 확인하려면 오류 DMV 뷰의 노드 정보를 확인한다..

sp_readerrorlog

 

 

select * from sys.dm_os_schedulers

 

 

  1. 어플리케이션 사용

    SQL Server NUMA 구성이 완료 되었으면 매핑된 포트로 접속하여 사용 한다.

    1. 0 노드 구성 사용.

     

    1. 0노드, 2노드 구성 사용.

     

  2. 활용

    하나의 SQL Server에서 다수의 인스턴스 또는 쿼리가 수행되는 경우에 원활한 서비스를 위하여 물리적인 리소스(CPU) 분산이 필요 할 때 사용 할 수 있다.

  3. 배채(Batch)작업 활용

    CPU 부하는 작지만 자주 요청되는 쿼리(OLTP)와 자주 요청되지는 않지만 CPU 부하가 큰 쿼리(집계쿼리)가 있을 때 각각의 쿼리 타입마다 CPU 리소스를 할당하여 다른 타입의 쿼리가 같은 CPU 사용을 방지하여 성능을 보장한다.

  4. 게임 서비스에서 활용

    게임 퍼블리셔를 예로 들어 보자. 하이엔드급의 SQL Server 한 대에 여러 개의 인스턴스를 설치하여 게임 서비스를 한다고 가정 하자. 모든 자원을 동일하게 사용하는가? 인기가 높은 게임은 많은 자원을 사용 할 것이고 상대적으로 인기가 낮은 게임은 자원의 사용량이 작을 것이다.

    이때 인기가 높은 게임 하나로 인하여 다른 게임서비스에 영향을 받을 때 각 인스턴스에 NUMA 노드를 할당 함으로써 나머지 다른 서비스의 영향을 최소화 할 수 있다.

     

  5. 참고 자료.

반응형

'SQL Server > SQL Server Tip' 카테고리의 다른 글

SSMS에서 유효하지 않은 소유자로 데이터베이스 정보가 보이지 않는 증상  (0) 2016.09.10
SQL Server 2016 Automatic Soft NUMA  (0) 2016.09.07
SQLCMD 유틸리티 사용하기  (0) 2016.08.31
In-Memory 최적화 테이블을 사용하여 임시 테이블 및 테이블 변수 성능 향상  (0) 2016.08.25
SQL Server 2016 Tempdb 환경 설정  (0) 2016.08.16

'SQL Server/SQL Server Tip'의 다른글

  • 현재글NUMA Architecture

관련글

티스토리툴바