Data Science Lab

SSIS - 조건부 분할 (조건에 따라 데이터를 출력하자) 조건부 분할은 원본의 데이터를 읽어서 조건에 따라 서로 다른 출력 경로(다른 여러 테이블)로 데이터를 구분하여 내보냅니다. 실습을 통해서 알아 봅니다. 이번 실습은 AdventureWorks 의 Person.Address 데이터를 0~99 ,100~ 199, 200~299 구간을 세개의 테이블로 나누어 저장 합니다. 1.BIDS를 실행하여 프로젝트를 생성 합니다. 2. 데이터 흐름 태스크 작업을 드래그& 드랍하여 끌어다 놓습니다. 3. OLE DB 원본데이터에서 AdventureWorks의 Person.Address를 선택 합니다. 4. 도구 상자에서 조건부 분할을 끌어다 놓고 편집을 선택 합니다. 5. 편집기에서 조건은 AddressID 값이 ..

멀티캐스트 – 하나의 데이터를 여러곳으로 복사하기 오늘은 SSIS에서 멀티캐스트 기능에 대해서 알아 보겠습니다. 우리가 데이터를 수집하는데 있어서 동일한 데이터를 여러 곳의 위치로 복사해야 하는 이슈가 있습니다. 이때 쿼리를 이용하거나 SQL2000 에서는 DTS를 이용해야 합니다. 이는 모든 연결이 1:1 밖에 지원되지 않아 10번의 데이터를 복사하여야 할 경우에는 10번의 실행작업이 필요 합니다. 하지만 SSIS의 멀티캐스트를 이용하면 원본에서 읽어온 데이터를 메모리에서 복사하여 여러 경로로 전달하기 때문에1번의 작업으로 여러곳의 데이터를 한번에 복사 할 수 있습니다. 실습 내용은 AdventureWokrs의 Sales.SalesPerson의 데이터를 Test 의 dbo.MultiCast_1 ~ 5 ..

SSIS를 이용하여 데이터 가져오기 단순하게 데이터를 가져오는 방법과 변수를 이용하여 테이블을 가져오는 방법 과변수를 이용하여 특정 테이블 가져오기 입니다. 테이블 – 테이블 데이터 복사하기. 1. 우선 테스트 테이블을 생성 합니다. 원본테이블 : tbl_20110630 대상테이블 : tbl_20110701 원본 테이블에 데이터를 입력 합니다. 2. SSBID 를 실행합니다.. 3. 새프로젝트에서 [Integration Service 프로젝트]를 선택 합니다. 4. 메뉴바에서 [SSIS] – [변수]를 선택합니다. 5. [제어흐름] 탭을 선택하고 [도구상자]에서 [데이터 흐름 태스크]를 마우스로 끌어다 놓습니다. [속성]에서 [Name] 을 [Log수집] 이라고 수정합니다. 6. [데이터흐름]탭으로 이동..

SQL Server 2016 향상된 In Memory 테이블 Version : SQL Server 2016 SQL Server 2016에서 향상된 In Memory 테이블 기능에 대해서 살펴본다. 현재 버전은 CTP2 (13.0.200)이다. Feature/Limit SQL Server 2014 SQL Server 2016 Maximum size of durable table 256 GB 2 TB LOB (varbinary(max), [n]varchar(max)) Not supported Supported* Transparent Data Encryption (TDE) Not supported Supported Offline Checkpoint Threads 1 1 per container ALTER PR..

백업 확장이벤트로 백업 진행 과정과 소요되는 시간 확인 Version : SQL Server 2016 SQL Server 2016에서 추가된 새로운 확장 이벤트 sqlserver.backup_restore_progress_trace 를 사용하여 백업과정과 각 과정에서 소요되는 시간을 확인할 수 있다. 실습을 위해 확장이벤트를 생성한다. CREATE EVENT SESSION [Backup progress] ON SERVER ADD EVENT sqlserver.backup_restore_progress_trace ( ACTION(package0.event_sequence) -- to only capture backup operations: --WHERE [operation_type] = 0 -- to onl..

SQL Server 2016 설치 Version : SQL Server 2016 SQL Server 2016 버전이 정식 출시는 아니지만 프리뷰 버전이 공개되어 미리 설치하여보았다. 전체적인 설치 방법은 이전 SQL 버전과 거의 동일하다. 이전 버전과 설치에서 차이점은 [기능규칙] 검사에서 Oracle JRE 7 업데이트가 필요하다. 그러니 미리 Oracle JRE 7 업데이트 51 이상 설치 한다. SQL Server 2016 Download http://www.microsoft.com/en-us/evalcenter/evaluate-sql-server-2016 Oracle JRE 7 Download http://www.oracle.com/technetwork/java/javase/downloads/jr..

SQL Server 2014 VLF 알고리즘 변화 Version : SQL Server 2014 SQL Server에서 로그 파일은 데이터 파일처럼 익스텐트로 구성되지 않고 가상 로그 파일(Virtual Log File, VLF)로 구성되어 있다. VLF는 로그 파일의 크기에 따라 가변적으로 변하며 SQL Server에 의해 정해진다. VLF의 최소 단위는 256K이며 트랜잭션 로그가 가장 작은 512K일 때 두 개의VLF가 생성된다. 트랜잭션 로그 아키텍처 : http://sqlmvp.kr/140187358202 VLF 환경과 성능 : http://sqlmvp.kr/140164396941 SQL Server 2014 이전까지 VLF 증가 알고리즘은 사이즈를 기준으로 한다. 1MB ~ 64MB : 4개 ..

SQL Server 2014 SSAS 커버로스 구성 관리자 업데이트 Version : SQL Server 2005, 2008, 2008R2, 2012, 2014 SQL Server 2014에 대한 커버로스 구성 관리자가 업데이트 되었다. 다운로드 : http://www.microsoft.com/en-us/download/details.aspx?id=39046 서버에 설치된 OS 및 Microsoft SQL Server 인스턴스에 대한 정보를 수집 서버의 모든 SPN 및 위임 구성 보고 SPN 및 위임의 문제 식별 잠재적 SPN 문제를 해결 [요구 사항] 윈도우 7, 윈도우 8, 윈도우 서버 2003 서비스 팩 ​​2, 윈도우 서버 2008, 윈도우 서버 2008 R2 SP1, 윈도우 서버 2012 지원되..

SQL Server 2014 스토리지 할당 및 메모리 옵티마이즈 테이블 관리 Version : SQL Server 2014 SQL Server 2014의 스토리지 할당 및 메모리 옵티마이즈 테이블에 대해서 알아본다. 이번 포스트는 SQL Server Blog를 읽고 이해한 내용을 정리하였으며 번역의 오류 및 기술적 오류가 있음을 미리 알려둔다. 자세한 내용은 원문을 참고 한다. 메모리 옵티마이즈 테이블 관리는 디스크 기반 테이블과 매우 다르다. 디스크 기반의 테이블 일부를 메모리 옵티마이즈 테이블로 마이그레이션 하거나 메모리 옵티마이즈 테이블을 사용하여 새 응용프로그램을 개발하는 경우 큰 차이가 있음을 알 수 있다. 디스크 기반 테이블의 SQL Server는 디스크 및 메모리에서 8K 페이지 저장소를 사..

SQL Server 2014 리소스 관리자 풀과 CPU 제어 Version : SQL Server 2014 SQL Server 리소스 관리자는 혼합 워크로드 환경에서 자원을 제한하기 위해 SQL Server 2008 부터 도입 되었으며 응응 프로그램 요청이 리소스 풀에서 사용할 수 있는 CPU, 물리적 IO 및 메모리 양을 제한 할 수 있다. MIN_CPU_PERCENT, MAX_CPU_PERCENT CPU 경합이 있을 때 리소스 풀의 모든 요청에 대해 보장되는 최소 및 최대 평균 CPU 대역폭이다. 이 설정을 사용하면 각 작업의 요구 사항을 기준으로 여러 작업에 대해 예측 가능한 CPU 리소스 사용량을 설정 할 수 있다. CAP_CPU_PERCENT 리소스 풀의 모든 요청에 대한 CPU 대역폭 상한선 ..