Data Science Lab

SQL Server update on Docker · Version : SQL 2017, Docker SQL Server on Docker 버전에서 SQL Server update를 진행하는 방법에 대해서 알아본다. Docker는 이미지를 업데이트 하고 모든 컨테이너에 푸시할 수 있는 기본 제공 명령이 없으므로 각 단계별로 빌드해야한다. Docker pull을 이용하여 최신 이미지를 다운로드 받아 기존 이미지를 교체 해야한다. 기존 이미지로 컨테이너를 교체해야하는 이유는 Docker의 저장소 모델과 관련이 있다. Docker의 저장소 모델은 여러 계층의 파일 시스템을 결합하여 운영체제의 통합 뷰를 만든다. 이미지 레이어는 읽기 전용이며 컨테이너를 통해 발생하는 모든 변경 사항은 쓰기 프로세스에서 복사를 ..

SQL Server 2017에서 향상된 UDF 실행 계획 · Version : SQL Server 202017 CU3 SQL Server 2017 CU3 이후 부터 UDF(User-Defined Function) 실행계획이 개선되어 사용자에게 좀 더 많은 정보를 보여주게 되었다. (필자가 글 을 쓰는 시점으로 최신 CU7까지 출시 되었다.) 이전에는 쿼리에 참조된 UDF를 사용할 때 쿼리 실행 시간의 상당 부분이 함수 내에서 발생하여도 쿼리 실행계획을 보고 쉽게 파악하기가 어려웠다. SQL Server 2017 CU3 이후 부터는UdfCpuTime과 UdfElaspsedTime의 두 가지 새로운 속성이 추가되어 사용자 정의 함수내에서 사용되는 리소스를 확인할 수 있게 되었다. 아래 스크립트는 테스트를 구..

ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL) · Version : SQL Server 2016, AWS Aurora, Maria ODBC 3.0 최근 다양한 DB환경이 구성되면서 DW(Data Warehouse)를 구축할 때, ETL 작업 또한 이기종 DB (데이터베이스가 다른 종류간의 ETL) 작업이 증가하는 추세이다. 필자는 현재 다양한 데이터베이스를 구축 운영하고 있으며 MySQL 에서 MS SQL 로 ETL과정중 예기치 못한 데이터 오류가 많이 발생 하였다. AWS에 있는 Aurora (MySQL 5.6) 데이터 원본에서MS SQL Server로 ETL하는 과정에서 Decimal값이 정상적으로 표시되지 않고 /100 값으로 변환되어 ..

Run the SQL Server 2017 with Docker · Version : SQL Server 2017 Linux SQL Server 2017 Linux 버전을 Docker를 활용해서 빠르게 설치하여 활용하는 방법에 대해서 살펴본다. 이번 포스트에서 다루는 환경 구성은 Windows Host 기반에 Docker(windows버전)를 설치하고 Container로 SQL Server 2017 Linux 를 실행한다. 이 포스트는 SQL Server를 중점으로 다루고 있으며 Docker에 대해서는 다루지 않는다. Docker 설치가 완료 되었으면 Powershell 명령 도구를 실행 한다. 그리고 아래 명령어를 실행 한다. 이 명령은 최신 버전의 SQL Server 2017 Linux 버전의 컨테이..

SQL Server Configuration Manager 실행 오류 (WMI 공급자 연결 오류) · Version : SQL Server 2008, 2012, 2014, 2016, 2017 SQL Server를 설치하고 SQL Server configuration manager(구성 관리자)를 실행하면 WMI 공급자 연결 오류로 인해서 아래와 같은 오류 구문과 함께 구성관리자 실행이 되지 않는 경우가 있다. SQL Server Configuration Manager ————————— Cannot connect to WMI provider. You do not have permission or the server is unreachable. Note that you can only manage SQL S..

How to check if Azure SQL is using In-Memory - Azure SQL에서 In-Memory를 사용하는지 확인하는 방법 - Premium Tier에서 Standard Tier 로 변경 시 프리미엄 서비스 사용 확인 · Version : AzureSQL Azure SQL 사용시 Tier 마다 지원되는 기능이 조금씩 다르다. 그중 P Tier는 Premium 서비스로 In-Memroy 테이블이 지원된다. 이번 포스트에서는 P Tier에서 하위 S Tier로 변경 시 In-Memory 서비스를 사용하고 있는 테이블이 있는지 확인하는 방법에 대해서 알아본다. · Service Tier : https://docs.microsoft.com/en-us/azure/sql-database/..

IIS W3C Logging - Version : IIS W3C 확장 로그 파일 형식은 추적된 정보를 커스터마이징하여 더 자세한 정보를 얻을 수 있다. 확장 로그 파일을 커스터마이징하려면 로깅하려는 필드를 선택한 후 서버에서 처리하도록 설정해야 한다. 그러면 액세스 로그에 저장되는 항목 크기가 증가되고 필드가 추가 되기 때문에 저장에 필요한 공간이 이전 형식에 비해 훨씬 늘어난다. 아래 스크립트는 W3C 로그의 일부이다. 다른 로그형식과는 다르게 빈 공간으로 항목을 구분한다. #Software: Internet Information Services 6.0 #Version: 1.0 #Date: 2001-05-02 17:42:15 #Fields: time c-ip cs-method cs-uri-stem sc..

IIS Logging - Version : IIS IIS 로그 파일 형식은 고정된 ASCII 형식이다. 표준 ASCII 텍스트 형식으로 표시되기 때문에 모든 표준 텍스트 편집기나 호환 응용 프로그램을 통해서 로그를 확인할 수 있다. 아래 스크립트는 IIS 로그 파일의 내용이다. 각 항목은 쉼표로 구분된다. 192.168.114.201, -, 03/20/01, 7:55:20, W3SVC2, SALES1, 172.21.13.45, 4502, 163, 3223, 200, 0, GET, /DeptLogo.gif, -, 172.16.255.255, anonymous, 03/20/01, 23:58:11, MSFTPSVC, SALES1, 172.16.255.255, 60, 275, 0, 0, 0, PASS, /Int..

IIS NCSA Logging - Version : IIS NCSA 로그 파일 형식은 로그파일의 가장 기본적인 형식이다. NCSA 로그 파일 형식은 고정된 ASCII 형식이며 각 로그 항목은 고유 파일 요청을 나타낸다. 이 로그파일을 분석하면 아래와 같은 정보를 얻을 수 있다. · Hits (고유한 파일 요청 수) · Page views (고유한 페이지 요청 수) · Visits (지정된 기간 동안 사용자 세션 수) · 기타 기본적인 액세스 정보 NCSA 로그 파일 형식은 아래와 같은 항목을 포함하고 있으며 로그 항목 개수가 적기 때문에 로깅에 필요한 공간이 절약된다. 아래 샘플은 NCSA 형식으로 기록된 로그이다. 172.21.13.45 - Microsoft\JohnDoe [07/Apr/2004:17:..

IIS 액세스 로그 종류 - Version : IIS 액세스 로그는 HTTP, FTP, SMTP 서버에서 로깅을 사용한다고 설정할 때 생성된다. 웹사이트에 요청이 있을때 마다 가저오려는 모든 성공, 실패 시도가 액세스 로그에 기록된다. 액세스 로그를 분석하면 아래와 같은 정보를 확인할 수 있다. · 하루 혹은 한주의 가장 바쁜 시간 · 사이트에 방문하는 사용자의 사용 브라우저 및 플랫폼 · 리소스 선호도 · 어떤 사이트를 통해서 들어오는지 · 광고에 효과적인 정보 수집 · 검색 엔진 사용량 및 키워드에 대한 정보 · 사이트에 머문 시간 IIS에서는 아래와 같은 다양한 형식의 액세스 로그를 구성할 수 있다. · NCSA(National Center for Supercomputer Applications) ..