ETL data error with MariaDB ODBC 3.0 (from Aurora to MS SQL)

 

·      Version : SQL Server 2016, AWS Aurora, Maria ODBC 3.0

 

최근 다양한 DB환경이 구성되면서 DW(Data Warehouse) 구축할 , ETL 작업 또한 이기종 DB (데이터베이스가 다른 종류간의 ETL) 작업이 증가하는 추세이다. 필자는 현재 다양한 데이터베이스를 구축 운영하고 있으며 MySQL 에서 MS SQL ETL과정중 예기치 못한 데이터 오류가 많이 발생 하였다. AWS 있는 Aurora (MySQL 5.6) 데이터 원본에서MS SQL Server ETL하는 과정에서 Decimal값이 정상적으로 표시되지 않고 /100 값으로 변환되어 출력되어지는 문제점이 발견되었다.


 

ETL방식은 SQL Server에서 MariaDB ODBC 3.0 Driver 사용하여 AWS Aurora 데이터베이스 데이터를 오픈 쿼리 방식으로 가져온다. 모든 데이터에 대해서 /100 으로 변환되지는 않으며 decimal 데이터 타입에서만 변환되는것을 확인하였다. 구글에서 Maria odbc decimal error 검색해보니 이미 많은 사용자들이 해당 이슈를 보고 하였고 관련 솔루션도 소개되어 있다.


 

다양한 해결 방법중에 MariaDB ODBC 3.03 Driver 에서는 해당 이슈가 해결되었다는 글이 있어 드라이버를 업그레이드 진행 하였다. 그리고 테스트 결과 정상적으로 값이 출력됨을 확인할 있었다.


 

 

각종  ODBC Driver 대한 버전은 ODBC Data Source Administrator에서 Drivers 탭에서 확인할 있다.


 

·       MariaDB ODBC Driver 설치 또는 업그레이드시 시스템 재부팅이 요구되므로 주의한다.

 

 

2018-05-30 / 강성욱 / http://sqlmvp.kr / http://sqlangeles.com

 

Aurora My5.6, ETL, MariaDB ODBC driver error, ODBC decimal error, ETL, ODBC driver, MySQL, MariaDB, MSSQL


SSIS 실행 로그 남기기

 

-       Version : SSIS Server 2005, 2008, 2008R2, 2012, 2014, 2015

 

SSIS 패키지를 운영할 때 중요한 요소 중 하나는 로깅이다. SSIS에서는 다양한 로깅 방법을 지원한다.

l  텍스트 파일 가장 기본적인 로깅

l  SQL Server 테이블 가장 큰 장점은 쉽게 로그 결과를 조회할 수 있다.

l  SQL Server 프로파일러 이벤트 프로파일 캡처할 수 있다. 추적에 기록된다.

l  Windows 이벤트 로그

l  XML 파일

 

[SQL Server 테이블에 로깅]

SQL Server 테이블에 로깅하는 방법에 대해서 알아본다. (다른 옵션들을 선택해도 설정 방법은 유사하기 때문에 응용하여 사용할 수 있다.) 로깅을 테스트하기 위해 SSIS 제어흐름에서 SQL 실행 작업과 매우 간단한 패키지를 생성하였다. SQL 구문은 0으로 나누기하여 오류를 발생시키도록 하였다.

 

제어흐름에서 마우스 오른쪽 버튼을 클릭하고 로깅을 선택하거나 작업표시줄에서 SSIS 메뉴로 이동하여 로깅을 선택한다.

 

로깅의 공급자 메뉴에서SSIS log provider for SQL Server 을 선택한다.

 

 

로그 공급자를 추가한다. 하나의 패키지에 여러 공급자를 추가하는 것이 가능하다. 로그 테이블을 유지하려는 데이터베이스 연결관리자를 지정한다. 테이블을 지정하는 것은 불가능하다. SSIS에서는 특정 이름으로 테이블을 자동으로 생성한다.

 

 

작업의 왼쪽 창에서 작업을 취소하여 구성할 수 있다. 오른쪽 창에서 로그 공급자를 선택해야 한다.

 

 

마지막 단계는 로그 공급자가 SQL Server에 기록할 이벤트를 선택한다. 세부정보는 아래 탭에서 선택할 수 있다.

 

설정이 완료되면 SSIS dbo.sysssislog 이름으로 데이터베이스에 테이블을 생성한다.

 

각 열의 정의는 다음과 같다.

l  ID : 테이블의 기본 ID (기본키)

l  Event : 로그 이벤트 유형 (: OnError)

l  Computer : 패키지를 실행한 호스트명

l  Operator : 패키지를 실행한 사용자 ID

l  Source : 이벤트를 생성한 작업 또는 패키지명

l  Sourceid : 소스 작업 도는 패키지의 GUID

l  Executionid : 패키지를 실행한 GUID

l  Starttime : 작업의 시작시간

l  Endtime : 작업의 종료 시간

l  Datacode : 태스크 또는 컨테이너의 실행 결과를 포함할 수 있는 임의의 번호 (0 성공, 1 실패)

l  Databytes : 로그메시지에 대한 바이트 배열

l  Message : 로그 이벤트 메시지

 

로그 테이블 조회는 아래 스크립트로 확인할 수 있다.

SELECT

        [event]

       ,[computer]

       ,[operator]

       ,[source]

       ,[starttime]

       ,[endtime]

       ,[message]

FROM [dbo].[sysssislog];

 

 


[스크립트 작업에서 로깅]

일부 작업은 특정이벤트가 포함되어 있는 경우가 있다. 스크립트 작업에서도 ScriptTaskLogEntry 이벤트를 사용하여 로깅을할 수 있다.

 


실제로 스크립트 작업에서 로깅하려면 세개의 매개 변수를 받아들이는 Dts.log 이벤트를 사용한다.

l  Log message

l  Datacode

l  Databytes

 

첫 번째 값은 매우 중요하여 나머지 두 값은 더미 값이 될 수 있다.

 


패키지를 실행할 때 로깅 테이블에서 사용자 지정 로그를 확인할 수 있다.

 

 

[참고자료]

https://www.mssqltips.com/sqlservertip/4070/integrated-logging-with-the-integration-services-package-log-providers/

 

2015-11-09 / 강성욱 / http://sqlmvp.kr

 

 

MS SQL Server, MS SQL, SSIS, SSIS 로깅, Integrated Logging, SQL Server Integration Services,ETL, BI

SSIS 실행 로그 남기기

 

  • Version : SSIS Server 2005, 2008, 2008R2, 2012, 2014, 2015

 

SSIS 패키지를 운영할 때 중요한 요소 중 하나는 로깅이다. SSIS에서는 다양한 로깅 방법을 지원한다.

  • 텍스트 파일 – 가장 기본적인 로깅
  • SQL Server 테이블 – 가장 큰 장점은 쉽게 로그 결과를 조회할 수 있다.
  • SQL Server 프로파일러 – 이벤트 프로파일 캡처할 수 있다. 추적에 기록된다.
  • Windows 이벤트 로그
  • XML 파일

 

[SQL Server 테이블에 로깅]

SQL Server 테이블에 로깅하는 방법에 대해서 알아본다. (다른 옵션들을 선택해도 설정 방법은 유사하기 때문에 응용하여 사용할 수 있다.) 로깅을 테스트하기 위해 SSIS 제어흐름에서 SQL 실행 작업과 매우 간단한 패키지를 생성하였다. 이 SQL 구문은 0으로 나누기하여 오류를 발생시키도록 하였다.

 

제어흐름에서 마우스 오른쪽 버튼을 클릭하고 로깅을 선택하거나 작업표시줄에서 SSIS 메뉴로 이동하여 로깅을 선택한다.

 

로깅의 공급자 메뉴에서SSIS log provider for SQL Server 을 선택한다.

 

 

로그 공급자를 추가한다. 하나의 패키지에 여러 공급자를 추가하는 것이 가능하다. 로그 테이블을 유지하려는 데이터베이스 연결관리자를 지정한다. 테이블을 지정하는 것은 불가능하다. SSIS에서는 특정 이름으로 테이블을 자동으로 생성한다.

 

 

작업의 왼쪽 창에서 작업을 취소하여 구성할 수 있다. 오른쪽 창에서 로그 공급자를 선택해야 한다.

 

 

마지막 단계는 로그 공급자가 SQL Server에 기록할 이벤트를 선택한다. 세부정보는 아래 탭에서 선택할 수 있다.

 

설정이 완료되면 SSIS는 dbo.sysssislog 이름으로 데이터베이스에 테이블을 생성한다.

 

각 열의 정의는 다음과 같다.

  • ID : 테이블의 기본 ID 열 (기본키)
  • Event : 로그 이벤트 유형 (예: OnError)
  • Computer : 패키지를 실행한 호스트명
  • Operator : 패키지를 실행한 사용자 ID
  • Source : 이벤트를 생성한 작업 또는 패키지명
  • Sourceid : 소스 작업 도는 패키지의 GUID
  • Executionid : 패키지를 실행한 GUID
  • Starttime : 작업의 시작시간
  • Endtime : 작업의 종료 시간
  • Datacode : 태스크 또는 컨테이너의 실행 결과를 포함할 수 있는 임의의 번호 (예 0 성공, 1 실패)
  • Databytes : 로그메시지에 대한 바이트 배열
  • Message : 로그 이벤트 메시지

 

로그 테이블 조회는 아래 스크립트로 확인할 수 있다.

SELECT

     [event]

    ,[computer]

    ,[operator]

    ,[source]

    ,[starttime]

    ,[endtime]

    ,[message]

FROM [dbo].[sysssislog];

 

 

[스크립트 작업에서 로깅]

일부 작업은 특정이벤트가 포함되어 있는 경우가 있다. 스크립트 작업에서도 ScriptTaskLogEntry 이벤트를 사용하여 로깅을할 수 있다.

 

실제로 스크립트 작업에서 로깅하려면 세개의 매개 변수를 받아들이는 Dts.log 이벤트를 사용한다.

  • Log message
  • Datacode
  • Databytes

 

첫 번째 값은 매우 중요하여 나머지 두 값은 더미 값이 될 수 있다.

 

패키지를 실행할 때 로깅 테이블에서 사용자 지정 로그를 확인할 수 있다.

 

 

[참고자료]

https://www.mssqltips.com/sqlservertip/4070/integrated-logging-with-the-integration-services-package-log-providers/

 

2015-11-09 / 강성욱 / http://sqlmvp.kr

 

 

MS SQL Server, MS SQL, SSIS, SSIS 로깅, Integrated Logging, SQL Server Integration Services,ETL, BI

+ Recent posts