Data Science Lab

[AWS CloudWatch] CloudWatch를 활용한 SQL Server RDS 데드락 모니터링 l Version : AWS CloudWatch, RDS for SQL Server SQL Server를 운영할 때, 여러 성능 지표 모니터링은 필수이다. 그 중 하나가 데드락 모니터링이다. AWS RDS for SQL Server 환경에서 데드락 발생시 CloudWatch를 활용하면 특별한 서드파티 모니터링 도구가 없어도 발생 즉시 알림을 받을 수 있다. 이번 포스트는 AWS 공식 블로그 내용을 요약한 것으로 자세한 내용은 원문을 참고한다. l Monitor deadlocks in Amazon RDS for SQL Server and set notifications using Amazon CloudWa..

[AWS Aurora] Babelfish를 사용하여 MS SQL 쿼리를 변경 없이 PostgreSQL에서 사용하기 - SSRS에서 Babelfish를 사용하여 쿼리 수정없이 리포트 실행 가능 l Version : AWS Aurora Babelfish 앞에서 다루었던 AWS SCT (Schema Conversion Tool)과 AWS DMS (Database Migration Service) 서비스를 사용하여 이기종 간의 데이터베이스 스키마 전환 및 실시간 데이터베이스 마이그레이션에 대해서 살펴 보았다. l [AWS SCT] AWS SCT를 활용하여 이기종 데이터베이스 스키마 전환하기 : https://sungwookkang.com/1497 l [AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션..

[AWS SCT] AWS SCT를 활용하여 이기종 데이터베이스 스키마 전환하기 - 툴을 활용하여 쉽고 빠르게 이기종 데이터베이스 호환 스키마를 만들기 l Version : AWS SCT 이전 포스팅에 AWS DMS 서비스를 소개하면서 이기종 간의 데이터 마이그레이션에 대해서 알아 보았다. AWS DMS는 이기종간의 데이터 마이그레이션 뿐만 아니라, 실시간 마이그레이션, 그리고 마이그레이션 진행과정에서 데이터 마스킹등 다양한 기술을 지원한다. l [AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 : https://sungwookkang.com/1496 그렇다면 이기종 간의 데이터 마이그레이션을 진행하기 위해서는 스미카 생성이 선행되어야 하는데, 이기종 간의 스키마 ..

[AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 - 데이터 마이그레이션 시 룰 매핑 정보를 사용하여 개인 정보 및 특정 데이터 마스킹 하기 l Version : AWS DMS 데이터 저장소 간의 데이터 복제는 평가, 스키마 변환, 데이터 마이그레이션, 데이터 유효성 검사, 데이터 액세스 및 보안 정책 구현을 포함하는 복잡한 다단계 프로세스이다. 데이터가 데이터 저장소에 걸쳐 복제됨에 따라 대부분의 조직은 개인 식별 정보(PII) 또는 해당 정보에 액세스 해서는 안되는 사용자로부터 상업적으로 민감한 데이터를 보호해야하는 규정 준수 요구 사항이 있다. 이러한 복잡한 단계의 데이터 마이그레이션을 쉽게 할 수 있는 클라우드 솔루션으로 AWS DMS (Database M..

[AWS S3] AWS S3 Storage Lens - S3버킷의 사용량 및 활동량을 한 눈에 분석하여 비용절감 전략 세우기 l Version : AWS S3 Amazon S3 Storage Lens는 전체 Amazon S3 스토리지에 대한 객체 스토리지 사용량 및 활동을 한곳에서 볼 수 있게 해준다. 이러한 서비스를 사용하면 현재 보유하고 있는 S3의 수 많은 버킷에 대해서 얼마나 자주 사용하는지, 그리고 얼만큼의 용량을 사용하는지 쉽게 파악할 수 있다. 이렇게 수집된 데이터를 잘 활용하면 어떤 객체가 미사용 중인지, 사용량이 큰 객체는 무엇인지 등을 쉽게 분석하여 관리의 편의성 뿐만 아니라 최종적으로는 비용 절감까지의 전략을 세울 수 있다. S3 Storage Lens에는 조직, 계정, 리전, 버킷 ..

[AWS MySQL] AWS JDBC Driver for MySQL - AWS JDBC 드라이버를 사용하여 장애조치 시간 단축하기 l Version : AWS MySQL, Aurora Amazon Web Service (AWS) JDBC Driver for MySQL을 사용하면 애플리케이션에서 클러스터된 MySQL 데이터베이스의 기능을 활용할 수 있다. AWS JDBC Driver for MySQL 은 오픈소스 MySQL JDBC Connector을 기반으로 제작되었기 때문에 호환 가능하다. l mysql-connector-j : https://github.com/mysql/mysql-connector-j l aws-mysql-jdbc : https://github.com/awslabs/aws-mysql..

[AWS] What is AWS Graviton processor? l Version : Amazon Web Service 이번 포스트는 AWS에서 출시하여 제공하고 있는 AWS Graviton 프로세서가 무엇인지 알아본다. Graviton 프로세서에 대한 성능 및 기존 X86 프로세서와의 벤치마크 등은 다른 자료를 참고할 수 있도록 한다. AWS Graviton은 Amazon EC2(Elastic Compute Cloud) 가상 머신 인스턴스 고객을 위해 ARM 아키텍처를 기반으로 AWS에서 2018년 출시한 서버 프로세서이다. AWS Graviton 1 프로세서는 맞춤형 실리콘과 64비트 Neoverse 코어를 특징으로 한다. 2020년 AWS Graviton2 프로세서를 출시했고. 2021년, re..

[AWS RDS] RDS Proxy - 커넥션풀을 관리하여 RDS에서 발생할 수 있는 연결 오류 및 오버헤드 방지 l Version : Amazon RDS AWS Relational Database Service(RDS)는 관리형 데이터베이스 서비스이다. RDS는 제한된 수의 커넥션 연결만 허용하는데 최근 애플리케이션의 패턴이 발전하고, 특히 서버리스 애플리케이션 에서는 많은 수의 DB 커넥션을 발생시킨다. 이렇게 제한된 숫자 이상의 커넥션 연결을 요청하게 되면 데이터베이스는 커넥션 연결 오류가 발생하고 애플리케이션은 정상적인 서비스 제공이 불가능하게 된다. 이러한 문제점을 해결하기 위해서 RDS Proxy(프록시)를 사용할 수 있다. RDS 프록시는 다른 프록시 서비스와 유사하게 작동한다. 기본적으로 ..

[AWS RDS] Modify RDS instance type - AWS RDS 인스턴스 타입 변경 (업그레이드 또는 다운그레이드) l Version : Amazon RDS AWS RDS 환경에서는 운영중인 RDS 인스턴스의 용량 증설 및 감소(Scale-Up / Scale-Down) 작업을 Management Console을 통해서 매우 간단하게 변경할 수 있다. 아래 순서에 따라 인스턴스를 변경할 수 있다. 1. 변경할 인스턴스를 선택하고 Modify버튼을 클릭한다. 2. DB Instance size 항목에서 변경할 인스턴스 타입을 선택 한다. 이 글에서는 db.r5.large 인스턴스를 db.t3.medium으로 다운그레이드 한다. 3.맨 아래 위치한 Continue 버튼을 클릭한다. 4. 변경하..

[AWS RDS] Modify RDS SQL Server Standard Edition to Enterprise Edition - AWS RDS SQL Server 스탠다드 에디션에서 엔터프라이즈 에디션으로 변경 l Version : Amazon RDS for SQL Server Microsoft SQL Server는 다양한 버전으로 제공되며 각 버전은 고유한 기능, 성능 및 가격 옵션을 제공한다. 설치하는 버전도 특정 요구사항에 따라 다르다. 일부 고객은 더 높은 메모리와 고가용성 기능을 활용하기 위해 SQL Server용 Amazon RDS Standard Edition에서 Amazon RDS Enterprise Edition으로 변경을 원할 수 있다. 이번 글은 RDS SQL Server 스탠다드 ..