Data Science Lab

[AWS RDS] Devops Guru for RDS 기능을 사용하여 데이터베이스의 이상 현상을 사전에 감지하기 l Version : Devops Guru for RDS 이전 포스트에서 AWS Performance Insight(성능 개선 도우미)를 사용하여 데이터베이스 운영에 필요한 다양한 지표 및 쿼리 관련 모니터링에 대해서 살펴 보았다. l [AWS RDS] Performance Insight로 DB부하의 원인 찾기 : https://sungwookkang.com/1503 이러한 모니터링은 데이터를 수집하고 관리자가 대시보드를 통한 정보 확인후 문제점 여부를 확인하는데 매우 큰 도움이 된다. 하지만 조금 더 발전시켜 이러한 이상 현상을 사전에 탐지하고 진단 결과를 알려준다면 조금 더 빠르게 사전 대..

[AWS RDS] Performance Insight로 DB부하의 원인 찾기 l Version : Performance Insight AWS RDS 데이터베이스를 사용할 때, 데이터베이스 인스턴스의 성능 지표 및 로그를 CloudWatch에서 수집하여 여러 성능 지표에 대한 모니터링을 진행할 수 있다. 하지만 슬로우 쿼리, 대기정보, 세션별 쿼리 실행 등 데이터베이스를 운영하기 위해 조금 더 자세한 정보를 확인하려면 RDS 성능 개선 도우미(Performance Insight)를 사용할 수 있다. 성능 개선 도우미를 사용하려면 DB 인스턴스 또는 다중 AZ DB의 클러스터에서 활성화 해야한다. 필요에 따라 활성/비활성이 가능하며, 상태 변경 시 재부팅 또는 장애조치가 발생하지 않는다. 성능 개선 도우미를..

[AWS S3] Amazon s3 연결 URI 형식(s3://, s3a://, s3n://)에 다른 차이점은 무엇일까? l Version : AWS Simple Storage Service(S3) AWS에서 제공하는 스토리지 서비스에는 Amazon S3(Simple Storage Service)라고 불리는 오브젝트 스토리지가 있다. Amazon S3는 여러 사용 사례에 맞춰 다양한 스토리지 클래스를 제공한다. 예를 들어 자주 액세스 하기 위해 미션 크리티컬 프로덕션 데이터는 S3 Standard에 저장하고, 액세스 빈도가 낮은 데이터는 S3 Standard-IA 또는 S3 One Zone-IA에 저장하여 비용을 절감하고, S3 Glacier Flexible Retrieval 및 S3 Glacier Dee..

[AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 2/2 - 교차 리전 자동 백업을 사용하여 RPO, RTO 효율화 하기 l Version : AWS RDS for Oracle 지난 포스트에서는 AWS RDS for Oracle에서 교차 리전 자동 백업에 대한 개념에 대해서 알아 보았다. l [AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 1/2 : https://sungwookkang.com/1500 이번 포스트는 교차 리전 자동 백업 Part 2로 AWS KMS로 암호화된 인스턴스를 포함하여 리전 간 자동 백업 설정 방법에 대해서 살펴본다. 자세한 내용은 원문을 참고한다. l Managed disaster recovery wit..

[AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 1/2 - 교차 리전 자동 백업을 사용하여 RPO, RTO 효율화 하기 l Version : AWS RDS for Oracle AWS에서 관리형 데이터베이스로 제공하는 RDS for Oracle을 사용하면 AWS 리전 내의 데이터베이스 인스턴스에 대한 향상된 가용성과 내구성을 얻을 수 있다. 여러 리전에 걸쳐 DR 구성을 하면 미션 크리티컬한 데이터베이스를 실행할 때 읽기 전용 RDS를 사용할 수 있어, 사용자에게 더 가까운 다른 리전에서 프로덕션 읽기에 대한 워크로드를 처리할 수 있다. 또한 스냅샷과 아카이브된 redo로그를 포함하는 Oracle용 Amazon RDS 교차 리전 자동 백업을 사용하면 낮은RPO(복구 시..

[AWS CloudWatch] CloudWatch를 활용한 SQL Server RDS 데드락 모니터링 l Version : AWS CloudWatch, RDS for SQL Server SQL Server를 운영할 때, 여러 성능 지표 모니터링은 필수이다. 그 중 하나가 데드락 모니터링이다. AWS RDS for SQL Server 환경에서 데드락 발생시 CloudWatch를 활용하면 특별한 서드파티 모니터링 도구가 없어도 발생 즉시 알림을 받을 수 있다. 이번 포스트는 AWS 공식 블로그 내용을 요약한 것으로 자세한 내용은 원문을 참고한다. l Monitor deadlocks in Amazon RDS for SQL Server and set notifications using Amazon CloudWa..

[AWS Aurora] Babelfish를 사용하여 MS SQL 쿼리를 변경 없이 PostgreSQL에서 사용하기 - SSRS에서 Babelfish를 사용하여 쿼리 수정없이 리포트 실행 가능 l Version : AWS Aurora Babelfish 앞에서 다루었던 AWS SCT (Schema Conversion Tool)과 AWS DMS (Database Migration Service) 서비스를 사용하여 이기종 간의 데이터베이스 스키마 전환 및 실시간 데이터베이스 마이그레이션에 대해서 살펴 보았다. l [AWS SCT] AWS SCT를 활용하여 이기종 데이터베이스 스키마 전환하기 : https://sungwookkang.com/1497 l [AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션..

[AWS SCT] AWS SCT를 활용하여 이기종 데이터베이스 스키마 전환하기 - 툴을 활용하여 쉽고 빠르게 이기종 데이터베이스 호환 스키마를 만들기 l Version : AWS SCT 이전 포스팅에 AWS DMS 서비스를 소개하면서 이기종 간의 데이터 마이그레이션에 대해서 알아 보았다. AWS DMS는 이기종간의 데이터 마이그레이션 뿐만 아니라, 실시간 마이그레이션, 그리고 마이그레이션 진행과정에서 데이터 마스킹등 다양한 기술을 지원한다. l [AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 : https://sungwookkang.com/1496 그렇다면 이기종 간의 데이터 마이그레이션을 진행하기 위해서는 스미카 생성이 선행되어야 하는데, 이기종 간의 스키마 ..

[AWS DMS] AWS DMS를 활용하여 데이터 마이그레이션 과정에서 데이터 마스킹 하기 - 데이터 마이그레이션 시 룰 매핑 정보를 사용하여 개인 정보 및 특정 데이터 마스킹 하기 l Version : AWS DMS 데이터 저장소 간의 데이터 복제는 평가, 스키마 변환, 데이터 마이그레이션, 데이터 유효성 검사, 데이터 액세스 및 보안 정책 구현을 포함하는 복잡한 다단계 프로세스이다. 데이터가 데이터 저장소에 걸쳐 복제됨에 따라 대부분의 조직은 개인 식별 정보(PII) 또는 해당 정보에 액세스 해서는 안되는 사용자로부터 상업적으로 민감한 데이터를 보호해야하는 규정 준수 요구 사항이 있다. 이러한 복잡한 단계의 데이터 마이그레이션을 쉽게 할 수 있는 클라우드 솔루션으로 AWS DMS (Database M..

[AWS S3] AWS S3 Storage Lens - S3버킷의 사용량 및 활동량을 한 눈에 분석하여 비용절감 전략 세우기 l Version : AWS S3 Amazon S3 Storage Lens는 전체 Amazon S3 스토리지에 대한 객체 스토리지 사용량 및 활동을 한곳에서 볼 수 있게 해준다. 이러한 서비스를 사용하면 현재 보유하고 있는 S3의 수 많은 버킷에 대해서 얼마나 자주 사용하는지, 그리고 얼만큼의 용량을 사용하는지 쉽게 파악할 수 있다. 이렇게 수집된 데이터를 잘 활용하면 어떤 객체가 미사용 중인지, 사용량이 큰 객체는 무엇인지 등을 쉽게 분석하여 관리의 편의성 뿐만 아니라 최종적으로는 비용 절감까지의 전략을 세울 수 있다. S3 Storage Lens에는 조직, 계정, 리전, 버킷 ..