Data Science Lab

[AWS Aurora] Aurora 스토리지 특징 요약 l Version : AWS Aurora Amazon Aurora 스토리지는 SSD(Solid State Drive)를 사용하는 단일 가상 볼륨인 클러스터 볼륨에 저장된다. 클러스터 볼륨은 동일한 AWS 리전에 속한 세 가용 영역의 데이터 사본으로 구성되어 있다. l Aurora Storage Engine : https://sungwookkang.com/1488 가용 영역에서 데이터는 자동으로 복제되기 때문에 디스크 결함으로 인한 데이터 손실 가능성을 최소화 한다. 또한 클러스터 볼륨을 구성하는 디스크 볼륨에서 장애를 자동으로 감지한다. 예를 들어 볼륨 세그먼트에 결함이 발생하면 Aurora가 즉시 해당 세그먼트를 복구한다. Aurora가 디스크 세..

[AWS Aurora] Aurora DB 클러스터 엔드포인트 연결 종류 4가지 l Version : AWS Aurora Amazon Aurora DB Cluster는 하나 이상의 DB 인스턴스와 이 DB 인스턴스의 데이터를 관리하는 클러스터 볼륨으로 구성된다. Aurora 클러스터 볼륨은 다중 가용 영역을 아우르는 가상 데이터베이스 스토리지 볼륨으로 각 가용 영역에는 DB 클러스터 데이터의 사본이 있다. l 기본 DB 인스턴스 : 읽기 및 쓰기 작업을 지원하고 클러스터 볼륨의 모든 데이터 수정을 실행한다. Aurora DB 클러스터마다 기본 DB 인스턴스가 하나씩 있다. l Aurora 복제본 : 기본 DB 인스턴스와 동일한 스토리지 볼륨에 연결되며 읽기 작업만 지원한다. 각 Aurora DB 클러스터는..

[AWS EBS] EBS 다중 연결을 사용하여 여러 인스턴스 연결 l Version : AWS EBS AWS EC2에는 여러 개의 EBS 볼륨 스토리지를 연결하여 데이터를 쓸 수 있다. 그렇다면 반대로 하나의 EBS 볼륨에 여러 개의 EC2 인스턴스를 연결할 수는 없을까? 결로부터 말하자면 가능하다. Amazon EBS 다중 연결을 사용하면 단일 프로비저닝된 IOPS SSD(io1, io2) 볼륨을 동일한 가용 영역에 있는 여러 인스턴스에 연결할 수 있다. 볼륨이 연결된 각 인스턴스는 공유된 볼륨에 대한 전체 읽기 및 쓰기 권한을 가진다. 다중 연결을 사용하면 동시 쓰기 작업을 관리하는 클러스터링 된 Linux 애플리케이션에서 더 쉽게 더 높은 애플리케이션 가용성을 얻을 수 있다. 다중 연결 지원 볼륨은..

[AWS Aurora] binlog I/O cache 도입으로 Aurora MySQL (2.10 later) 성능 향상 l Version : AWS Aurora MySQL 2.10 later Binlog 복제는 소스 데이터베이스에서 트랜잭션 작업 오프로드, 분석을 실행하기 위한 별도의 전용 시스템으로 변경 사항 복제, 다른 시스템으로 데이터 스트리밍을 포함하여 여러 사용 사례를 제공하는 인기 있는 기능 이지만 무료(기능에 따른 오버헤드 비용으로 해석)로 제공되지 않는다. 바이너리 로깅은 binlog 이벤트에 대한 로깅이 트랜잭션 커밋의 중요한 경로의 일부로 통합되기 대문에 데이터베이스에 오버헤드가 발생할 수 있다. 이 뜻은 더 높은 커밋 대기 시간 및 더 낮은 처리량으로 해석할 수 있다. MySQL 엔진..

[AWS EC2] Region, Availability Zone, AWS Local Zone, Wavelength, AWS Outposts 개념 정리 l Version : AWS Elastic Compute Cloud 클라우드 서비스의 여러 장점 중 하나는 다양한 지역에 서비스를 배포하고 원하는 지역에서 빠르게 서비스를 제공할 수 있는 것이다. Amazon EC2는 세계 각지의 여러 곳에서 호스팅 되고 있으며 이 위치는 리전, 가용 영역, Local Zone, AWS Outposts 및 Wavelength Zone으로 구성된다. 이번 포스트는 이러한 구성에 따른 개념 및 특징을 정리해 본다. 리전(Region) AWS에는 리전이라는 개념이 있다. AWS가 전 세계에서 데이터 센터를 클러스터링하는 물리적 ..

[AWS RDS] Devops Guru for RDS 기능을 사용하여 데이터베이스의 이상 현상을 사전에 감지하기 l Version : Devops Guru for RDS 이전 포스트에서 AWS Performance Insight(성능 개선 도우미)를 사용하여 데이터베이스 운영에 필요한 다양한 지표 및 쿼리 관련 모니터링에 대해서 살펴 보았다. l [AWS RDS] Performance Insight로 DB부하의 원인 찾기 : https://sungwookkang.com/1503 이러한 모니터링은 데이터를 수집하고 관리자가 대시보드를 통한 정보 확인후 문제점 여부를 확인하는데 매우 큰 도움이 된다. 하지만 조금 더 발전시켜 이러한 이상 현상을 사전에 탐지하고 진단 결과를 알려준다면 조금 더 빠르게 사전 대..

[AWS RDS] Performance Insight로 DB부하의 원인 찾기 l Version : Performance Insight AWS RDS 데이터베이스를 사용할 때, 데이터베이스 인스턴스의 성능 지표 및 로그를 CloudWatch에서 수집하여 여러 성능 지표에 대한 모니터링을 진행할 수 있다. 하지만 슬로우 쿼리, 대기정보, 세션별 쿼리 실행 등 데이터베이스를 운영하기 위해 조금 더 자세한 정보를 확인하려면 RDS 성능 개선 도우미(Performance Insight)를 사용할 수 있다. 성능 개선 도우미를 사용하려면 DB 인스턴스 또는 다중 AZ DB의 클러스터에서 활성화 해야한다. 필요에 따라 활성/비활성이 가능하며, 상태 변경 시 재부팅 또는 장애조치가 발생하지 않는다. 성능 개선 도우미를..

[AWS S3] Amazon s3 연결 URI 형식(s3://, s3a://, s3n://)에 다른 차이점은 무엇일까? l Version : AWS Simple Storage Service(S3) AWS에서 제공하는 스토리지 서비스에는 Amazon S3(Simple Storage Service)라고 불리는 오브젝트 스토리지가 있다. Amazon S3는 여러 사용 사례에 맞춰 다양한 스토리지 클래스를 제공한다. 예를 들어 자주 액세스 하기 위해 미션 크리티컬 프로덕션 데이터는 S3 Standard에 저장하고, 액세스 빈도가 낮은 데이터는 S3 Standard-IA 또는 S3 One Zone-IA에 저장하여 비용을 절감하고, S3 Glacier Flexible Retrieval 및 S3 Glacier Dee..

[AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 2/2 - 교차 리전 자동 백업을 사용하여 RPO, RTO 효율화 하기 l Version : AWS RDS for Oracle 지난 포스트에서는 AWS RDS for Oracle에서 교차 리전 자동 백업에 대한 개념에 대해서 알아 보았다. l [AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 1/2 : https://sungwookkang.com/1500 이번 포스트는 교차 리전 자동 백업 Part 2로 AWS KMS로 암호화된 인스턴스를 포함하여 리전 간 자동 백업 설정 방법에 대해서 살펴본다. 자세한 내용은 원문을 참고한다. l Managed disaster recovery wit..

[AWS RDS] AWS RDS for Oracle 교차 리전 자동 백업 – Part 1/2 - 교차 리전 자동 백업을 사용하여 RPO, RTO 효율화 하기 l Version : AWS RDS for Oracle AWS에서 관리형 데이터베이스로 제공하는 RDS for Oracle을 사용하면 AWS 리전 내의 데이터베이스 인스턴스에 대한 향상된 가용성과 내구성을 얻을 수 있다. 여러 리전에 걸쳐 DR 구성을 하면 미션 크리티컬한 데이터베이스를 실행할 때 읽기 전용 RDS를 사용할 수 있어, 사용자에게 더 가까운 다른 리전에서 프로덕션 읽기에 대한 워크로드를 처리할 수 있다. 또한 스냅샷과 아카이브된 redo로그를 포함하는 Oracle용 Amazon RDS 교차 리전 자동 백업을 사용하면 낮은RPO(복구 시..