본문 바로가기

전체 글47

Aurora MySQL DML 복구(Flashback Query) mysql binary log (binlog) 를 이용한 Flashback Query 복구 ▷ MySQL binary log 는 update, insert, delete 등 데이터베이스에 일어나는 업데이트에 관련된 쿼리가 시간과 함께 기록되며, 데이터 복구에 이용할 수 있다. binary log 파일 확인 'show master status' 명령어를 통해 현재의 binary log 를 확인한다. 시간 표시가 나오지 않기 때문에 복구 시점이 얼마되지 않은 경우 최신의 binary log 부터 확인을 하고 binary log 파일 확인 또는 복구 하기가 어려운 경우는 Amazon RDS 에서 제공하는 스냅샷 복원 기능을 이용해 복구를 진행한다. show master status; # FilePosition.. 2022. 8. 30.
Oracle VS Mysql 데이터 타입 비교 DMS 를 이용하여 Oracle to MySQL 마이그레이션 시, 아래의 데이터 타입을 고려하여 테이블을 정의하거나 Task 작업 설정에서 자동으로 테이블을 생성하여 마이그레이션 하도록 할 수 있다. 저자는 정확한 테이블 설계를 통한 마이그레이션을 선호하는 편이라 아래의 데이터 타입을 참고하여 MySQL 테이블을 정의하고 Data Only 진행 방식으로 마이그레이션을 진행하였다.Oracle VS Mysql Data Type▷ Oracle Number 타입으로만 선언한 경우 소수점이 포함이 될 수 있으므로 MySQL 에서는 정수형(Numeric) 이 아닌 이상 Double 타입으로 생성하여야 한다.OracleMySQLBFILEVARCHAR(255)CHAR(n), CHARACTER(n), n CHAR(n),.. 2022. 8. 29.
AWS SDK (Boto3) 를 이용한 CloudWatch DB Log to Excel Download AWS SDK (Boto3) 를 이용한 CloudWatch DB Log to Excel Download Cloud 환경에서 여러 Database 를 관리하는 관리자는 매일 아침 출근을 하면, 일일이 CloudWatch 로그그룹에서 각각의 Instance 로그파일을 클릭하여 Database 에 대한 이상유무를 확인한다. 경보(Alarm)를 걸어놓긴 하지만 모든 경보를 Case 별로 설정하기란 사실상 불가능하므로 대부분의 데이터베이스 관리자는 일일이 확인하거나 중요한 Core DB 에 대해서만 확인을 할 것이다. 이러한 번거로움을 줄이기 위해 저자는 AWS 에서 제공하는 Boto3 Library 를 이용하여 1개의 엑셀파일에 모든 로그를 Download 하고 엑셀 필터 기능을 통해 이상유무를 아침마다 확인을.. 2022. 8. 29.
SQL 기초 교육과정 4 (관계형 데이터베이스와 SQL) 1. 관계형 데이터 베이스 관계형 데이터베이스(RDBMS, Relational Databae Management System)는 관계 또는 2차원 테이블을 사용하여 정보를 저장합니다. 예를 들어, 회사의 모든 사원에 대한 정보를 저장하려는 경우가 있습니다. 관계형 데이터베이스에서는 사원 테이블, 부서 테이블, 급여 테이블 등 여러 테이블을 생성하여 사원에 대한 서로 다른 정보 단위를 저장합니다 2차원 형태(행,열)의 테이블 기반 테이블과 테이블 간의 연관관계를 이용해 필요한 정보를 검색 테이블끼리의 중복정보는 최소화 시킴 SQL을 사용하여 데이터를 관리 관계형 데이터베이스 용어 그림은 사원(EMPLOYEES) 테이블 또는 관계의 내용을 보여줍니다. 각 숫자는 다음 내용을 나타냅니다. 1. 특정 사원에 필.. 2022. 8. 26.
DMS(Database Migration Service) 구성 가이드 ▽ 이기종간의 마이그레이션 작업을 진행한다고 하면 무조건 DMS 서비스를 추천한다. 저자는 RDS for Oracle to Aurora MySQL DB 로 마이그레이션을 진행하였는데, 툴을 사용하지 않고 수동으로 작업을 할 경우 다양한 이슈가 발생한 경험이 있어 이기종간DB는 꼭 DMS 서비스를 강력 추천을 드린다. DMS 복제 인스턴스 환경 Engine Version : 3.4.6 Instance Class : dms.t3.small 다중 AZ : 아니오 할당된 스토리지(GiB) : 50 DMS 구성도 ▽ DMS 복제 인스턴스를 Stage 환경에 구축하여, Stage 기준으로 환경을 세팅 VPC 망마다 IP 대역이 다르므로 inbound/outbound, peering 연결을 추가하였고 세팅값은 아래와.. 2022. 8. 24.
S3 (Download/Upload) 를 이용한 RDS for Oracle DataPump ▽ RDS for Oracle 은 다른 동일 DB 간 데이터 이관을 할 경우 DB Link 를 이용한 이관 또는 DBMS_FILE_TRANSFER 를 사용하여 Dump 파일을 대상 DB 인스턴스로 복사하여 이관이 가능하다. RDS 간은 위의 방식으로 작업이 가능하지만 타기관에서 Dump 파일을 받아 작업을 한다고 하면 S3 를 이용한 방식을 고려해야 할 것이다. 아래의 테스트는 S3 를 이용하여 RDS for Oracle DB 의 데이터를 Export 하고 Import 하는 작업이다. AWS RDS for Oracle 환경 Engine Version : 19.0.0.0.ru-2021-07.rur-2021-07.r1 Instance Class : db.r5.xlarge Test Case 시나리오 ▽ 어떤 .. 2022. 8. 23.
SQL Error[1292][22001]: Data truncation: Truncated incorrect INTEGER value: 'GF' AWS Aurora MySQL 환경 Engine Version : 5.7.mysql_aurora.2.10.2 Instance Class : Master - db.r5.xlarge (Writer 1 Instance) AWS Aurora MySQL Error 이슈 및 Test Case - CASE WHEN 구문 조건 사용 시 SQL Error[1292][22001]: Data truncation: Truncated incorrect INTEGER value 에러 발생 -- Test 를 위한 biz_item_comps 테이블 생성 CREATE TABLE biz_item_comps ( biz_item_comps_uid varchar(27) NOT NULL, version_uid varchar(27) NOT NU.. 2022. 8. 22.
[ERROR] Slave SQL for channel ": Could not execute Delete_rows event on table mysql.event; Can't find record in 'event', Error_code: 1032; AWS Aurora MySQL 환경 Engine Version : 5.7.mysql_aurora.2.09.2 Instance Class : Master - db.r5.xlarge (Reader, Writer 2 Instance) / Slave - db.r5.large (Writer 1 Instance) * Master 와 Slave 간 Cross-Region Replication 으로 DR 을 구축하여, 일반적인 DR 구성이 아닌 다른 Region 에 복제 DB 를 한 개 추가했다고 보면 된다. AWS Aurora MySQL Error 이슈 및 조치 사항 - Slave DB 의 Error Log 에 아래의 Error_code: 1032 발생, 발생 후 Slave DB에 동기화가 되지 않음. [ERROR].. 2022. 8. 22.
SQL 기초 교육과정 3 (정규화) 정규화 관계형 데이터베이스(테이블 간에 관계를 맺는) 에서 불필요한 데이터 중복을 최소화함으로써 저장공간을 최소화하고 데이터 변경 시 데이터의 불일치성을 최소화하기 위해 엔티티를 분리하는 작업이다. 제 1 정규형 ‘모든 속성은 반드시 하나의 값을 가진‘ 정규형이며, 1 정규형과 관련된 속성은 다가 속성(multivalued attributes), 복합 속성(composite attributes), 반복 속성 등이 있다. 다가 속성(multivalued attributes) 같은 종류의 깂을 여러 개 가지는 속성을 뜻하며 아래와 같이 전화번호가 2개의 값들을 가지고 있다. 엔티티의 속성은 단일 값을 가져야 하므로 별도의 엔티티로 분리하여야 한다. 반복 속성 전화번호1, 전화번호 2 속성은 전화번호의 종류일.. 2022. 8. 19.
반응형

티스토리툴바