티스토리

멋지게 놀아라

검색하기

블로그 홈

멋지게 놀아라

bstar36.tistory.com/m

★깜장별★ 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

브롬톤 일렉트릭 국토종주 (남한강, 새재) 첫째 군대 가기 전 제주도 일주를 생각하던 중 브롬톤 일렉을 알게 되었고, 자전거를 몇 년동안 타지 않았던 터라 일렉 1대, 일반 1대를 구매해서 3박4일로 제주도 일주를 가려고 마음을 먹었었지요. 그런데 첫 째 놈이 체력이 안될 것 같다고 해서 제주도 일주는 무산되고, 브롬톤 일렉 한대만 구매해서 국토 종주나 해 보자 해서 구매를 했습니다. 워낙 자전거를 안 탔었어서, 업힐에서 도움을 받을 요량으로 구매를 한 것입니다. 구매는 판교 에잇플레이스에서 구매를 하였으며, 구매 시 여행용 큰 가방도 같이 구매를 하였습니다.사장님이 매우 친절하십니다. 설명도 친절히 해 주시고 ~~ 스펙상으로는 70km 정도를 서포트 해 준다고 하는데, 일단 체력도 올려야 하고 실제 점검도 해야 해서집에서 20, 30, 40, .. 공감수 7 댓글수 0 2024. 10. 9.
바인드 변수 쿼리 플랜 생성 로직 bind 변수를 이용하는 쿼리를 사용시 plan_cache_mode 설정 값에 따라서 플랜을 생성하는 것이 다르다. plan_cache_mode의 기본 값은 auto이고, 줄 수 있는 옵션은 다음과 같다force_generic_plan : 바인드 값을 참고하지 않고 일반적인 plan 생성force_custom_plan : 오라클의 bind peeking이나 SQL Server의 sniffed parameter 처럼 바인드 값에 따라서 다르게 플랜을 생성한다.auto : 동일 세션에서 수행되는 바인드 SQL인 경우 5번 까지는 force_custom_plan 처럼 바인드 변수 값을 이용해서 플랜을 생성한다. 이후 6번째 수행 부터는 바인드 값을 참조 하지 않는 플랜과 기존 바인드 값을 참조한 플랜들의 코스.. 공감수 0 댓글수 0 2024. 6. 10.
log file Rotation MongoDB log file rotation MonogDB는 Log가 자동으로 로테이션 되지 않기 때문에 쉘이나 크론탭에 등록해서 로그를 로테이션 하는 명령을 수행해 줘야 한다해당 명령은 rs.oplog에 기록되지 않기 때문에 Replica Set이면 모든 맴버 서버에서 각각 수행해 줘야 한다로그 Rotate 명령을 수행하면 원래 로그파일을 rename 하고, 새로운 로그 파일을 생성한다 명령어db.adminCommand( { logRotate : "server" } ) 명령어를 수행하게 되면, 사용하던 로그 파일의 이름을 명령어가 수행된 시간으로 파일명을 변경 시키고, 신규 로그파일을 사용한다mongod.log.2024-05-22T01-45-38mongod.log.2024-05-22T01-45-47m.. 공감수 0 댓글수 0 2024. 5. 22.
oplog.rs 내용 확인 Replica set 의 모든 Secondary 멤버는 Primary 멤버로 부터 변경이 기록된 로그(oplog.rs)를 가져와서 적용 하면서, Primary 와 Secondary 간의 데이터를 동기화를 하게 됩니다.아래 테스트를 보면 확인 할 수 있듯이, 수행된 MQL이 저장되지 않고 실제 저장될 document 내용이 oplog.rs에 저장 됩니다그래서 현재 시간을 사용할 경우 쿼리를 이용한다면 Primary, secondary의 내용이 다를 수 있지만, mongodb는 실 데이터를 가져가서 반영 시키므로 데이터가 달라지지는 않습니다. ################### 테스트 시나리오################## insert , update, delete , drop 명령 수행 후 oplog... 공감수 0 댓글수 0 2024. 5. 22.
Reog 대상 확인 PostgreSQL에서 reog 대상 테이블 선정 및 반환되는 사이즈 확인 0. 결론 - 정확하게 반환되는 사이즈는 확인 불가 (free 공간 비슷하게 공간 반환) --> 데이터가 block에 저장 될 때 저장가능 모든 공간을 사용할 수 있는 데이터 사이즈 일 경우 free size가 다 반환되나, 남은 공간이 하나의 Row를 저장할 공간이 되지 않을 경우 , 새로운 block에 저장하므로 free 공간이 생길 수 밖에 없으므로 free 공간이 다 반환된다고 볼 수는 없다 - pgstattuple은 전체 테이블에 대한 full scan을 수행 한다 1. 테스트 데이터 생성 테이블 생성 drop table if exists test_reog ; create table test_reog ( item_code.. 공감수 0 댓글수 0 2024. 1. 24.
dead lock dead lock은 세션에서 대기하는 lock이 dead lock인지 아닌지 검사하는 시간을 lock을 대기 하자 마자 체크하지 않고, 일정 시간이 지난 후에 체크 합니다. 이유는 해당 lock이 서로 참조하고 있는지를 체크 하기 위해서는 내부적으로 체크하는 로직이 수행되어야 하므로, 매번 lock 대기시에 체크를 하게 되면 불 필요한 리소스를 사용하게 되고, 해당 lock 대기가 금방 끝날 경우 dead lock 체크를 위한 불필요한 리소스 사용을 하지 않게 하기 위함입니다. 그래서 lock을 대기 하고 일정 시간이 지난 후에 dead lock인지 여부를 체크 합니다. 아래의 테스트를 보시면 이해가 되시리라 생각 됩니다. 오라클 테스트 #1 : 세션1의 id = 2 업데이트가 lock 대기를 먼저 하고.. 공감수 0 댓글수 0 2024. 1. 16.
Patroni + etcd + HAproxy를 이용한 HA구 Patroni를 이용하여 PostgreSQL HA 구성 0. 구성환경 ip hostname 설치 제품 192.168.56.201 pgserver1 Cent7 minimal, PostgreSQL 13, patroni 192.168.56.202 pgserver2 Cent7 minimal, PostgreSQL 13, patroni 192.168.56.203 pgserver3 Cent7 minimal, etcd, HAproxy 기본적으로 위의 정보는 /etc/hosts와 /etc/hostname에 설정이 되어 있어야 하고, SELINUX=disabled 된 상태 (sed -i s/SELINUX=enforcing/SELINUX=disabled/ /etc/selinux/config) PG 서버는 source 버전을.. 공감수 0 댓글수 0 2024. 1. 10.
vacuum & long transaction auto vacuum이나 수동으로 vacuum 명령을 수행하여도 실제 vacuum이 수행되지 않는 경우가 발생할 수 있다. DML이 빈번히 발생하고 있는 테이블이라서 auto vacuum 이나 vacuum이 수행 되어서 dead tuple을 정리해 줘야 하는데 그렇지 못한 경우가 발생 원인 : DML이 빈번히 발생하는 테이블에 대한 조회 쿼리가 오래 수행되고 있는 중에 vacuum이나 auto vacuum이 수행 되면 해당 명령은 정상적으로 수행 되었다고 나옴 dead_tuple도 삭제 되었다고 나오지만, 실제 블럭을 확인해 보면 정리가 되진 않음 --> 테이블 사이즈는 계속 증가 시나리오 : 세션 1에서 update 수행 --> dead tuple 발생 세션 2에서 해당 테이블을 select하는 lon.. 공감수 0 댓글수 0 2022. 7. 1.
View의 특이 사항 PostgreSQL의 View는 약간 다르게 동작하는 부분이 있어서 테스트 진행 View 특징 1. View에서 참조하는 테이블의 이름이 변경되면, View안의 테이블이름도 변경된다 2. View가 존재 하는 원본 테이블을 삭제 하려고 하거나, View에서 참조하는 칼럼을 변경하려고 하면 에러가 난다. 1. 원본 테이블 명 변경 시 View 내용 변경 9.3 ~ 14까지 다 테스트를 진행해 보니 실제로 참조 테이블에서 이름을 변경하게 되면 View안에서 해당 테이블 이름도 자동으로 변경 된다. Why ? PostgreSQL은 다른 DBMS와 다르게 View 생성 SQL문을 저장해 놓고 있지 않다. 즉, view에 대한 SQL문이 저장되어서 쿼리 수행 시 Rewrite가 되는 것이 아니라, parse tr.. 공감수 0 댓글수 0 2022. 6. 19.
PL/pgSQL PL/SQL 14버전 전까지는 OUT 이 없음. IN, INOUT만 존재 함. DBMS_OUTPUT.PUT_LINE('I got here:'||:new.col||' is the new value'); --> RAISE NOTICE 'I got here:% is the new value', NEW.col; 프로시저는 V11부터 사용가능 Anonymous \timing on create table t( id serial primary key, n numeric not null ); insert into t(n) select 1 from generate_series(1,100000); do $$ begin for i in 1..150 loop for j in 1..10000 loop insert into pa.. 공감수 0 댓글수 0 2022. 6. 7.
트랜잭션 안에서 Now()값이 변화하지 않음 PostgreSQL은 트랜잭션 안에서 Now() 값이 변화하지 않는다. 하나의 트랜잭션 안에서 동일한 값을 사용해야 하면 상관은 없지만, 그렇지 않을 경우는 now() 함수를 사용하면 안 된다. 하나의 트랜잭션 안에서 다른 시간 값을 사용하려면, clock_timestamp()값을 사용해야 한다. now() = current_timestamp = transaction_timestamp() : 트랜잭션의 시작 시간을 리턴 clock_timestamp() : 현재 시간 리턴 테이블에서 실제 Insert 시간이 필요할 경우는 now()를 사용하지 말고 clock_timestamp()를 사용해야 실제 insert 시간을 넣을 수 있다. begin을 이용해서 동일한 시간대의 값을 여러 테이블에 저장할 경우는 데이.. 공감수 0 댓글수 0 2022. 6. 7.
IP 주소/네트워크/호스트/Subnet IP Address 주소는 32비트 숫자로 표현이 된다. ┌--------------32-------------┐ ┌--8--┐┌---8--┐ ┌--8--┐ ┌--8--┐ xxxxxxxx . xxxxxxxx . xxxxxxxx . xxxxxxxx └옥텟┘ 옥텟 : 아이피 주소의 첫 번째 숫자 값으로 A,B,C Class를 확인 할 수 있다. 호스트 : 네트워크 안에서 개별 장치(컴퓨터, 프린터 등이 가지는 호스트 주소) A 클라스 32비트 중 제일 처음의 비트가 0으로 고정 됨 앞 8비트가 네트워크, 나머지 24비트가 호스트 ┌네트워크┐┌-----------호스트-----------┐ 0xxxxxxx . xxxxxxxx . xxxxxxxx . xxxxxxxx └----------┘ 8자리 중 7자리만 사.. 공감수 0 댓글수 0 2022. 5. 17.
fillfactor 0. OverView PostgreSQL은 기본적으로 다른 DBMS와 다르게 MVCC를 구현하기 위한 Undo 스페이스가 따로 존재 하지 않고, 데이터가 저장되어있는 블록에 이전 이미지를 저장해 놓고 MVCC를 구현한다. 그래서 Update가 발생하게 되면, 기본 tuple은 플래그를 변경하고, 새로운 Update된 데이터가 새로이 Insert가 된다. 기존 데이터는 Dead tuple로 되고, vacuum이 수행되게 되면 해당 Dead tuple이 있던 부분은 새로이 사용가능한 영역으로 바뀌게 된다. (FSM에서 관리) 그러면 추후 Insert 시에 해당 공간을 사용한다. 그러나 insert, Update가 빈번히 일어나는 테이블일 경우는 vacuum이 돌기 전까지는 dead tuple영역을 사용 할 .. 공감수 2 댓글수 0 2022. 5. 15.
pg_cron pg_cron : https://access.crunchydata.com/documentation/pg_cron/1.3.1/ 위의 문서를 보면 pg 9.5 이상부터 사용할 수 있다고 나오는데, 최신버전으로 컴파일 해 보면 V10부터 사용이 가능하다. 테스트 환경은 V9.3 ~ V14까지 source를 이용하여 하나의 서버에 설치 된 상태이다. pg_cron을 rpm을 이용하여 설치 할 경우 source코드를 컴파일 해서 설치 하였으므로, PostgreSQL Server가 설치 되어 있지 않다고 하면서 설치가 진행이 되질 않는다. 그래서 source 컴파일을 하는 방식으로 진행을 함 postgres 유저에게 sudo 권한을 부여한 후에 postgres유저로 Engine Home을 변경해 가면서 설치 진행 .. 공감수 0 댓글수 0 2022. 5. 13.
Partition Table PostgreSQL Table partition 0. Overview 파티션 테이블 생성 방법 2가지 Inheritance : Trigger나 rule을 이용하여 데이터를 child 테이블에 넣는 방식. 개별 child 테이블에 인덱스를 각각 생성해 줘야 함. 각각의 child 테이블에 직접 vacuum, analyze 명령을 수행해야 한다. Declarative : 10 부터 지원. Trigger나 rule을 이용하지 않아도 됨. V10은 Parent 테이블에 인덱스 생성 시 Child 테이블에 인덱스가 생성되지 않아서 기존처럼 개별적으로 child 테이블에 인덱스를 생성해 줘야 함 V11부터는 parent 테이블에 인덱스 생성 시 Child 테이블에 인덱스도 상속되어서 개별 child 테이블에 자동 .. 공감수 0 댓글수 0 2022. 5. 12.
Partition 정보 확인 PL/pgSQL 파티션 테이블 정보를 가져오는 PL/pgSQL을 만들어 봤습니다. 정보를 하나하나 찾다 보니 귀찮아서 ... 티스토리가 예전에는 원노트 붙여넣기 하면 이쁘게 잘 붙었는데, 이제는 글꼴도 별로 맘에 안들고 --; 터미널 데이터 긁어서 붙여도 이상하게 나오네요 --; -- PL/pgSQL do $$ declare v_main record ; v_parent record ; v_child record ; v_index record ; v_check record ; v_p_table_oid oid ; v_loop_main int := 1 ; v_loop_idx int := 1 ; v_p_cnt int ; v_c_cnt int ; begin for v_main in (select * from pg_inherits.. 공감수 0 댓글수 0 2022. 5. 11.
CTAS -- Oracle CREATE TABLE EMP ( EMPNO NUMBER(4) NOT NULL Primary key, ENAME VARCHAR2(10), JOB VARCHAR2(9), MGR NUMBER(4) , HIREDATE DATE, SAL NUMBER(7,2), COMM NUMBER(7,2), DEPTNO NUMBER(2) , ); -- PostgreSQL CREATE TABLE emp ( empno decimal(4) NOT NULL PRIMARY KEY, ename varchar(10), job varchar(9), mgr int , hiredate date, sal decimal(7,2), comm decimal(7,2), deptno decimal(2) ); create index emp.. 공감수 0 댓글수 0 2022. 5. 10.
Hot Backup & Recovery HOT Backup & Recovery 테스트 V12부터 recovery.conf 파일이 없어졌으므로 9.6 버전과 12버전만 테스트를 진행 함 ######################## Backup & Archive 설정 ######################## mkdir -p /archive/pg96 mkdir -p /archive/pg96/temp mkdir -p /backup/pg96 mkdir -p /archive/pg12 mkdir -p /archive/pg12/temp mkdir -p /backup/pg12 chown -R postgres:postgres /archive /backup ############## Hot backup ############## 1. 기존에 백업 받았던 파일.. 공감수 0 댓글수 0 2022. 4. 22.
pgbench PostgreSQL설치 시 기본으로 제공 되는 벤치 마크 툴. source를 컴파일 해서 설치 하면 기본으로 설치 됨 초기 데이터 생성 테스트 데이터 베이스를 생성해 준 후 -i 옵션을 이용하여 테스트 데이터 셋 만듦 -i : 초기 데이터 생성 -s : 초기 데이터 사이즈가 작으므로 데이터 사이즈를 더 크게 하기 위한 옵션 -s 10은 기본 데이터 사이즈의 10배를 만들라는 뜻. 즉 기본 데이터가 100,000 row 이었으면, -s 10은 10 * 100,000 = 1,000,000 rows pgbench -h localhost -p 5493 -U postgres -i -s 5 test 부하 테스트 방법 -c : DB에 접속하는 가상의 client의 수를 설정 -j : -c에서 설정한 client를 몇.. 공감수 0 댓글수 0 2022. 4. 20.
Logical Replication Logical Replication은 V10부터 가능하며, 기존의 Replication의 한계를 해결할 목적으로 도입 됨 기존 Replication의 한계 - 일부 데이터 베이스 또는 테이블만 복제 할 수 없다. - Standby 서버에는 Write 작업이 불 가능하다. - 서로 다른 버전의 master로부터 복제를 할 수 없다. - 서로 다른 플랫폼 간의 복제를 할 수 없다. (Linux Window) 동작 방식 변경 사항을 synchronization worker가 변경 사항을 감지하여, 구독자 에게 전달하는 방식을 사용. 실제는 구독 서버에서 Master의 변경 사항을 가져가는 방식이다. Master서버는 wal_level = logical 를 설정하고, Replication 유저를 생성해 준다. .. 공감수 0 댓글수 0 2022. 4. 19.
PostgreSQL Replication rntjd 기존에 만들었던 PG VM을 Copy해서 Replication을 구성 함 ############### 2가지 구성 종류 ############### log-shipping (physical replication - archive log file 전달) pg_xlog 디렉터리 안에 wal 파일 자체를 전달해서 사용하는 방식 (Oracle의 아카이브 파일을 전송 후 반영하는 것과 같은 ??) wal file이 생성되기 까지 master와 standby의 데이터 갭이 발생 할 수 있다. streaming replication (logical replication - SQL command 전달) 9.0부터 가능 Master Server의 wal 내용을 standby로 전송하여 반영하는 방식 wal sender,.. 공감수 0 댓글수 0 2022. 4. 19.
세션 모니터링 수행 시간을 주고 세션 모니터링 진행 active(1) : 1초 이상 수행중인 세션 모니터링 active(0) : 전체 세션 function active(ss){ cop = db.currentOp() print ('------------------------------') ; print ('Total connections :' , cop.inprog.length) ; print ('------------------------------') ; print (' ' ) ; print ('Over ' , ss ,' secs session List'); print (' ') ; cop.inprog.forEach(function(op){ els_sec = op.secs_running ; if ( els_sec >.. 공감수 0 댓글수 0 2022. 4. 6.
Cent7 + PostgreSQL 9.3 ~ 14 설치하기(source) PostgreSQL 9.3 ~ 14을 테스트 용으로 하나의 서버에 구성해야 할 필요가 생겨서 설치했던 문서 공유 Cent7.9 minimal + PostgreSQL source Download : https://www.postgresql.org/ftp/source/ ############# 설치파일 업로드 ############# /source 에 압축 파일들 업로드 cd /source ls postgresql-10.20.tar.gz postgresql-12.10.tar.gz postgresql-14.2.tar.gz postgresql-9.4.26.tar.gz postgresql-9.6.24.tar.gz postgresql-11.15.tar.gz postgresql-13.6.tar.gz postgresq.. 공감수 1 댓글수 0 2022. 4. 6.
Oracle to EDB (MTK) EDB에서 제공하는 Migration Tool Kit 소스는 Oracle, Mysql , EDB , PG 다 될 수 있고, 타겟은 EDB만 가능 사용가능 DBMS • PostgreSQL versions 9.5, 9.6, 10,11, and 12 • Advanced Server versions 9.5, 9.6, 10,11 and 12 • Oracle 10g Release 2 • Oracle 11g Release 2 • Oracle 12c Release 1 • SQL Server 2008 • SQL Server 2012 • SQL Server 2014 • MySQL 5.5.36 • Sybase Adaptive Server Enterprise 15.7 필요 요구사항 : 자바 1.7이상 EDB 사이트 가입 아이.. 공감수 0 댓글수 0 2022. 4. 5.
정기점검 스크립트 (HTML 및 OUT 파일 생성) MySQL / MariaDB/ Percona 정기점검용 스크립트 스크립트를 돌리면 점검결과가 HMTL 파일로 생성되며, 좀 더 많은 내용은 out 파일에 저장 됨. 공감수 0 댓글수 0 2022. 4. 5.
ENUM 데이터 타입 enum 데이터 타입은 캐릭터형 데이터 타입이며, 해당 칼럼에 들어올 수 있는 값을 지정해 줄 수 있다. 테이블 생성 시 주어 진 list안의 데이터만 값을 입력 받고, 잘못 된 데이터는 '' 값으로 처리 하는 데이터 타입이다. 간단하게 비유 하자면 체크 제약 조건이라고 보면 된다. 해당 칼럼에 NOT NULL 조건이 없으면 들어갈 수 있는 데이터 값으로는 NULL , '' , List에 지정된 문자 가 칼럼에 값으로 들어갈 수 있다. enum 카럼은 값으로도 조회가 가능하지만, 칼럼의 값(list)의 index값으로도 제어가 가능하다. 칼럼의 index로 데이터를 제어가 가능한 것은 장점이 될 수도 있고, 단점이 될 수도 있다. 칼럼에서 list의 순서가 변경 된다면, 칼럼의 index가 변경이 되어서.. 공감수 0 댓글수 0 2022. 4. 5.
events_statements_summary_by_digest view를 이용한 쿼리 추출 performance_schema를 활성화 시켰을 경우 SQL별 통계정보가 쌓이는 뷰를 이용하여 튜닝 대상 선정에 유용하다. 해당 뷰는 performance_schema_digests_size라는 파라미터 값의 사이즈에 영향을 받는다. 해당 파라미터는 events_statements_summary_by_digest 뷰에 저장될 수 있는 row 수를 제한한다. -1은 auto sizing. 해당 파라미터 값 만큼의 데이터가 다 차면 데이터가 NULL로 된다. truncate 시키면 이전 수집 데이터는 다 지워지고 새로 정보들이 쌓인다. show global variables like 'performance_schema_digests_size' ; performance_schema_digests_size =.. 공감수 0 댓글수 0 2022. 4. 5.
Bucketing 데이터를 unwind 후 CSV로 데이터 추출 0. 요구사항 현재 데이터는 고객 아이디 별로 Bucketing(CUST_CNTA_EXP_H 필드)되어 있어서 하루 전 데이터를 export할 경우, 해당 데이터가 아닌 것도 데이터가 같이 추출 됨 (Document단위이기 때문) Hadoop으로 데이터를 가져가야 해서 CSV형태로 데이터를 추출해서 저장해야 함. 1. 구현 방법 1. 하루 전 데이터를 aggregate pipeline으로 새로운 collection으로 저장 2. 새로운 collection을 export 2. 구현 Shell 2.1 Linux Shell #!/bin/bash yesterDay=`date -d yesterday +%Y-%m-%d` toDay=`date +%Y-%m-%d` echo "Start ------------------.. 공감수 0 댓글수 0 2022. 4. 4.
timediff 계산 Aggregation 을 이용한 Field 시간 계산 use('hmc'); // db.test.drop(); // db.test.insertOne( // { // vin : "KNFSTZ76BFK964124", // event_time : ISODate("2021-03-16T14:14:45.000Z"), // system_time : ISODate("2021-03-16T14:14:49.000Z") // } // ) db.test.aggregate( { $match: { vin : "KNFSTZ76BFK964124" , event_time : { "$gte" : ISODate("2021-03-16T14:14:40Z"), "$lt" : ISODate("2021-03-16T14:14:50Z") } } }, {.. 공감수 0 댓글수 0 2022. 4. 4.
MySQL to MongoDB 마이그레이션 Oracle Sample schema Download : https://www.oracletutorial.com/getting-started/oracle-sample-database/ 테이블 생성 시 VARCHAR2 --> VARCHAR, NUMBER --> DOUBLE, to_date --> STR_TO_DATE('07-JUN-16','%d-%b-%y') ERD Table Info MySQL 5.7 이상에서 데이터를 추출 JSON 함수를 이용하여 데이터 추출 JSON 함수에 지정해준 순서대로 추출되지는 않음 --; 오라클(value)과 다르게 콤마(,)로 구분 됨 칼럼헤더가 output 파일에 들어가지 않게 -sN 옵션 사용 /tmp/myorder.sql SELECT 'use ot' ; SELECT C.. 공감수 0 댓글수 0 2022. 4. 4.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.