글
글
글
1.사용자 만족도 증대를 위한 데이터베이스 튜닝의 개요
가.튜닝의 평가지표(목표)
-시스템관점:처리능력(throughput)-수행시간,로드시간(LoadTime) - 적재시간
-사용자관점:응답시간(Response Time),처리시간(Throughput Time)
나.DBMS의 구성도
[NW] 메모리영역(SGA,버퍼캐쉬,)
Client ---> 접속영역 파일영역(data,log,control)
운영체제(cpu,memory,...)
-데이터베이스 성능향상을 위해 영역별 SQL튜닝,설계튜닝,환경튜닝 필요.
2.데이터베이스튜닝 절차 및 기법
가.데이터베이스튜닝 절차
문제정의 -> RootCause분석 -> 해결방안도출 -> 구현 -> 테스트
지속모니터링 근본원인도출, 관점별해결책, 코드수정, 성능테스트
AccessPath조사 우선순위도출 최적안선택 SQL튜닝등 향상도검증
[문제정의서] [FishboneChart] [설계/개발자,DBA] [CSR] [결과보고서]
나. 데이터베이스튜닝 기법
|
구분 |
상세내용 |
고려사항 |
|
SQL튜닝 |
조인방식/순서변경,부분범위처리 |
SQL Trace |
|
인덱스 활용조사,다중/병렬처리 |
Hint 사용 | |
|
설계튜닝 |
정규화,반정규화,기능컬럼추가 |
테이블분할/통합, |
|
엔티티통합/분할,업무단순화 |
프로세스 단순화 | |
|
환경튜닝 |
메모리(5분법칙),병렬IO발생, |
트랜잭션 측정 |
|
BlockSize변경,CPU/Memory변경 |
인출단위 고려 |
3.데이터베이스튜닝시 고려사항,기대효과
가.적정수준의 정규화수행을 위한 정책필요.
나.지속적인 모니터링을 통한 SQL튜닝 필요.
다.반정규화 수행전, 고단위SQL작성/인덱스변경/클러스터링등 다른 방법 유도."끝"
글
============================================================================================================
http://ai-times.tistory.com/category/%EC%8B%A0%EA%B2%BD%EB%A7%9D
인간의 뇌는 매우 복잡하고 비선형적이며 병렬적인 정보처리 시스템
인간의 뇌를 기반으로 한 모델링
인간의 뇌:적응성을 활용하여 학습능력 구현함
생물학적인 뇌의 뉴런과 비슷하게 모델링함
인공 신경망은 뉴런이라는 아주 단순하지만 내부적으로 매우 복잡하게 연결된 프로세스들로 이루어짐
뉴런은 가중치 있는 링크로 연결되어 있음
인공신경망의 학습
-신경망은 가중치를 반복적으로 조정 하여 학습함
====================================================
인간의 뇌는 수많은 신경 세포로 구성되어 있는데 이 신경 세포의 행동을 정확하게는 물론 알 수 없지만 위처럼 자극, 반응, 역치 같은 현상을 모델화하여 흉내낸 것이 퍼셉트론, 즉 신경 세포를 모델화한 객체이다.
퍼셉트론을 학습시키는 방법은 간단한데, 보통 목표치(ideal)를 정해주고 현재 계산한 값(output)이 목표치와 다르면 그만큼의 오차를 다시 퍼셉트론에 반영해서 오차를 줄여나가는 방법을 쓴다.
이런 퍼셉트론을 여러 개 병렬로 배열하여 층(layer)를 만들고, 그 층을 여러 개 배열하면 다층 퍼셉트론이 된다.
=================================================================================
• 인공신경망의 장점
–첫째, 다양한 문제에 대한 적용이 가능하다.
–둘째, 복잡한 문제에 대한 우수한 결과를 낼 수 있다.
–셋째, 연속적인 자료뿐만 아니라 불연속적인 자료에 대해서도 쉽게 적용 가능하다.
• 인공신경망의 단점
–첫째, 우선 결과에 대해 설명력이 부족하다는 점이다.
–둘째, 주어진 학습 자료에 대해 일정한 해답에 수렴한다는 것이다.
글
문)DW(DataWarehouse)
답)
1.기업의 합리적 의사결정을 지원하는 dw의 개념
가.DW(Data Warehouse)의 정의
-기업 내/외부의 데이타를 특정 목적에 맞게 논리적으로 가공하여 주제지향적으로 통합한 데이타 집합체
나.DW의 특징
|
구분 |
주요내용 |
|
주제지향적 |
의사결정 시스템의 분석주제에 맞게 분류,가공하여 구조화함 |
|
통합적 |
수집된 기업 내/외부 데이타를 추출,가공,통합함 |
|
시계열적 |
시간에 따른 변경을 항상 반영하여 data history를 분석가능함 |
|
비소멸성 |
데이타 갱신이 발생하지 않는 조회전용 분석 자료 존재 |
2.DW구성요소 및 구축절차
가 dw구성요소
|
관점 |
요소 |
주요내용 |
|
모델링 |
ER모델 |
주제 지향적 설계,소스db 모델링,통합 db모델링 |
|
|
다차원모델 |
OLAP을 활용한 다차원 분석, Star schema,snow flake schema |
|
추출 |
ETT |
기업 내/외부 데이타의 추출,변환,적재 |
|
|
ODS |
ETT과정 통합관리 및 데이타 조회 |
|
구축 |
DataMart |
조직별,업무별 DW의 일부 |
|
|
전사DW |
소규모 DATA MART 구축 후 전사적 통합 |
|
활용 |
OLAP |
고객이 직접 다차원분석,의사결정에 활용 |
|
|
Data Mining |
대규모 데이타로부터 패턴을 분석하는 프로세스 |
|
|
경영기반솔루션 |
분석을 위한 BSC,RMS,BI,RSS,EIS 등 |
나.dw 구축절차
|
구축절차 |
주요내용 |
|
사전평가 (acessment) |
-dw구축 목적 정의,프로젝트 제반 준비사항 정립 |
|
-프로젝트 범위 확정과정,프로젝트 정의서/계획서 | |
|
요건정의 (Requirement) |
-요구사항을 수집하고 조정하는 단계 |
|
프로젝트 초기화->요구사항 정의->주제별 모델정의 ->요구사항 작성, dw 비지니스 요건정의서. | |
|
설계(Design) |
-dw아키텍처 설계 및 테스트 계획서 작성 |
|
-데이터 모델 설계->프로세스 모델 설계->설계내용 문서화->테스트 계획 수립 | |
|
구축(Construction) |
-ETT,응용프로그램,DW구축 |
|
-DW구축 -> 통합테스트 ->인계작업 | |
|
이행(Deployment) |
-프로덕션 환경 이행,기술이전 |
|
-팀원 교육->프로덕션 이행 |
글
4)Data Mining
답)
1.정보의 가치발견 통한 기업 의사결정 지원 데이터 마이닝의 개요
가.데이터 마이닝(Data Mining)의 정의
-대용량의 데이터로부터 알려지지 않은 정보,패턴을 찾아 기업 의사결정에 활용하려는 데이터 분석 및 지식 발견 과정
나.데이터 마이닝 추징 배경
1)비지니스 측면: 비즈니스 모델 예측을 통한 고객 행동 예측 및 패턴 분석, 수익 극대화 ,고객 만족도 향상
2)정보기술 측면:OLAP로 발견하지 못한 데이터간 관계를 분석하여 효과적인 의사결정 지원
2.데이터 마이닝 기법 및 절차
가.데이터 마이닝 절차
1)현황분석: 준비작업,목적정의,비즈니스 목적 파악
2)데이터 선택(Sampling) : 필요한 데이터의 위치,형태파악 및 통합
3)데이터 정제(Modify): 모호성과 중복 제거, 오류값 보정 (데이터 무결성)
4)데이터 변환: 불필요한 데이터 삭제,신규파생 데이터 생성
5)데이터 마이닝(Modeling): 마이닝 기법 선택 수행. 해석 가능한 모델 선정
6)해석 및 평가(Assess): 마이닝 결과 해석.실제 마케팅에 활용. (지속적 피드백)
나.데이터 마이닝 기법
|
기법 |
내용 |
활용사례 |
|
의사결정 나무(Decision Tree) |
기준값 근거 분류 및 예측 모델 생성 |
우수고객 분류 모형 |
|
신경망(Neural Network) |
반복적 학습을 통한 패턴도출 |
연체자 예측 |
|
연관성 분석(Association) |
데이터 안의 항목간 종속관계 도출 |
장바구니 분석 |
|
연속 규칙(Sequence) |
연관규칙에 시간관련 정보 포함 |
신차 구입후 NAVI 구매 |
|
군집화(Clustering) |
유사한 특성을 지닌 데이터를 그룹화 |
고객 분류 마케팅 |
3.데이터 마이닝의 적용 사례 및 고려사항
가. 은행의 대출심사,보험의 보험금 지급심사,증권이 주가 예측
통신의 통화상세 레코드 분석, 유통의 물동량 예측 등에 활용
나.수집된 고객 정보의 불활실성에 의해 분석이 왜곡되는 경우가 많음
고로 분석의 정확성 보다는 기초 데이터의 내실을 기하는 방안 강구
글
문 ) 데이터베이스 보안
1 데이터베이스의 외부 및 내부 침입 에 보호하기 위한 데이터베이스 보안개요
가 데이터베이스 보안(DataBase Security)정의
- 데이터베이스 및 저장된 데이터의 비인가된 접근, 변경, 파괴, 노출 등의
행위로부터 보호하기 위한 조직, 기술적의 모든 활동
나 데이터 보안관리 이슈(IT Compliance 증가로 이슈화)
- 기밀성 : 개인정보, 기업정보 유출 방지, 탐지, 제시 하는 것
- 무결성 : 데이터 손상및 훼손 방지, 탐지, 제시
- 가용성 : 시스템이 제공하는 서비스 접근에 대한 부당한 거부 방지/탐지/제시
- 인증성 : 정당한 사용자 확인, 인증을 통하지 않는 DB정보 누출 방지
2 데이터베이스 보안 구현기능 및 데이터베이스 보안 솔루션 유형
가 데이터베이스 보안 구현기능
1)접근통제 : DAC(주체, 객체신원기반), MAC(비밀등급 권한기반,객체지간) 접근권한,
RBAC(역할기반),Log Tracing
2)허가규칙 : 허가 받지 않은 데이터 접근 방지
3) 암호화 : IT Compliance, 비인가자 접근시 확인 불가
4)가상 데이블(View) : 데이터베이스 사용자 권한별 접근, 조회
나 데이터베이스 보안 솔류션
|
비교항목 |
DB암호화 |
DB 감사 |
접근제어기반 |
|
장점 |
-불법 데이터 취득 확인 불가(기밀성) -직접식별, 간접식별 분류 |
-내부통제, 사후감사/추적 -패킷 캡쳐 스니퍼 사용 |
독립서버, 다중 인스턴스 통제 -복제 기능의 T센서 사용 |
|
단점 |
-운영서버부하, SQL로그인 불가, DB 단위 접근제어 |
-Packet Loss존재, 사후 조치, 접근제어 불가 |
-이중화 -우회를 통한 보안 문제 |
3 데이터베이스 보안 고려사항 및 기대효과
가 데이터베이스 보안 솔류션 도입 시 연계 시스템 간 확장성, Failover 등 안정
성을 고려한 선택이 필요
나 보안 정책적용 및 기술적 적용 이후로 지속적 관리가 중요, ISMS 기업정보
보안체계 ISO27000 인증을 통해서 내부통제 및 보안조직/프로세스 정립
다 IT Compliance 를 준수하는 보안 시스템 구축
글
6)Index
답)
1.데이터베이스 성능향상을 위한 인덱스의 개요
가.인덱스(index)의 정의
-연산 성능향상을 위해 테이블의 row의 키값과 물리적 주소를 저장하고 있는 공간
나.인덱스 특징
1)독립성:테이블과 독립된 공간에 저장
2)Trade-Off: 조회성능 향상,등록/수정/삭제의 성능저하 발생
2.인덱스 선정 기준 및 인덱스 종류
가.인덱스 선정 기준
1)기본키 및 외래키:
2)접근 경로 분석
3)분포도 파악
4)인덱스 순서 선정
나 인덱스 유형
|
유형 |
상세내용 |
종류 및 활용 |
|
순서 인덱스 |
정렬 순서에 따라 생성되는 인덱스 |
단일 및 결합 인덱스 |
|
해싱 인덱스 |
해시함수와 해시테이블을 활용하여 검색 |
해시충돌 발생 |
|
클러스터링 |
데이터 물리적 순서에 따라 인덱스 생성->검색 유리 |
읽기전용 테이블 |
|
비트맵 |
인덱스를 0,1로 표현하여 대용량 데이터 검색 |
DW사용 |
3.데이터베이스 인덱스 선정시 고려사항
가.Execute Plan(옵티마이저) 점검을 통해서 효율적인 사용이 필요
나.과도하 인덱스 생성시 데이터 등록,수정,삭제시에 성능저하 유발
다.인덱스는 hint를 활용하여 튜닝이 가능하지만, 기본적으로 SQL문의 효율적 작성을 해서 튜닝을 권고
글
5)OLAP
답)
1. 합리적 의사결정을 위한 다차원분석 솔루션 OLAP 개요
가. OLAP(On-Line Analytical Processing)의 정의
- 데이터를 다양한 차원에서 분석하여 효율적인 의사결정을 지원하는
사용자(현업)중심의 데이터 분석 솔루션
나. OLAP의 필요성
-사용자 중심의 인터페이스를 통한 대화식 접근의 분석기능 요구
-IT부서를 배제하고 사용자가 직접 원하는 데이터를 분석할수 있는 기능요구
------------------------------------------------------------------------------------
- 과거 정보시스템(DSS,EIS)에서는 정해진 결과만 분석가능 및 프로그램 필요
- 사용자 중심의 사용자가 원하는 분석정보로 의사결정 지원 필요성 제기
2. OLAP의 주요기능 및 종류 비교
가. 주요기능
|
기능 |
설명 |
예제 |
|
Pivot |
차원테이블의 차원 변경하여 다양한 관점으로 분석실행 |
요일별,지점별
|
|
Drill up/Drill down Drill across/through |
차원에 계층에 따른 계층구조 변경 |
경기도 → 부천,안양,수원(차원변경) |
|
Slice/Dice |
큐브에서 차원별 데이터 잘라서 분석실행 |
판매내역:담당자별(생산,판매)개별 |
|
다양한 차트및 보고서 |
다양한 분석형태의 자동보고서 생성 |
|
나. OLAP의 종류 비교
|
|
ROLAP |
MOLAP |
HOLAP |
|
데이터구조 |
관계형 데이터베이스 |
-다차원 데이터베이스 |
|
|
기본 스키마 |
-스타스키마 |
-데이터 큐브 |
|
|
장점 |
-대용량 데이터 처리, - SQL지원 -확장성 및 유연성 -원천데이터 접근가능 |
-빠른속도,복잡한 질의 -회귀분석과 같은 복잡분석 가능(회계연산 가능) |
ROLAP+MOLAP |
|
단점 |
-복잡한 회계연산 불가 -수행속도 느림(저속) |
-SQL 미사용 -원천데이터 접근불가 -소용량 |
-MOLAP기반 RDB간의 데이터 변환 필요 -구축이 어려움 |
|
활용 |
마케팅분야(원시DATA출력 |
DATA Mart용 |
|
3. OLAP의 적용 사례 및 현황
가. 예측을 위한 BI, 위험개수(VAR)분석의 RMS, 고객마케팅을 위한 CRM,
기업의 비전창출을 위한 BCS 등에 적용이 가능함
나. 구분해서 진행되어왔던 e-CRM, CRM, ERP 등이 일관된 뷰로써 구축되고 분석되어야 하는
필요성에 따라 DW의 확장개념으로 EDW, GDW, EP 등으로의 구축 수요가 예상됨
글
8)정규화
답)
1.데이터베이스 중복 제거를 위한 정규화의 개요
가.정규화(Normalization)의 정의
- 베이스의 중복을 제거하기 위해 릴레이션을 수학적 원리에 의해 분해하는 일련의 과정
나.정규화 가 필요한 이유(이상현상:anomaly)
1)삽입이상(inserting anomaly): 불필요한 정보까지 삽입해야 하는 현상
2)갱신이상(update anomaly) : 일부 속성만 갱신 시킴으로서 정보의 모순성 발생
3)삭제이상(delete anomaly) : 삭제시 유지되어야 하는 정보까지 삭제되는 현상
2.정규화의 원칙 및 절차
가.정규화의 원칙
1)종속성 유지: 릴레이션 분해후에도 종속성 유지
2)무손실 분해 : X->A,B로 분해후, A,B->X로 유추할수 있어야 함.
나.정규화의 절차
1)제1정규화(1NF): 모든 속성 값은 원자값이어야함
2)제2정규화(2NF) : 부분함수 종속성 제거
3)제3정규화(3NF) : 이행함수 종속성 제거
4)BCNF : 결정자가 후보키가 아닌 종속 제거(제3 정규화 만족하고)
5)제4정규화(4NF) : 다치 종속 제거(BCNF만족하고)
6)제5정규화(5NF) : 조인종속 제거 (제4정규화를 만족하고)
3.정규화 수행시 고려사항
가.데이터의 일관성 유지 수준까지 정규화 수행(BCNF수준까지 권장)
나.많은 단계의 정규화는 많은 Join을 발생시켜 SQL성능저하 초래
다.반정규화는 정규화를 끝낸후 물리모델 단계에서 고려.
RECENT COMMENT