[Lecture] DataBase - Day 2

🖥 DataBase - Day 2

[03] 데이터 과학 시대의 데이터

• DB의 가장 중요한 목적
  • 데이터를 모아두는 것
• 3.1 형태에 따른 데이터 분류
  • 구조화된 형태에 따라 정형 데이터, 반정형 데이터, 비정형 데이터로 분류
  • 정형 데이터(structured data)
    • 구조화된 데이터, 즉 미리 정해진 구조에 따라 저장된 데이터
      • 엑셀의 스프레드시트
      • 관계 데이터베이스의 테이블
    • 데이터 구조에 대한 설명과 데이터 내용은 별도로 유지됨
    • 스키마(schema) : 미리 정해진 데이터 구조
  • 반정형 데이터(semi-structured data)
    • 구조에 따라 저장된 데이터이지만 정형 데이터와 달리 데이터 내용 안에 구조에 대한 설명이 함께 존재
    • 데이터 내용에 대한 설명, 구조를 파악하는 파싱(parsing) 과정 필요
    • 보통 파일 형태로 저장
      • HTML
      • XML
      • JSON 문서
      • 웹 로그
      • 센서 데이터
    • 메타데이터(metadata) : 내용과 함께 설명된 데이터 구조 = 스키마
  • 비정형 데이터(unstructured data)
    • 정해진 구조가 없이 저장된 데이터
      • 소셜 데이터의 텍스트
      • 영상
      • 이미지
      • 음성
      • 워드나 PDF 문서와 같은 멀티미디어 데이터
• 3.2 특성에 따른 데이터 분류
  • 데이터를 특성에 따라 범주형 데이터와 수치형 데이터로 분류
  • 데이터 분석﹒분야에서 주로 활용
  • 범주형 데이터(categorical data)
    • 범주로 구분할 수 있는 값, 즉 종류를 나타내는 값의 데이터
    • 명목형 데이터(nominal data)
      • 순서, 즉 서열이 없는 값을 가지는 데이터
    • 순서형 데이터(ordinal data)
      • 순서, 즉 서열이 있는 값을 가지는 데이터
    • 대부분 문자 타입의 값
    • 양적 측면에서 크기 비교와 산술적인 연산이 불가하기에 질적 데이터(Qualitative Data) 라고도 함
  • 수치형 데이터(numerical data)
    • 양적 측면에서 크기 비교와 산술적인 연산이 가능한 숫자 값을 가진 데이터
    • 양적 데이터(Quantitative Data) 라고도 함
    • 이산형 데이터(discrete data)
      • 이어지지 않고 띄엄띄엄 단절된 숫자 값을 가지는 데이터
      • 보통 소수점이 없는 정수 타입의 값
    • 연속형 데이터(continuous data)
      • 연속적으로 이어진 숫자 값을 가지는 데이터
      • 보통 소수점이 있는 실수 타입의 값
  • 데이터 유형을 정성적 데이터(qualitative data) 와 정량적 데이터(quantitative data) 로 분류하기도 함
  • 정성적 데이터
    • 좁은 의미로 범주형 데이터
    • 사람의 주관적인 생각과 평가를 기술한 비정형 데이터
  • 정량적 데이터
    • 좁은 의미로 수치형 데이터
    • 객관적인 측정을 통해 수치나 도형, 기호 등으로 표현한 정형 데이터
  • 정량적 데이터에 비해 정성적 데이터가 저장 및 처리 측면에서 더 큰 비용이 드는 경우가 많음

👉🏻 [Chapter 02] 데이터베이스 관리 시스템

[01] 데이터베이스 관리 시스템의 등장 배경

• 파일 시스템(file system)
  • 데이터를 파일로 관리할 수 있도록 파일을 생성﹒삭제﹒수정﹒검색하는 기능 제공
  • 응용 프로그램별로 필요한 데이터를 별도의 파일로 관리
  • 응용 프로그래머가 파일의 논리 구조뿐만 아니라 물리 구조까지 정확히 파악해야 함
• 파일 시스템 의 문제점
  • 같은 내용의 데이터가 여러 파일에 중복 저장됨
    • 데이터 중복성(data redundancy) 문제 발생
    • 데이터가 중복되면 저장공간이 낭비될 뿐 아니라 데이터 일관성(data consistency) 과 데이터 무결성(data integrity) 을 유지하기 어려움
  • 응용 프로그램이 데이터 파일에 종속적임
    • 데이터 종속성(data dependency) : 사용하는 파일이 구조를 변경하면 응용 프로그램도 함깨ㅔ 변경
  • 데이터 파일에 대한 동시 공유, 보관, 회복 기능이 부족함
  • 응용 프로그램을 개발하기 쉽지 않음

[02] 데이터베이스 관리 시스템의 정의

• 데이터베이스 관리 시스템(DBMS; DataBase Management System)
  • 파일 시스템의 데이터 중복과 데이터 종속 문제를 해결하기 위해 제시된 SW
  • 조직에 필요한 데이터를 데이터베이스에 통합하여 저장하고 관리함
• 주요 기능
  • 정의 기능(DDL; Data Definition Language)
    • 데이터베이스 구조를 정의하거나 수정할 수 있음
  • 조작 기능(DML; Data Manipulation Language)
    • 데이터를 삽입﹒삭제﹒수정﹒검색하는 연산을 할 수 있음
  • 제어 기능(DCL; Data Control Language)
    • 데이터를 항상 정확하고 안전하게 유지할 수 있음

[03] DBMS의 장﹒단점

• 3.1 DBMS의 장점
  • 데이터 중복 통제 가능
    • 데이터를 통합하여 관리하므로 데이터 중복 문제 해결
  • 데이터 독립성 확보
    • 응용 프로그램 대신 데이터베이스에 접근하고 관리하는 모든 책임을 가짐
      • 응용 프로그램과 데이터베이스 사이에 독립성 확보
  • 데이터 동시 공유 가능
    • 통합 데이터를 여러 응용 프로그램이 공유하여 같은 데이터에 동시 접근할 수 있도록 지원
    • 동시 접근 제어 기술 보유
  • 데이터 보안 향상
    • 데이터베이스를 이용해 데이터를 중앙 집중식으로 관리하므로 데이터에 대한 효율적인 접근 제어가 가능함
    • 권한이 없는 사용자의 접근, 허용되지 않은 데이터와 연산에 대한 요청을 사전에 차단할 수 있어 철저한 보안을 제공함
    • 사용자별로 접근 가능한 데이터베이스 영역을 제한하거나 접근 수준을 차별화할 수 있음
  • 데이터 무결성 유지
    • 데이터에 대한 관리를 집중적으로 수행하면서 데이터에 대한 연산이 수행될 때마다 유효성을 검사하여 데이터 무결성을 유지할 수 있게 해줌
  • 표준화
    • DBMS가 미리 정한 표준화된 방식을 통해 데이터베이스에 접근
  • 장애 발생 시 회복 가능
    • 데이터 일관성과 무결성을 유지하면서 데이터를 장애가 발생하기 이전 상태로 복구하는 회복 기능 지원
  • 응용 프로그램 개발 비용 줄어듦
    • 데이터에 대한 모든 관리를 DBMS가 담당함
    • 데이터베이스 구조가 변경되어도 응용 프로그램은 변경할 필요가 없음
• 3.2 DBMS의 단점
  • 비용이 많이 듦
    • 구매 비용
    • 동시 사용이 허용되는 사용자 수에 따라 제품 가격 증가
  • 백업과 회복 방법이 복잡
    • 장애 발생 시 원인과 상태를 정확히 파악하기 어려움
    • 회복 방법 복잡
  • 중앙 집중 관리로 인한 취약점 존재
    • DB나 DBMS에 장애 발생 시 전체 시스템의 업무 처리 중단
    • DB에 대한 의존도가 높은 시스템일수록 가용성과 신뢰성에 치명적 영향을 받을 수 있음

[04] DBMS의 발전 과정

• 4.1 1세대 DBMS : 네트워크﹒계층 DBMS
  • 네트워크 DBMS : 1960년대 초반
    • DB를 그래프 형태로 구성
    • IDS(Integrated Data Store)
  • 계층 DBMS : 1960년대 후반
    • DB를 트리 형태로 구성
    • IMS(Information Management System)
• 4.2 2세대 DBMS : 관계 DBMS
  • 관계 DBMS : 1980년대
    • DB를 테이블 형태로 구성
    • 오라클, MS SQL 서버, 액세스, 인포믹스, MySQL, 마리아 DB 등
• 4.3 3세대 DBMS : 객체지향﹒객체관계 DBMS
  • 객체지향 DBMS : 1980년대 후반
    • 객체를 이용해 DB 구성
    • 오투, 온투스, 젬스톤
  • 객체관계 DBMS : 1990년대 후반
    • 객체지향 DBMS + 관계 DBMS
    • 기존 관계 DBMS로 분류된 제품들이 객체지향 기능을 지원하면서 객체관계 DBMS로 분류되기도 함
• 4.4 4세대 DBMS : NoSQL﹒NewSQL DBMS
  • NoSQL DBMS(Not only SQL) : 2009년 이후
    • 비정형 데이터를 저장하고 처리하는 데 적합
    • 확장성이 뛰어남
    • 안정성과 일관성 유지를 위한 복잡한 기능 포기
    • 데이터 구조를 미리 정해두지 않는 유연성
    • 여러 대의 서버 컴퓨터에 데이터를 분산하여 저장하고 처리하는 환경에서 주로 사용
    • 몽고디비, H베이스, 카산드라, 레디스, 네오포제이, 오리엔트DB
  • NewSQL DBMS : 2011년 이후
    • 관계 DBMS + NoSQL의 확장성 및 유연성
    • 정형, 비정형 데이터를 안정적이고 빠르게 처리 가능
    • 구글 스패너, 볼트 DB, 누오 DB

👉🏻 [Chapter 03] DB System

[01] DB System의 정의

• DataBase System
  • DB에 데이터를 저장하고, 저장된 데이터를 관리하여 조직에 필요한 정보를 생성해주는 시스템

[02] DB의 구조

• 2.1 스키마
  • 스키마(schema)
    • DB에 저장되는 데이터 구조와 제약조건을 정의한 것
  • 인스턴스(instance)
    • 스키마에 따라 DB에 실제로 저장된 값
    • 스키마는 한 번 정의되면 자주 변경되지 않지만, 인스턴스는 계속 변하는 특성이 있음
• 2.2 3단계 DB 구조
  • 미국 표준화 기관인 ANSI/SPARC 에서 제안
  • 3단계 DB 구조의 개념
    • 쉽게 이해하고 이용할 수 있도록 하나의 DB를 세 단계로 나누어 이해
    • 외부 단계(external level)
      • 개별 사용자 관점
    • 개념 단계(conceptual level)
      • 조직 전체의 관점
    • 내부 단계(internal level)
      • 물리적인 저장 장치의 관점
    • 각 단계별로 다른 추상화(abstraction) 제공
      • 내부 단계에서 외부 단계로 갈수록 추상화 레벨이 높아짐
  • 외부 단계
    • 개별 사용자 관점에서 DB를 이애하고 표현
    • 하나의 DB에는 외부 스키마가 여러 개 존재할 수 있음
    • 외부 스키마(external schema)
      • 외부 단계에서 사용자에게 필요한 DB를 정의한 것
      • 각 사용자가 생각하는 DB의 모습을 표현한 논리적인 구조로, 사용자마다 다름
      • 서브 스키마(sub schema) 라고도 함
  • 개념 단계
    • DB를 이용하는 사용자들의 관점을 통합하여, DB를 조직 전체의 관점에서 이해하고 표현
    • 하나의 DB에는 개념 스키마가 하나만 존재함
    • 개념 스키마(conceptual schema)
      • 개념 단계에서 전체 DB의 논리적 구조를 정의한 것
      • 전체 DB에 어떤 데이터가 저장되는지, 데이터들 간에는 어떤 관계가 존재하고, 어떤 제약조건이 있는지에 대한 정의뿐만 아니라, 데이터에 대한 보관 정책이나 접근 권한에 대한 정의도 포함
  • 내부 단계
    • DB를 디스크나 테이프 같은 저장 장치의 관점에서 이해하고 표현
    • 내부 스키마는 하나의 DB에 하나만 존재함
    • 내부 스키마(internal schema)
      • 전체 DB가 저장 장치에 실제로 저장되는 방법을 정의한 것
      • 레코드의 구조, 레코드를 구성하는 필드 크기, 인덱스를 이용한 레코드 접근 경로 등 물리적인 저장 구조를 표현