[Python] 데이터 분석, 데이터 사이언스

목차🌵

1. 데이터 사이언스

2. 데이터 사이언스 범위

3. 통계 분석

4. 데이터 마이닝

5. 비즈니스 인텔리전스

6. 빅데이터 분석

7. 인공지능(AI)

8. 머신러닝

9. 딥러닝

10. 사물 인터넷

 

학습 이유

 이전에 배운 DSAC 특강 내용을 복습하고 데이터 분석과 데이터 사이언스란 무엇인지 정확히 알고 공부하기 위해서 아래 내용들을 학습하게 되었다.

---

🌵 1. 데이터 사이언스

 

통계적 분석, 데이터 마이닝, 빅데이터 분석, 머신러닝, 딥러닝과 모두 관련된 기술을 다루는 연구 분야

현재까지 데이터를 다루는 기술이 각 영역벽로 발전하였으나 최근 빅데이터라는 키워드로 데이터 분석 분야가 주목을 받았고 이들을 전체적으로 아우르는 학문 영역을 데이터 사이언스라고 한다.

데이터 사이언스에 대한 지식과 프로그래밍 능력을 갖추고 데이터 분석과 머신 러닝 문제를 해결하는 전문가를 데이터 사이언티스트라고 부른다.

 

---

🌵 2.  데이터 사이언스 범위

데이터 사이언스 : 데이터를 분석하여 의미 있는 결과를 얻는 기술

데이터 사이언스는 ICT 기술의 발전 특히 빅데이터와 AI의 발전과 함께 부각되는 과학기술 분야이다.

    => ICT(Information and Communication Technologies) :  기존의 IT가 정보 전반을 다루는 기술이라면 ICT는 스마트폰, 모바일 디바이스, 원격제어 등 IT 기술에 커뮤니케이션이 더해진 것이다.

 

 

 

 

---

🌵 3.  통계 분석

데이터의 특성을 파악하는 데 수학적 근거를 사용하는 분야로서, 특히 샘플 데이터로부터 전체 데이터의 속성을 파악하는데 가치를 둔다.

예를 들어 앙케트 조사를 통해 선거 결과를 예측하거나 제품의 불량률을 예측하거나 가설의 타당성을 입증하는 것을 중요시한다.

    => 앙케트 (enquete) :

신문, 잡지 등에서 많은 사람들에게 질문지를 돌려 회답을 구하는 조사 방법

오차범위, 신뢰도 등을 계산하고 데이터 해석에 어떤 의미가 있는지 여부 등을 검증하는데 필요한 이론을 제시한다.

 

---

🌵 4. 데이터 마이닝

이미 구축해서 보유하고 있는 데이터베이스에서 새로운 지식을 얻는 것을 말한다.

예를 들어 기업이 구축한 매출, 고객, 상품 관련 데이터베이스를 종합적으로 분석하여 고객에 대한 새로운 구매 특성을 파악하거나 제품의 반품 문제를 파악할 수 있다.

데이터 마이닝의 목적은 평범한 데이터에 숨겨져 있던 가치있는 새로운 지식을 얻는 과정이다.

 

---

🌵 5. 비즈니스 인텔리전스

데이터 분석을 통해 새로운 비즈니스 전략을 얻는 것을 말한다.

데이터 분석 결과 내년에는 붉은 옷이 유행할 것이라고 예측하든지, 어떤 지역에 거주하는 여성은 파란색 옷을 좋아할 것이라든지 등을 예측하여 마케팅이나 상품 개발, 홍보에 활용하는 것을 말한다.

지난 수십년간 비즈니스 인텔리전스를 얻기 위해 데이터 마이닝 기술이 널리 사용되었고 최근에는 빅데이터 분석을 사용한다.

 

---

🌵 6. 빅데이터 분석

기존의 통계적 분석 방법이나 수학적으로는 검증할 수 없지만 대량의 데이터를 분석하여 새로운 의미 있는 정보를 얻는 것을 말한다.

예를 들어 대량의 소셜 데이터를 분석하여 사회적 트렌드를 파악하거나, 센서 데이터를 분석하여 전에는 미처 생각하지 못한 상황에서 기계가 고장나는 현상을 발견하기도 한다.

마케팅에서도 예전과 달리 10대, 20대의 성향 분류 정도가 아니라 구매 시각, 장소, 구매이력, 상품이용 내역 등 관련된 빅데이터 분석으로 매우 정교한 고객 세분화가 가능해진다.

 

---

🌵 7. 인공지능 (AI)

인공지능이란 컴퓨터가 마치 지능이 있는 것처럼 일을 처리하는 것을 말한다. AI가 실현되기 위해 특정한 구현 방법이 필요한 것이 아니라, 구현 방법에 불문하고 지능이 있는 것처럼 동작하는 것은 모두 인공지능이라고 할 수 있다.

최근에 딥러닝 기반의 머신 러닝 기술이 급속히 발전하면서 컴퓨터가 사람처럼 보고, 듣고, 쓰는 능력을 갖추게 되면서 인공지능의 지능이 사람에 근접하게 발전하고 있다.

 

---

🌵 8. 머신러닝

데이터를 분석하여 분류(classification)이나 회귀(regressioin)분석 등 예측 모델을 만들고 새로운 데이터로 모델을 학습시켜 모델의 성능을 점차 개선시키는 방법을 말한다.

즉 "사람"이 분석을 담당하는 것이 아니라 머신(컴퓨터)이 학습을 하여 분석 능력을 키우는 방법이다.

모델은 스팸 메일을 분류하는 모델, 날씨나 주가를 예측하는 모델, 기계의 장애를 예측하는 모델 등을 말하며 선형회귀 모델, 결정트리모델, 로지스틱 회귀 모델 등을 사용한다.

최근 AI 성능이 급속히 발달한 것은 머신 러닝의 발달 때문이다.

 

---

🌵 9. 딥러닝

딥러닝은 머신러닝의 한 방법으로서, 모델을 구성하는데 신경망을 사용하는 방법을 말한다.

딥러닝을 사용하면서 이미지 분석, 텍스트 분석, 음성 인식, 대용량 센서 분석의 성능이 급격히 개선되었다.

딥러닝은 예측 모델을 만드는 데 그치지 않고 두 종류의 이미지를 합성하여 새로운 이미지를 창의적으로 만들거나 주제만 주면 작곡을 하거나, 키워드만 주면 뉴스 기사를 작성하는 작업 등이 가능해졌다.

 

---

🌵 10. 사물 인터넷

사물인터넷(IOT:Internet of Things)이란, TV, 냉장고, 세탁기, 보안장치, 난방장치, 동물 등에 센서를 부착하고 통신 기능을 부여하여 데이터를 지속적으로 수집하거나 장치를 제어하는 기술을 말한다.

IOT는 가전 제품 사용 패턴 분석, 가축의 이동 분석, 건강상태 모니터링, 기계 장치의 고장 파악, 위첨 조기 발견등에 폭 넓게 사용된다.

사물 인터넷이 중요하게 부각되는 이유는 바로 센서 빅데이터를 생산하고 수집하여 빅데이터 분석과 AI서비스가 확대되기 때문이다.

 

---

⭐ 요약 ⭐
데이터 사이언스 : 통계적 분석, 데이터 마이닝, 빅데이터 분석, 머신러닝, 딥러닝과 모두 관련된 기술을 활용하여 데이터를 분석하고 이를 통해 의미 있는 결과를 얻는 기술

통계 분석 : 샘플 데이터로부터 전체 데이터의 속성을 파악하는 것

데이터 마이닝 : 이미 존재하는 데이터베이스에서 새로운 지식을 얻는 것 & 평범한 데이터 속 가치있는 정보를 얻는 과정

빅데이터 분석 :  대량의 데이터를 분석하여 가치있는 정보를 얻는 것

인공지능(AI) ; 컴퓨터가 지능이 있는 것처럼 일을 처리하는 것

머신러닝 : 데이터를 분석하여 분류나 회귀 분석 등 예측 모델을 만들고 새로운 데이터로 모델을 학습시켜 모델의 성능을 점차 개선시키는 방법

딥러닝 : 딥러닝은 머신러닝의 한 방법으로서, 모델을 구성하는데 신경망을 사용하는 방법

사물 인터넷 : 센서를 부착하고 통신 기능을 부여하여 데이터를 지속적으로 수집하거나 장치를 제어하는 기술