무향향수

LLM(Large Language Model)대부분 생성 AI 챗봇은 LLM 모델을 기반으로 동작LLM은 언어 학습에 transformer라는 신경망 아키텍처 모델 사용* transformer: 문장의 순차 데이터 관계를 추적해 맥락과 의미를 학습하는 신경망 모델길이가 다른 시퀀스 처리 능력 우수LLM은 언어 데이터를 학습할 때 문장 사이 빈 단어를 예측하며 데이터 수집그러나 Hallucination, 정확하지 않은 정보를 진실처럼 출력하는 현상 존재 LMM(Large Multimodal Model)텍스트 뿐만 아니라 이미지, 오디오, 비디오 등 멀티모달 데이터에 대한 출력 생성 모델기존의 LLM과 Vision Encoder(이미지 -> 텍스트 모델)를 연결하는 vision-language cross-m..

LangChainLangChain은 대규모 언어 모델(LLM)을 활용하여 체인을 구성한다.이 체인을 통해, 복잡한 작업을 자동화하고 쉽게 수행할 수 있도록 돕는 라이브러리.  LLM with RAG1. 사용자 질문을 받는다.2. 준비된 정보 DB에서 답변에 필요한 문서를 검색한다.3. 필요한 문서를 포함한 프롬프트를 생성한다.4. LLM이 답변을 생성한다. 준비된 정보 DBVector DB, 대규모 텍스트 데이터 및 임베딩 벡터를 저장하고 검색하는데 사용LLM with RAG 절차 다시 살펴보기1. 사용자 질문을 받는다.- 임베딩: 벡터로 변환(질문 벡터)2. 준비된 정보 DB에서 답변에 필요한 문서를 검색한다.- [질문 벡터]와 DB내 저장된 [문서 벡터]와 유사도 계산- 가장 유사도가 높은 문서 n개..

목차 CRUD CRUD 예제 DataFrame 인덱스 Open API를 이용한 데이터 수집 JSON JSON to DataFrame CRUD Create, Read, Update, Delete 데이터의 생성, 조회, 수정, 삭제를 일컫는 말 ➡️ 데이터 분석을 위해 Pandas로 데이터를 조작할 때, Dataframe을 목적에 맞게 변경하여 다루는 것이 중요 CRUD 예제 컬럼과 레코드 생성, 갱신 제거 DataFrame 인덱스 인덱스의 존재는 Dataframe의 가장 큰 특징 중 하나 loc인덱서를 이용하면 원하는 데이터 조회 가능 df.set_index('열이름') 으로 설정하면 기존의 인덱스는 column에 들어가고 입력한 열이 index가 된다. Open API를 이용한 데이터 수집 Open AP..

목차 다차원 배열 vs Dataframe Numpy 라이브러리 Numpy 배열 다차원 배열 vs Dataframe 다차원 배열 Dataframe 활용 예시 딥러닝 Input 데이터 (3차원 이상의 배열) 통계 분석 / 머신러닝 구현 방식 Numpy 라이브러리 Pandas 라이브러 Numpy 라이브러리 설치 방법: conda install numpy 장점! 1. 고속 연산 파이썬 리스트에 비해 빠른 속도와 좋은 메모리 효율 선형대수 연산이 가능 쉬운 데이터 배열 처리(반복문 필요 없음) 2. 쉽고 빠른 배열 변환 예) 3차원에서 2차원으로 변환 3. 다양한 함수 제공 축(axis)에 따른 집계 연산 가능 배열의 형태 조건이 맞으면 다른 배열과 연결 가능 손쉬운 랜덤 샘플링 가능 Numpy 배열 Numpy가..

목차 Data Science Data Science 발전 배경 6V 데이터 분석 환경 변화 Data Scientist 정의 주요 업무 영역 상세 분석 프로세스 Data Science 과학적, 논리적 사고와 기술력을 융합해 다양한 형태의 데이터로부터 지식과 인사이트를 도출하는 과정 ➡️데이터로부터 새로운 지식을 도출하도록 수학/통계/컴퓨터과학 등의 기술력과 논리성이 유구 Data Science 발전 배경 Big Data 발전으로 인한 데이터 과학의 진보 및 필요성 등장 대용량&다양한 형태의 데이터를 활용한 새로운 가치 창출 6V Technology, Hardware, Infra 관점 Volume(크기): 방대한 양의 대용량 데이터 Velocity(속도): 일반 처리 및 실시간 처리 Variety(다양성):..

🤖목차 Becoming a world-class data scientist 디지털 전환을 성공적으로 하는 방법 = 데이터 과학 🤖Becoming a world-class data scientist 세계적인 과학자들이 공통적으로 가지고 있는 것 ➡️ 데이터에 대한 호기심! 이종 데이터의 결합은 혁신을 가져온다. 데이터에 대한 관심과 이종 데이터를 결합하는 능력이 중요한 호기심이 된다. 서울시 야간 버스 노선 개선에도 상상력 동원 기존 버스 노선에 몇 명이 타고 내리는지 알 수 있으나 아직 만들어지지 않은 노선에 대해 몇명이 타고 내릴지 수요를 알 수 있을까? 통신사와 협업하여 얻은 휴대전화 정보를 통해 어디서 몇시에 있었는지 초단위로 알 수 있다. 그래서 유동인구, 이동인구를 알 수 있다. 서로 다른 ⭐이..

💛목차 AI and creativity AI Art in Action Copyright issues AI contributed harm AI Ethics - AI 관련 윤리와 신뢰 문제 인공지능 알고리즘과 윤리 이슈 AI 작품이 예술시장에서 판매가 되기 시작하면서 저작권으로 이를 보호해야 되는지 데이터에 대한 제공자 그리고 동시대에 있는 예술가에 대한 배려는 어떻게 해야하는지 더 나아가 인공지능의 결정이 우리가 생각하는 윤리적 규범에 벗어날 때 어떻게 대처해야하는지 생각해보기 💛 1. AI and creativity 인공지능 ➡️ 주어진 문제에 대한 답을 잘 찾는다 ➡️ 많은 직업이 대체될 것 but 심리상담가, 예술가는 대체 되지 않을 것 AI가 예술과 창작 활동을 하기 어려울까? ➡️ 현재 AI도 예..

🧐 목차 데이터에 대한 해석(데이터를 잘 해석하고 있는가) 데이터 전처리와 분석 방법은 적절한가 학습에 쓰는 데이터가 충분한가 Black box algorithm Handling the Web data 윤리에 대한 법적 제도 AI and Ethical Decisions 데이터의 해석 overfitting 오정보의 탐지 알고리즘의 편향을 비롯한 윤리와 신뢰 문제 오차 범위 블랙박스 모델 학습이 가지는 편향 현상 지금은 세상의 모든 것들이 기록이 되는 데이터의 시대 ! 태어나는 순간부터 모든 순간의 사건과 경험에 대해서 다양한 데이터가 생성 및 기록된다. 이를 기반으로 혁신적인 서비스들이 개발되어 우리 생활을 더욱 편하게 해준다. 🧐 1. 데이터에 대한 해석(데이터를 잘 해석하고 있는가) 예시) 초콜렛 소비..