본문 바로가기

딥러닝

(3)
딥러닝 자연어처리 17장 딥러닝을 이용한 자연어 처리 1 | 텍스트의 토큰화 2 | 단어의 원-핫 인코딩 3 | 단어 임베딩 4 | 텍스트를 읽고 긍정, 부정 예측하기 딥러닝을 이용한 자연어처리 §인공지능 비서 서비스를 누구나 사용하는 시대가 올 것 § 자연어 처리(NLP, Natural Language Processing) - 음성이나 텍스트를 컴퓨터가 인식하고 처리하는 것 § AI 스피커 - 애플 시리, 구글 어시스턴트, 아마존 알렉사, SK Nugu, 네이버 클로바 § 딥러닝이 등장하면서 자연어처리 연구가 활발해짐 (대용량 데이터를 학습할 수 있는 딥러닝의 속성 때문) § 컴퓨터는 수치 데이터만 이해할 수 있기 때문에, 자연어처리는 텍스트 전처리 과정이 필수 딥 텍스트의 토큰화 먼저 해야 할 일은 텍스트(문장)를 잘..
결정 트리 학습법 결정 트리 학습법(decision tree learning)은 어떤 항목에 대한 관측값과 목표값을 연결시켜주는 예측 모델로서 결정 트리를 사용한다. 이는 통계학과 데이터 마이닝, 기계 학습에서 사용하는 예측 모델링 방법 중 하나이다. 트리 모델 중 목표 변수가 유한한 수의 값을 가지는 것을 분류 트리라 한다. 결정 트리 중 목표 변수가 연속하는 값, 일반적으로 실수를 가지는 것은 회귀 트리라 한다. 의사 결정 분석에서 결정 트리는 시각적이고 명시적인 방법으로 의사 결정 과정과 결정된 의사를 보여주는데 사용된다. 데이터 마이닝 분야에서 결정 트리는 결정된 의사보다는 자료 자체를 표현하는데 사용된다.
선형회귀 / 로지스틱회귀 회귀(Regression)란? 평균으로의 회귀라고 이해. 데이터의 실측치와 모델의 실측치 사이의 차이, 즉 회귀식에서 오차항에 대한 관측치가 평균으로 수렴하는 것. 회귀 모델과 회귀 분석이란? 회귀모델이란, 어떤 연속성 데이터 x, y의 원인이라고 추정되는 관계를 예측하기 위해 만든 모델을 말합니다. ( y = f(x) ) 그렇게 추정한 관계를 입력 변수값과 매칭하여 '출력' 변수를 예측하는 것을 우리는 통계분석이라고 합니다. 현실에서 실제 데이터를 측정할때는 여러가지의 원인으로 수학식처럼 정확한 관계식을 만들 수 없습니다. 그래서 확률 변수인 오차항을 고려하여 회귀 모델을 구성해야 합니다. ( y = f(x) + e ) 변수들 간 관계를 파악하여 어떤 현상을 예측하고 설명하는데 사용되는 가장 대표적인 ..