[자연어처리] 3. RNN 개념 이해

1. RNN

개념: 시간 순서가 있는 데이터를 처리하는데 유리하다.

특징:

- 이전의 정보를 순환하면서 계속 유지하면서 쌓아가는게 특징

- Hidden State: 현재까지 정보를 축적해서 다음 셀로 넘기는 역할

- Weight Sharing: 모든 단어를 처리할 때 같은 가중치를 사용해서 계산

- 과거의 정보를 현재에 반영해 학습하도록 설계

구조: RNN 일반적인 신경망과 달리 출력을 다시 입력으로 넣는 구조

장점: 순차 데이터에 강함, 과거 정보를 기억하면서 처리가능

한계: 긴 문장에서는 기억력이 약함, 단기기억 문제

해결책: LSTM, GRU같은 개선된 RNN 모델

 

2. RNN 모델링 절차

- 데이터 분할 1: x, y

- 스케일링: 

- 3차원 데이터셋 만들기: timesteps 단위로 잘라서 sliding window 

- 데이터 분할: train, val