본문 바로가기

Deep Learning

AutoEncoder
Deep Learning/Vision 2021. 6. 21. AutoEncoder AutoEncoder AutoEncoder의 일반적인 의미는 "어떤 감독 없이도(즉, 레이블 되어 있지 않은 훈련 데이터를 사용해서) 입력 데이터의 효율적인 표현인 코드를 학습할 수 있는 인공 신경망"을 말한다. 구체적으로는 비지도 학습의 일환의 인공 신경망으로, 주어지는 Input 데이터에 대해 핵심적인 표현을 학습한 다음, 학습된 인코딩 표현에서 입력 데이터와 근사한 데이터를 Output으로 생성하는 것을 목표로 하는 생성 모델이다. 주로 주어진 데이터를 차원 축소를 통해 압축하여 차원의 저주 문제를 해결하거나 훈련 데이터의 증식을 위해 근사한 데이터를 생성 또는 중요한 feature를 찾아내는데에 활용된다. 이를 통해 해결할 수 있는 분야의 문제들은 여러가지가 있는데 대표적으로 Denoising, ..
Character Based Sequence to Sequence Learning
Deep Learning/Natural Language Processing 2021. 4. 8. Character Based Sequence to Sequence Learning Character Based Sequence to Sequence Learning은 말그대로 문자에 기반한 Seq2Seq 학습이다. 개별 문자를 통해 문자 사전을 구축하고 해당 사전을 토대로 입력 Sequence에 대해 학습해 Sequence형태의 출력을 실행한다. 추후 Seq2Seq 모델에 대해 기계번역에서의 분석으로 자세히 기술할 것이므로 설명은 생략하고자한다. 여기서 실행하는 분석은 총 2가지이며 2가지 모두 개별 문자에 기반한 NLP 학습이다. 데이터의 직접적인 생성부터 학습을 통한 모델 구축까지의 과정을 내포한다. 인터넷이 연결되어있지 않은 폐쇄망에서 text에 관련해 어떤 것을 해보면 좋을지 생각하다가 Keras 문서에 있는 코드들을 참조하게 되었으며, 언급했듯이 데이터 수급이 어려운 환경에서..
Image Classification < Basic To Transfer > - (3)
Deep Learning/Vision 2021. 4. 5. Image Classification < Basic To Transfer > - (3) Convolution Network Visualization 딥러닝 모델은 흔히 Black Box 모델이라고 일컬어진다. 모델은 가중치를 학습하는 방식으로 진행이되기때문에 학습한 표현에서 어떤것이 분류, 회귀에 어떠한 형태로 기여하는지 알기가 어렵기 때문이다. 이러한 한계점은 모델에 대한 일반인들의 신뢰성을 저하시킬수 있으며 명확한 결정요인을 파악하기가 어렵다. 하지만 2016년 'Grad-CAM : Visual Explanaitions from Deep Networks via Gradient based Localization' 이라는 논문이 발표되면서 Network의 중간층에 대한 시각화와 최종 분류결정요인에 대한 시각화가 가능해졌다. 간단히 논문에서 사용한 방법에 대해서 설명하자면 'Grad-CAM'..
Image Classification < Basic To Transfer > - (2)
Deep Learning/Vision 2021. 4. 1. Image Classification < Basic To Transfer > - (2) (1) 에서는 CNN모델을 직접 구성해 고양이와 강아지 사진을 분류하는 분류기를 구축했다. 모델 구축에 앞서 Image Augumentation을 통해 데이터를 변형해 수를 증강시켰고 약간의 전처리가 포함되었다. 이는 이미지 작업에있어서 가장 기초적인 작업이며 결론적으로 Validation Set에 대해 0.78정도의 정확도를 달성했다. 이번에는 모델을 처음부터 학습시키는 것이 아니라 기존에 대량의 데이터셋으로부터 학습된 좋은 가중치를 통해 새로운 이미지를 학습하는 Transfer Learning을 접목시킨다. 전이학습은 이미지 분류에 있어서 성능을 크게 끌어올릴 수 있어 자주 사용되는 기법중 하나이며 상당히 다양한 전이학습 모델들이 존재한다. 이 중 사용할 모델은 VGG16으로 ILSVRC의 대회에 맞..
Image Classification < Basic To Transfer > - (1)
Deep Learning/Vision 2021. 3. 27. Image Classification < Basic To Transfer > - (1) CNN Image Classification Image에 대해 딥러닝이 해결할 수 있는 범주의 문제들은 여러가지가 있다. 위 그림에서 제시한 바와 같이 Classification, Object Detection의 문제들이 대표적이다. 두가지는 서로 유사하지만 논리상으로 엄연히 다른 문제이다. 사물인식은 이미지에 주어진 개체들을 인식해 어떤 개체인지 판명하는 것으로 요즘 화두가 되고있는 자율주행에 있어서 필수적인 요소이다. 단순히 이미지를 분류하는 것에서 벗어나 개체에 대한 이해의 범주로 들어가게되며 이는 'YOLO(You Look Only Once)' 계열의 수많은 논문들이 이를 대표하고있다. 반면 Classification은 여러가지 카테고리중 이미지의 범주가 어느 곳에 속하는 지를 분류하는 문제이며 ..
Sentiment Analysis < Movie Comment > - (2)
Deep Learning/Natural Language Processing 2021. 3. 21. Sentiment Analysis < Movie Comment > - (2) 이로써 데이터의 분포와 각 리뷰에 대한 특성파악은 어느정도 충족이 되었다. 이를 바탕으로 새로운 자연어 데이터에 대해 그 의미를 파악해 긍정과 부정을 분류하는 모델을 구축한다. 자연어 처리는 토큰화, 인코딩 및 패딩과같은 정제가 선행되고 모델링을 거쳐 감성예측 모델링을 수행할 수 있다. 4. Preprocessing 4.1 Tokenizing def preprocessing(review, okt, remove_stopwords = False, stop_words = []): # 한글 및 공백을 제외한 이외의 문자 모두 제거 review_text = re.sub("[^가-힣ㄱ-ㅎㅏ-ㅣ\\s]", "", review) # okt 객체를 활용해서 형태소 단위로 분리 word_review = okt.morphs..
Sentiment Analysis < Movie Comment > - (1)
Deep Learning/Natural Language Processing 2021. 3. 20. Sentiment Analysis < Movie Comment > - (1) Sentiment Analysis 감성 분석(Sentiment Analysis)이란 텍스트에 들어있는 의견이나 감성, 평가, 태도 등의 주관적인 정보를 분석하는 과정이다. 자연어 데이터에 들어있는 감성을 분석하는 일은 오래 전부터 연구되어왔지만 문맥에 대한 고려나 단어들의 중의성 등의 여건 때문에 쉽지 않았던 것이 사실이다. 하지만 딥러닝 기술이 발전하면서 이러한 자연어와 같은 Sequence계열의 데이터에 대한 처리법이 발달하였고 적용할 수 있는 모델들의 성능이 크게 향상되었다. 딥러닝을 이용한 감성분석은 크게 Unsupervised Learning Task와 Supervised Learning Task로 두가지 범주로 나누어질 수 있는데, 이는 머신러닝에서 다루는 범주와 같다. Unsupervised..

티스토리툴바