전처리

Programming/AI

[NLP] 텍스트 전처리: Sentence, Tokenization, Cleaning, Stemming, Encoding, Sorting, Padding/Similarity

2024.01.26

💡텍스트 전처리텍스트 전처리는 자연어를 컴퓨터가 이해하고 처리할 수 있는 형태로 변환하는 과정이다. 이를 통해 기계는 자연어를 이해하고, 인공지능은 텍스트 데이터를 학습할 수 있게 된다.텍스트 전처리 과정은 Sentence, Tokenization, Cleaning, Stemming, Encoding, Sorting, Padding/Similarity로 진행된다. 🔎언어의 형태소한글은 띄어쓰기가 되어 있지 않은데 함축적으로 들어 있는 내용과 파생 표현이 많기 때문에 토큰화를 진행하기가 어렵다. 그렇기 때문에 자연어를 효과적으로 처리할 수 있도록 전처리 과정이 필수적이다.예시 문장: 바쁜 일상 속에서도 책을 읽는 것은 마음의 휴식이 된다."바쁜": 자립 형태소 (형용사)"일상": 자립 형태소 (명사)..

Programming/AI

[NLP] 자연어 처리(Natural Language Processing) 소개

2024.01.26

💡자연어 처리 소개자연어는 일상생활에서 사용하는 보편적인 언어이며, 자연어 처리는 컴퓨터가 자연어를 이해하도록 처리하는 것이다.자연어 처리는 인공지능 분야에서 머신러닝을 활용하여 텍스트와 데이터를 이해하고 처리하는 기술이다. 주로 텍스트의 구조와 의미를 파악하여 다양한 응용 분야에서 활용된다.컴퓨터에게 인간과 유사한 방식으로 언어를 이해하는 능력을 부여하며, 통계적 머신러닝과 딥러닝을 활용하여 언어 모델을 구축한다.음성 인식(Speech Recognition), 번역(Translation), 요약(Text Summary), 분류(Text Classification) 등의 분야에서 자연어 처리 기술이 다양하게 활용되고 있다. 자연어 처리란?NLP(Natural Language Processing, 자연어..