💡Llama 2 란?Llama 2는 Meta AI에서 개발한 언어 모델로, GPT-3보다 더 작은 파라미터를 가지고 있고 학습 비용이 들지 않으면서도 높은 성능을 보이기 때문에 주목을 받고 있다. Llama와 ChatGPT의 차이점 LlamaChatGPT모델 용도연구자들을 대상으로 설계되었고, 학술적 연구나 실험에 활용할 수 있다. 또한, 오픈소스로 공개되어 있어 다른 연구자들이 동일한 작업을 재현하고 비교할 수 있다.주로 범용적인 사용을 목표로 하며, 대화를 위해 특별히 설계되었다. 따라서, 일반 사용자나 엔터프라이즈 솔루션에 더 적합하다.학습 데이터주로 Wikipedia, Common Crawl, C4와 같은 공개된 데이터 세트를 사용하여 학습된다. 이는 일반적인 텍스트 데이터에 기반한 모델로, 다..
💡텍스트 전처리텍스트 전처리는 자연어를 컴퓨터가 이해하고 처리할 수 있는 형태로 변환하는 과정이다. 이를 통해 기계는 자연어를 이해하고, 인공지능은 텍스트 데이터를 학습할 수 있게 된다.텍스트 전처리 과정은 Sentence, Tokenization, Cleaning, Stemming, Encoding, Sorting, Padding/Similarity로 진행된다. 🔎언어의 형태소한글은 띄어쓰기가 되어 있지 않은데 함축적으로 들어 있는 내용과 파생 표현이 많기 때문에 토큰화를 진행하기가 어렵다. 그렇기 때문에 자연어를 효과적으로 처리할 수 있도록 전처리 과정이 필수적이다.예시 문장: 바쁜 일상 속에서도 책을 읽는 것은 마음의 휴식이 된다."바쁜": 자립 형태소 (형용사)"일상": 자립 형태소 (명사)..
💡자연어 처리 소개자연어는 일상생활에서 사용하는 보편적인 언어이며, 자연어 처리는 컴퓨터가 자연어를 이해하도록 처리하는 것이다.자연어 처리는 인공지능 분야에서 머신러닝을 활용하여 텍스트와 데이터를 이해하고 처리하는 기술이다. 주로 텍스트의 구조와 의미를 파악하여 다양한 응용 분야에서 활용된다.컴퓨터에게 인간과 유사한 방식으로 언어를 이해하는 능력을 부여하며, 통계적 머신러닝과 딥러닝을 활용하여 언어 모델을 구축한다.음성 인식(Speech Recognition), 번역(Translation), 요약(Text Summary), 분류(Text Classification) 등의 분야에서 자연어 처리 기술이 다양하게 활용되고 있다. 자연어 처리란?NLP(Natural Language Processing, 자연어..
