인공지능(AI) 기술이 급속히 발전하면서 자연어 처리(NLP) 분야에서도 새로운 혁신이 등장하고 있다. 특히 RAG(Retrieval-Augmented Generation)는 정보 검색(IR)과 자연어 생성(NLG)을 결합한 기술로, AI가 더 정확하고 풍부한 정보를 제공할 수 있도록 돕는다. 💡RAG란?RAG는 Retrieval-Augmented Generation의 약자로, '검색 증강 생성 기술'이라고 할 수 있다.이 기술은 대규모 언어 모델(LLM, Large Language Model)과 정보 검색 시스템을 결합하여, AI가 사용자의 질문에 대해 더욱 신뢰할 수 있고 정보가 풍부한 답변을 제공할 수 있도록 한다.LLM은 GPT-3와 같은 모델을 말하며, 방대한 데이터를 학습해 자연스러운 언어 ..
Ollama와 Llama 2를 활용하여 개인 PC에 나만의 인공지능 비서를 만들어 보도록 하자.Llama 2는 최신 AI 기술인 LLM(Language Model)을 기반으로 한 개인용 인공지능 비서로서, 다양한 작업을 수행할 수 있다.Ollama와 Llama 2를 설치하고 설정해 보면서 질문과 답변을 받는 과정까지 진행한다. 💡OllamaOllama는 대규모 언어 모델을 로컬 환경에서 실행할 수 있는 도구로, 사용자가 간편하게 언어 모델을 설치하고 서비스로 운영할 수 있도록 도와준다. Ollama 지원 모델Ollama는 다양한 모델을 지원한다. LLaMA-2, CodeLLaMA, Falcon, Mistral 등의 모델을 로컬에서 실행할 수 있으며, 오픈 소스 모델인 Vicuna, WizardCoder..
💡Llama 2 란?Llama 2는 Meta AI에서 개발한 언어 모델로, GPT-3보다 더 작은 파라미터를 가지고 있고 학습 비용이 들지 않으면서도 높은 성능을 보이기 때문에 주목을 받고 있다. Llama와 ChatGPT의 차이점 LlamaChatGPT모델 용도연구자들을 대상으로 설계되었고, 학술적 연구나 실험에 활용할 수 있다. 또한, 오픈소스로 공개되어 있어 다른 연구자들이 동일한 작업을 재현하고 비교할 수 있다.주로 범용적인 사용을 목표로 하며, 대화를 위해 특별히 설계되었다. 따라서, 일반 사용자나 엔터프라이즈 솔루션에 더 적합하다.학습 데이터주로 Wikipedia, Common Crawl, C4와 같은 공개된 데이터 세트를 사용하여 학습된다. 이는 일반적인 텍스트 데이터에 기반한 모델로, 다..
언어 모델(LM)은 텍스트 데이터를 이해하고 생성하는 인공지능(AI) 모델이다. 최근에는 대규모 언어 모델(LLM)이 뜨거운 주제 중 하나로, 원하는 태스크에 맞춰 튜닝하는 방식으로 발전하고 있다.Fine-Tuning과 Prompt-Tuning은 인공지능(AI) 출력을 최적화하는 데 사용되는 기술이다. 먼저 요약으로 각 기술에 대한 설명을 한눈에 확인해 보도록 하자. 🔎한눈에 보기LLM(대규모 언어 모델)은 많은 양의 텍스트 데이터를 사용하여 학습된 인공지능 모델을 의미한다. 이 모델들은 자연어 이해 및 생성 작업에 탁월한 성능을 보이며, 예측, 번역, 요약 등 다양한 자연어 처리 작업에 사용된다.Fine-Tuning은 미리 학습된 모델을 특정 작업이나 데이터셋에 맞게 재학습시키는 과정을 의미한다. 이..
💡텍스트 전처리텍스트 전처리는 자연어를 컴퓨터가 이해하고 처리할 수 있는 형태로 변환하는 과정이다. 이를 통해 기계는 자연어를 이해하고, 인공지능은 텍스트 데이터를 학습할 수 있게 된다.텍스트 전처리 과정은 Sentence, Tokenization, Cleaning, Stemming, Encoding, Sorting, Padding/Similarity로 진행된다. 🔎언어의 형태소한글은 띄어쓰기가 되어 있지 않은데 함축적으로 들어 있는 내용과 파생 표현이 많기 때문에 토큰화를 진행하기가 어렵다. 그렇기 때문에 자연어를 효과적으로 처리할 수 있도록 전처리 과정이 필수적이다.예시 문장: 바쁜 일상 속에서도 책을 읽는 것은 마음의 휴식이 된다."바쁜": 자립 형태소 (형용사)"일상": 자립 형태소 (명사)..
💡자연어 처리 소개자연어는 일상생활에서 사용하는 보편적인 언어이며, 자연어 처리는 컴퓨터가 자연어를 이해하도록 처리하는 것이다.자연어 처리는 인공지능 분야에서 머신러닝을 활용하여 텍스트와 데이터를 이해하고 처리하는 기술이다. 주로 텍스트의 구조와 의미를 파악하여 다양한 응용 분야에서 활용된다.컴퓨터에게 인간과 유사한 방식으로 언어를 이해하는 능력을 부여하며, 통계적 머신러닝과 딥러닝을 활용하여 언어 모델을 구축한다.음성 인식(Speech Recognition), 번역(Translation), 요약(Text Summary), 분류(Text Classification) 등의 분야에서 자연어 처리 기술이 다양하게 활용되고 있다. 자연어 처리란?NLP(Natural Language Processing, 자연어..
