Ollama와 Llama 2를 활용하여 개인 PC에 나만의 인공지능 비서를 만들어 보도록 하자. Llama 2는 최신 AI 기술인 LLM(Language Model)을 기반으로 한 개인용 인공지능 비서로서, 다양한 작업을 수행할 수 있다. Ollama와 Llama 2를 설치하고 설정해 보면서 질문과 답변을 받는 과정까지 진행한다. 💡Ollama Ollama는 대규모 언어 모델을 로컬 환경에서 실행할 수 있는 도구로, 사용자가 간편하게 언어 모델을 설치하고 서비스로 운영할 수 있도록 도와준다. Ollama 지원 모델 Ollama는 다양한 모델을 지원한다. LLaMA-2, CodeLLaMA, Falcon, Mistral 등의 모델을 로컬에서 실행할 수 있으며, 오픈 소스 모델인 Vicuna, WizardCo..
💡Llama 2 란? Llama 2는 Meta AI에서 개발한 언어 모델로, GPT-3보다 더 작은 파라미터를 가지고 있고 학습 비용이 들지 않으면서도 높은 성능을 보이기 때문에 주목을 받고 있다. Llama와 ChatGPT의 차이점 Llama ChatGPT 모델 용도 연구자들을 대상으로 설계되었고, 학술적 연구나 실험에 활용할 수 있다. 또한, 오픈소스로 공개되어 있어 다른 연구자들이 동일한 작업을 재현하고 비교할 수 있다. 주로 범용적인 사용을 목표로 하며, 대화를 위해 특별히 설계되었다. 따라서, 일반 사용자나 엔터프라이즈 솔루션에 더 적합하다. 학습 데이터 주로 Wikipedia, Common Crawl, C4와 같은 공개된 데이터 세트를 사용하여 학습된다. 이는 일반적인 텍스트 데이터에 기반한 ..
언어 모델(LM)은 텍스트 데이터를 이해하고 생성하는 인공지능(AI) 모델이다. 최근에는 대규모 언어 모델(LLM)이 뜨거운 주제 중 하나로, 원하는 태스크에 맞춰 튜닝하는 방식으로 발전하고 있다. Fine-Tuning과 Prompt-Tuning은 인공지능(AI) 출력을 최적화하는 데 사용되는 기술이다. 먼저 요약으로 각 기술에 대한 설명을 한눈에 확인해 보도록 하자. 🔎한눈에 보기 LLM(대규모 언어 모델)은 많은 양의 텍스트 데이터를 사용하여 학습된 인공지능 모델을 의미한다. 이 모델들은 자연어 이해 및 생성 작업에 탁월한 성능을 보이며, 예측, 번역, 요약 등 다양한 자연어 처리 작업에 사용된다. Fine-Tuning은 미리 학습된 모델을 특정 작업이나 데이터셋에 맞게 재학습시키는 과정을 의미한다...
💡대전광역시 버스 관련 데이터 시각화 및 분석 이번에 사용할 데이터는 대전광역시의 버스와 관련한 정보이다. 이 데이터를 활용하여 대전광역시의 버스 정류장 현황을 지도에 표시하고, 버스 이용이 많이 발생하는 자치구를 확인하려고 한다. 그리고 도로 안전을 위해 버스전용차로 단속카메라의 보완이 필요한 위치를 분석해보고자 한다. 활용한 데이터 대전광역시_버스정류장 현황 https://www.data.go.kr/data/15110461/fileData.do 대전광역시_시내버스 기반정보 https://www.data.go.kr/data/15081730/fileData.do 대전광역시_자치구별 인구이동 현황 https://www.data.go.kr/data/15062511/fileData.do 한국교통안전공단_대전광..
💡대전광역시 서구 일반음식점 현황 분석 공공 데이터 포털에서 위도, 경도 지도 데이터를 포함하는 csv 파일을 Streamlit에서 folium 라이브러리를 활용하여 시각화하고, 분석해 보도록 하자. Folium 라이브러리 Folium은 지리 공간 데이터를 시각화하는 데 사용되는 Python 라이브러리이다. leaflet.js 기반으로 이루어졌으며, 시각화에 활용할 수 있는 OpenStreetMap, Mapbox, Stamen과 같은 지도 이미지를 제공한다. 자세한 내용은 아래 공식 도큐먼트에서 확인할 수 있다. https://python-visualization.github.io/folium/latest/ Folium — Folium 0.1.dev1+gd6f04cb documentation Folium..
💡웹 애플리케이션 구축 Streamlit에서 Python 파일을 생성하고, Elements를 활용하여 웹 애플리케이션을 만들어 보도록 하자. Python 파일 생성하기 VS Code에서 py 확장자로 'streamlit_app.py' 파일을 생성한다. 파일이 생성되었으므로 기본 스크립트를 입력하고, run 명령어를 통해 프로젝트를 배포할 수 있다. 웹 페이지 실행하기 streamlit run streamlit_app.py 터미널에 streamlit run과 실행할 Python 파일명을 명령어로 입력하면 웹 페이지가 실행된다. 현재 소스 코드를 작성하지 않은 상태이기 때문에 빈 화면이 표시된다. Scripts\activate.bat 만약 실행되지 않는다면 가상 환경에 접속되지 않은 상태이므로 Scripts..
💡Streamlit Streamlit은 데이터 기반 웹 애플리케이션을 만드는 오픈 소스 Python 라이브러리이다. 데이터 분석과 시각화를 위한 웹 애플리케이션 개발 과정을 단순화하여 웹 개발 경험이 없는 사용자들도 쉽게 웹 애플리케이션을 구축할 수 있다. Streamlit 공식 홈페이지 https://docs.streamlit.io/ Streamlit Docs Join the community Streamlit is more than just a way to make data apps, it's also a community of creators that share their apps and ideas and help each other make their work better. Please come ..
💡텍스트 전처리 텍스트 전처리는 자연어를 컴퓨터가 이해하고 처리할 수 있는 형태로 변환하는 과정이다. 이를 통해 기계는 자연어를 이해하고, 인공지능은 텍스트 데이터를 학습할 수 있게 된다. 텍스트 전처리 과정은 Sentence, Tokenization, Cleaning, Stemming, Encoding, Sorting, Padding/Similarity로 진행된다. 🔎언어의 형태소 한글은 띄어쓰기가 되어 있지 않은데 함축적으로 들어 있는 내용과 파생 표현이 많기 때문에 토큰화를 진행하기가 어렵다. 그렇기 때문에 자연어를 효과적으로 처리할 수 있도록 전처리 과정이 필수적이다. 예시 문장: 바쁜 일상 속에서도 책을 읽는 것은 마음의 휴식이 된다. "바쁜": 자립 형태소 (형용사) "일상": 자립 형태소 (..
