이나기 놀이터

RAG를 구현하고 챗봇을 만드는 과정을 다시 한 번 소개합니다. 1. 벡터 DB 만들기  1) 문서 로딩 : 필요한 문서를 불러들입니다.   2) 문서 분할 : 문서를 적절하게 분할합니다.     2-1) CharacterTextSplitter : 글자수로 분할     2-2) RecursiveCharacterTextSplitter : 문맥을 통한 분할     2-3) MarkdownHeaderTextSplitter : 마크다운의 제목이나 소제목으로 분류   3) 임베딩 : 문서 자료를 숫자로 변환합니다. 이것을 벡터화라고 말할 수 있습니다.     - 저는 OpenAIEmbedding의 "text-embedding-3-small", "text-embedding-3-large" 모델로 임베딩하였습니다. ..

RAG을 이용하여 Chatbot을 구현했습니다. 제가 진행했던 과정을 나열하겠습니다. 1. pdf 파일 : 낙상관련한 논문/글 9편 - data 폴더에 저장 2. file loading : pdf 파일을 loading 합니다. 3. text split : loading된 pdf 파일을 적당한 크기로 분리합니다. 4. DB 생성 : Vector DB를 생성합니다.   - Vector DB는 텍스트를 1차원의 배열로 만들어 그것을 DB로 만드는 과정입니다. 5. DB 저장 : 생성된 Vector DB를 로컬컴퓨터에 저장했습니다. ---------------------------------------------------------- 6. 디스크에서 DB를 불러옵니다. 7. 검색기(Retriever)를 생성합..

GPT를 활용한 챗봇을 하나 만들었습니다. 일반적으로 챗봇은 사람이 궁금한 것을 봇에게 묻고, 봇은 자신이 알고 있는 모든 지식을 동원에 응답을 합니다. 이번에 제가 만든 챗봇은 보통 챗봇과는 다릅니다. 필요한 항목을 봇이 인지하고 사람에게 그 항목에 대한 질문을 하고 사람이 응답을 하는 것입니다. 그리고 사람의 응답을 통해 필요한 사항(항목: 값) 두 가지를 json 형태로 정확히 작성해야 합니다. 이 json 형태의 값을 파이썬의 데이터프레임을 이용해 표현하는 것입니다. 아직 완성되지는 않았지만, 이렇게 작성된 데이터프레임으로 다음 작업을 진행하게 됩니다. 언어모델 : gpt-3.5-turbo챗봇 프레임워크 : 스트림릿(streamlit)첨부된 이미지에서 볼 수 있듯이 봇이 "사건본인의 주소를 알려주..

"랭체인을 이용한 챗봇-01"에서 좀더 기능을 추가했습니다.구현하는 챗봇에서 중요한 부분이   1. 랭체인과 연결   2. 템플릿 실행   3. 대화 내용을 기억하고 있느냐 입니다. 코드 아래 결과 이미지 1번째 것에서 나눈 대화를 기억하고 있는지를 결과 이미지 3번째 것으로 확인했습니다. import gradio as grfrom operator import itemgetter# from langchain_community.chat_models import ChatOpenAIfrom langchain.chains import LLMChain, ConversationChainfrom langchain.memory import ConversationBufferMemoryfrom langchain.promp..

간단하게 작성한 chatbot 입니다. 필요한 모듈(패키지)는 설치해 주시고 코드를 복붙하고 main.py로 저장합니다. 커맨드라인에서 ">python main.py"실행하고 Ctrl + (마우스로 URL 클릭) 하면 브라우저가 새로 열리며 대화창이 뜹니다. 그리고 대화를 시작하면 됩니다. import gradio as grfrom langchain_community.chat_models import ChatOpenAIapi_key = "OpenAI API Key" # 발급받은 OpenAI API Key 값 입력chat_model = ChatOpenAI( model="gpt-3.5-turbo", openai_api_key=api_key)with gr.Blocks() as demo: cha..