RAG : VectorStore

랭체인을 이용해 코드를 실행할 때 임베딩을 하는데 비용이 많이 들어갑니다.
법과 관련된 900여 쪽의 pdf 파일을 임베딩 작업을 하고 RAG를 이용하여 gpt와 문답을 하고자 합니다.
그래서 임베딩을 한 다음 그것을 vector db로 만들어 로컬에 보관하였습니다.
임베딩하는데 비용이 들어갑니다.

이 vector db를 불러와 gpt에게 질문을 하면 임베딩할 때 들어가는 비용이 별로 들어가지 않습니다.
질문에 대한 임베딩과 랭체인 모델을 사용하는 비용만 지불하면 됩니다.

두 가지 코드를 나눴습니다.


1. 벡터 DB 만들어 로컬에 보관하기

import os
from dotenv import load_dotenv
from dotenv import dotenv_values

from langchain_community.document_loaders import PyMuPDFLoader
from langchain_openai.embeddings import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_chroma import Chroma


if os.path.exists(".env"):
    load_dotenv(override=True)
    config = dotenv_values(".env")

openAI_api_key = os.getenv("OPENAI_API_KEY")

# 문서 로드(Load Documents)
loader = PyMuPDFLoader("data/대한민국 헌법외.pdf")
docs = loader.load()

# 문서 분할(Split Documents)
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=20)
split_documents = text_splitter.split_documents(docs)

# DB 생성
db = Chroma.from_documents(
    documents=split_documents,
    embedding=OpenAIEmbeddings(),
    collection_name="law_chroma_db"
)

# 저장할 경로 지정
db_path = "./chroma"

# 문서를 디스크에 저장.
persist_db = Chroma.from_documents(
    split_documents,
    OpenAIEmbeddings(),
    persist_directory=db_path,
    collection_name="law_chroma_db"
)

2. 로컬에 보관된 벡터 DB를 불러와 랭체인을 통해 gpt에 질문하기

import os
from dotenv import load_dotenv
from dotenv import dotenv_values

from langchain_community.document_loaders import PyMuPDFLoader
from langchain_openai.embeddings import OpenAIEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_core.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
from langchain_chroma import Chroma

if os.path.exists(".env"):
    load_dotenv(override=True)
    config = dotenv_values(".env")

openAI_api_key = os.getenv("OPENAI_API_KEY")

# 저장된 경로 지정
db_path = "./chroma"

# 디스크에서 문서를 로드합니다.
persist_db = Chroma(
    persist_directory=db_path,
    embedding_function=OpenAIEmbeddings(),
    collection_name="law_chroma_db",
)

# 검색기(Retriever) 생성
# 문서에 포함되어 있는 정보를 검색하고 생성합니다.
retriever = persist_db.as_retriever()

# 프롬프트 생성(Create Prompt)
# 프롬프트를 생성합니다.
prompt = PromptTemplate.from_template(
    """You are an assistant for question-answering tasks. 
Use the following pieces of retrieved context to answer the question. 
If you don't know the answer, just say that you don't know. 
Answer in Korean.

#Question: 
{question} 
#Context: 
{context} 

#Answer:"""
)

# 언어모델(LLM) 생성
# 모델(LLM) 을 생성합니다.
model = "gpt-4o-mini"
llm = ChatOpenAI(model_name=model, temperature=0)

# 체인(Chain) 생성
chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

# 체인 실행(Run Chain)
# 문서에 대한 질의를 입력하고, 답변을 출력합니다.
question = "우발적인 사고로 사람을 크게 다치게 했습니다. 가해자는 어떤 처벌을 받을까요?"
response = chain.invoke(question)
print(response)

결과 : 
우발적인 사고로 사람을 크게 다치게 한 경우, 가해자는 형법 제260조에 따라 폭행으로 처벌받을 수 있습니다. 이 조항에 따르면, 사람의 신체에 폭행을 가한 자는 2년 이하의 징역, 500만원 이하의 벌금, 구류 또는 과료에 처해질 수 있습니다. 만약 피해자가 사망에 이르게 했다면, 형법 제262조에 따라 더 중한 처벌을 받을 수 있습니다.