이나기 놀이터

요즘 장안의 화제인 Vibe Coding을 연습삼아 시험했습니다. 사용한 코드 편집기는 cursor ai를 사용했습니다. 아래 를 작성하고 실행하면 를 작성해 줍니다. 앱을 배포할 때 필요한 requirements.txt도 자동으로 작성해 주네요. 코드를 살펴보면 다듬어야할 부분이 보이지만 그래도 큰 틀에서는 잘 작성해줍니다. 사람이 세밀하게 조정하는 것이 필요하다고 생각합니다. 어쨋든 기술 발전이 대단하다는 생각입니다. cifar10은 10개 카테고리별로 이미지를 분류하기 위한 데이터셋입니다. 딥러닝 모델1. 기본사항 - 프로그래밍 언어 : python - 딥러닝 프레임워크 : keras2. 데이터 - cifar10 - 데이터 셋 분할 - train : test = 8 : 2 - tr..

사진 이미지가 4장 있습니다. 먼저 이 이미지를 개/고양이를 구분하도록 하였습니다.두 번째 이미지를 '개'로 오판하였습니다. 이미지를 텍스트처럼 임베딩을 합니다. 이미지 네 장에서 query에 해당하는 이미지를 찾으라고 했습니다.(query가 코드에 있는 것이랑 그림에 있는 것이랑 다르지만 결과는 같습니다.) query = "Look at the animals in front of the table"best_match, prob_match, argmax_seq = image_search_01(image_list, query)    찾아온 이미지에 대한 질문을 합니다.멀티모달을 통한 답변입니다.  질문 : "Please describe what is on the table." 답변 : "On the tab..

RAG로 구현된 앱으로 채팅을 할 때 생기는 문제가 있습니다. 표로 구성된 자료에서 그 내용을 물었을 때 원하는 답변이 나오지 않는 경우가 있습니다. 표의 특성에서 셀을 합친다거나 페이지를 넘어가는 경우, 그리고 표가 무엇을 나타내기 위한 것인지 명확하지 않은 경우입니다. 물론 다른 경우도 있지만... 그래서 이 표를 멀티모달(Multi-Modal)을 이용하여 이미지로 읽어들여 이것을 벡터화하는 시도를 하고자 합니다. 먼저 이미지를 읽어와 이미지에 대한 묘사를 해보는 코드를 작성했습니다. 그 결과가 잘 나오는 것 같습니다. 텍스트로만 이루어진 이미지는 텍스트를 정리하게 하였습니다. 이미지와 사진은 그것에 대한 설명을 하도록 하였습니다. llm model은 OpenAI의 gpt-4o를 사용했습니다. Dep..

RAG를 구현하고 챗봇을 만드는 과정을 다시 한 번 소개합니다. 1. 벡터 DB 만들기  1) 문서 로딩 : 필요한 문서를 불러들입니다.   2) 문서 분할 : 문서를 적절하게 분할합니다.     2-1) CharacterTextSplitter : 글자수로 분할     2-2) RecursiveCharacterTextSplitter : 문맥을 통한 분할     2-3) MarkdownHeaderTextSplitter : 마크다운의 제목이나 소제목으로 분류   3) 임베딩 : 문서 자료를 숫자로 변환합니다. 이것을 벡터화라고 말할 수 있습니다.     - 저는 OpenAIEmbedding의 "text-embedding-3-small", "text-embedding-3-large" 모델로 임베딩하였습니다. ..

RAG을 이용하여 Chatbot을 구현했습니다. 제가 진행했던 과정을 나열하겠습니다. 1. pdf 파일 : 낙상관련한 논문/글 9편 - data 폴더에 저장 2. file loading : pdf 파일을 loading 합니다. 3. text split : loading된 pdf 파일을 적당한 크기로 분리합니다. 4. DB 생성 : Vector DB를 생성합니다.   - Vector DB는 텍스트를 1차원의 배열로 만들어 그것을 DB로 만드는 과정입니다. 5. DB 저장 : 생성된 Vector DB를 로컬컴퓨터에 저장했습니다. ---------------------------------------------------------- 6. 디스크에서 DB를 불러옵니다. 7. 검색기(Retriever)를 생성합..

랭체인을 이용해 코드를 실행할 때 임베딩을 하는데 비용이 많이 들어갑니다. 법과 관련된 900여 쪽의 pdf 파일을 임베딩 작업을 하고 RAG를 이용하여 gpt와 문답을 하고자 합니다. 그래서 임베딩을 한 다음 그것을 vector db로 만들어 로컬에 보관하였습니다. 임베딩하는데 비용이 들어갑니다. 이 vector db를 불러와 gpt에게 질문을 하면 임베딩할 때 들어가는 비용이 별로 들어가지 않습니다. 질문에 대한 임베딩과 랭체인 모델을 사용하는 비용만 지불하면 됩니다. 두 가지 코드를 나눴습니다. 1. 벡터 DB 만들어 로컬에 보관하기 import osfrom dotenv import load_dotenvfrom dotenv import dotenv_valuesfrom langchain_communi..

chatGPT와 놀면 재밌는 것이 많습니다. chatGPT의 로그인을 한 상태로 대화를 나누면 gpt 모델은 gpt-4o 버전입니다. gpt 4o(omni)는 3.5와는 다르게 이미지 처리도 가능합니다. 일정량을 사용하고 나면 다시 3.5버전으로 바뀝니다. 예전 아이와 대화한 내용으로 gpt에 요청한 것과 결과입니다. 아직 결과가 많이 엉성하지만 재미있습니다. ---------------------------------------------------------------- 가족이 식탁에 둘러 앉아 대화를 나누고 있습니다.  그 대화 내용이 아래  입니다. 이 대화를 4컷짜리 만화를 만들려고 합니다. 가족은 아빠, 엄마, 딸 1, 딸 2 입니다. 뉘앙스를 살려서 만화를 그려주세요. 만화의 터치감은 단순했..

강변 카페  강가에 펼쳐진 카페에서차 한 잔에 마음을 녹이며가을바람이 스치는 소리에한숨을 돌리는 사람들 창가에 앉아 바라보는 강물은시간의 흐름을 담아 흘러가고가로등 불빛이 비추는 길가에서성이는 발걸음 소리 한 손에는 시를 쓰고한 손에는 커피를 쥐며강변 카페의 향기 속에사랑과 이별을 노래하는 한 사람의 이야기가 흐르고한 사람의 미소가 번져가는강변 카페의 풍경은마음을 달래주는 편안함 가을이 오면 더 아름다운강변 카페의 풍경 속에한 줄기 희망을 안고사랑을 기다리는 이들이 있다.  ----------------------------------------------- FewShotPrompt에 LLMChain에서 프롬프트(template)를 추가해서 시를 작성해봤습니다.좀더 느낌이 다릅니다. 아래 코드를 참조해 ..

강변 찻집 강가에 서 있는 찻집가을 바람이 스치는 창가차 한 잔에 가을의 향기를 담아나는 혼자 앉아서 생각에 잠긴다 찻집 주인은 웃으며 차를 대접하고강물이 흐르는 소리가 들려와가을 날씨에 어울리는 이야기를 나눈다찻집 안은 따뜻한 빛으로 가득 차오르고 찻잔을 들고 강변을 바라보면가을 하늘에 떠다니는 구름들이차가운 강물을 따라 흘러가는 모습나의 마음도 함께 흘러가듯이 강변 찻집은 시간이 멈춘 곳가을이 지나고 겨울이 오더라도찻집은 언제나 나를 따뜻하게 맞이해줄 것강가에 서 있는 찻집, 나의 작은 안식처.  우리가 GPT를 통해 질문을 하고 대답을 하는 부분은 ZeroShot이라 합니다.GPT가 자신이 알고 있는 지식을 정리하여 보여주는 것입니다. 그럼 몇가지 사례를 보여주며 GPT가 참조하면서 답변을 작성하게..

금요일(2024년 8월 9일) RAG에 대해 직원들에게 설명하는 시간이 있었습니다.그 시간에 했던 설명을 정리했습니다.이날 참석했던 사람들 중에 인공지능(머신러닝, 딥러닝, 자연어 처리, 랭체인 등)에 대해 모르는 사람도 섞여 있어서 최대한 쉽게 설명했습니다.내용은 지금까지 제가 학습했던 여러 글들을 정리한 것에 제 나름의 판단을 추가하여 설명한 것이기에 잘못된 부분이 있을 수 있습니다.  1. 언어모델    a. 언어모델이란 "문맥을 통해 다음에 나올 단어(말)를 예측하면서 문장을 완성하는 모델"입니다.        i. 예를 들어 "나는 회사에 출근할 때 를 타고 출근합니다.  는 사람이 많고 복잡하지만 정확한 시각에 도착할 수 있어서 이용하고 있습니다" 라는 문장에서 에 들어갈 수 있는 단어를 찾는..