이나기 놀이터

요즘 장안의 화제인 Vibe Coding을 연습삼아 시험했습니다. 사용한 코드 편집기는 cursor ai를 사용했습니다. 아래 를 작성하고 실행하면 를 작성해 줍니다. 앱을 배포할 때 필요한 requirements.txt도 자동으로 작성해 주네요. 코드를 살펴보면 다듬어야할 부분이 보이지만 그래도 큰 틀에서는 잘 작성해줍니다. 사람이 세밀하게 조정하는 것이 필요하다고 생각합니다. 어쨋든 기술 발전이 대단하다는 생각입니다. cifar10은 10개 카테고리별로 이미지를 분류하기 위한 데이터셋입니다. 딥러닝 모델1. 기본사항 - 프로그래밍 언어 : python - 딥러닝 프레임워크 : keras2. 데이터 - cifar10 - 데이터 셋 분할 - train : test = 8 : 2 - tr..

4월 12일 토요일. 주말에 비가 온다는 얘기가 있어서 비오기 전에 꽃을 보러 수목원에 다녀왔습니다. 서울 근교인데 아직 목련 봉오리가 맺히지 않은 것도 있을 정도였습니다. 산수유가 피었고 매화가 보입니다. 서울은 산수유와 매화가 지는 시기인데 말입니다. 3주 전에 왔을 때는 나뭇잎이 없는 나무들만 가득했고 꽃은 볼 수가 없었는데, 그래도 오늘은 꽃은 볼 수 있었습니다.  3주 전에 왔을 때 미선나무 아주 작은 꽃봉오리만 있었는데 오늘은 그래도 꽃을 봤습니다. 미선나무 꽃이 졌으면 내년을 기약해야 되나 했는데 다행히 꽃을 봤습니다. 개나리, 민들레, 제비꽃, 수선화를 보고 편안하게 걷고 쉬다가 왔습니다.    돌아오는 길에 비가 내리기 시작했고 잘 다녀왔다는 생각을 합니다.

사진 이미지가 4장 있습니다. 먼저 이 이미지를 개/고양이를 구분하도록 하였습니다.두 번째 이미지를 '개'로 오판하였습니다. 이미지를 텍스트처럼 임베딩을 합니다. 이미지 네 장에서 query에 해당하는 이미지를 찾으라고 했습니다.(query가 코드에 있는 것이랑 그림에 있는 것이랑 다르지만 결과는 같습니다.) query = "Look at the animals in front of the table"best_match, prob_match, argmax_seq = image_search_01(image_list, query)    찾아온 이미지에 대한 질문을 합니다.멀티모달을 통한 답변입니다.  질문 : "Please describe what is on the table." 답변 : "On the tab..

앱을 만들면서 실행 중 일정 부분에서 많은 시간이 소요됩니다. 노코드 앱으로 작성 중 API 호출에 시간 제한이 있습니다. API 호출 후 오류가 계속 발생하여 그 원인을 찾다가 '시간제한' 때문이라는 것을 알게되었습니다. 그래서 비동기 함수로 만들어 실행시간을 단축하여 앱이 동작하도록 했습니다. 파이썬에서 비동기 함수 작성은def async function(): 함수 본체def main(): result = await function() # 함수 호출 형태로 진행됩니다. 병렬처리 부분을 공부하면서 multi-threading과 multi-processing으로 코드를 구현하면 얼마나 시간 차이가 나는지를 알아봤습니다. 이미지 파일 6개를 OCR로 텍스트로 변환하는 코드입니다. 각각의 시..

RAG로 구현된 앱으로 채팅을 할 때 생기는 문제가 있습니다. 표로 구성된 자료에서 그 내용을 물었을 때 원하는 답변이 나오지 않는 경우가 있습니다. 표의 특성에서 셀을 합친다거나 페이지를 넘어가는 경우, 그리고 표가 무엇을 나타내기 위한 것인지 명확하지 않은 경우입니다. 물론 다른 경우도 있지만... 그래서 이 표를 멀티모달(Multi-Modal)을 이용하여 이미지로 읽어들여 이것을 벡터화하는 시도를 하고자 합니다. 먼저 이미지를 읽어와 이미지에 대한 묘사를 해보는 코드를 작성했습니다. 그 결과가 잘 나오는 것 같습니다. 텍스트로만 이루어진 이미지는 텍스트를 정리하게 하였습니다. 이미지와 사진은 그것에 대한 설명을 하도록 하였습니다. llm model은 OpenAI의 gpt-4o를 사용했습니다. Dep..

RAG를 구현하고 챗봇을 만드는 과정을 다시 한 번 소개합니다. 1. 벡터 DB 만들기  1) 문서 로딩 : 필요한 문서를 불러들입니다.   2) 문서 분할 : 문서를 적절하게 분할합니다.     2-1) CharacterTextSplitter : 글자수로 분할     2-2) RecursiveCharacterTextSplitter : 문맥을 통한 분할     2-3) MarkdownHeaderTextSplitter : 마크다운의 제목이나 소제목으로 분류   3) 임베딩 : 문서 자료를 숫자로 변환합니다. 이것을 벡터화라고 말할 수 있습니다.     - 저는 OpenAIEmbedding의 "text-embedding-3-small", "text-embedding-3-large" 모델로 임베딩하였습니다. ..

RAG을 이용하여 Chatbot을 구현했습니다. 제가 진행했던 과정을 나열하겠습니다. 1. pdf 파일 : 낙상관련한 논문/글 9편 - data 폴더에 저장 2. file loading : pdf 파일을 loading 합니다. 3. text split : loading된 pdf 파일을 적당한 크기로 분리합니다. 4. DB 생성 : Vector DB를 생성합니다.   - Vector DB는 텍스트를 1차원의 배열로 만들어 그것을 DB로 만드는 과정입니다. 5. DB 저장 : 생성된 Vector DB를 로컬컴퓨터에 저장했습니다. ---------------------------------------------------------- 6. 디스크에서 DB를 불러옵니다. 7. 검색기(Retriever)를 생성합..

랭체인을 이용해 코드를 실행할 때 임베딩을 하는데 비용이 많이 들어갑니다. 법과 관련된 900여 쪽의 pdf 파일을 임베딩 작업을 하고 RAG를 이용하여 gpt와 문답을 하고자 합니다. 그래서 임베딩을 한 다음 그것을 vector db로 만들어 로컬에 보관하였습니다. 임베딩하는데 비용이 들어갑니다. 이 vector db를 불러와 gpt에게 질문을 하면 임베딩할 때 들어가는 비용이 별로 들어가지 않습니다. 질문에 대한 임베딩과 랭체인 모델을 사용하는 비용만 지불하면 됩니다. 두 가지 코드를 나눴습니다. 1. 벡터 DB 만들어 로컬에 보관하기 import osfrom dotenv import load_dotenvfrom dotenv import dotenv_valuesfrom langchain_communi..

12월 14일. 강화도에 다녀왔습니다. 아내 생일이라 아주 짧은 여행이었습니다. 점심 먹고 차 마시고... 그리고 여의도 집회에 참석하기 위해 돌아왔습니다. 울산에서 온 큰 딸은 아침부터 여의도로 갔습니다. 강화도에서 와서 오후 4시경 집을 나섰습니다. 안내문자에 5호선과 9호선 열차가 여의도에 정상 운행한다고 합니다. 6호선 열차로 공덕역, 그리고 5호선 열차로 갈아타 여의도역에서 내렸습니다. 내릴 때 "여의도 역에 사람이 많아 매우 혼잡합니다. 그리고 날이 많이 춥습니다. 힘내시고 꼭 승리하는 하루가 되시길 바랍니다."라는 안내 방송이 나왔습니다. 많은 사람들이 "예" 하고 답을 합니다. 이 역에서 처음 내려봤습니다. 지하철 역사내는 엄청난 사람 때문에 꼼짝할 수 없을 정도였습니다. 3번출구로 나가면..

지난 주말에 오대산에 다녀왔습니다. 새벽 다섯 시에 서울을 출발하여 상원사에 8시 45분 쯤 도착했습니다. 월정사에서 상원사로 가는 길은 8킬로미터 정도 되는 아주 멋진 길입니다. 자동차가 갈 수 있는 길이 있고, 사람들만 다니는 선재길이 있습니다. 오대산에서 발원한 오대천을 따라 선재길을 걸으면 무념무상에 이르는 것 같습니다. 작년 친구들 넷이서 상원사에서 월정사까지 선재길을 걸었습니다. 상원사 주차장에 차를 주차하고 적멸보궁까지 다녀왔습니다. 부처님의 진신 사리를 모신다는 적멸보궁은 국내에 다섯 곳이 있습니다. 양산 통도사, 설악산 봉정암, 오대산 상원사, 사자산 법흥사, 태백산 정암사 입니다. 적멸보궁까지 가는 길에 중대 사자암이 있습니다. 적멸보궁까지 계단이 많아 어려움이 있지만 부처님을 뵈러 가..