이미지 찾아 질문하기

사진 이미지가 4장 있습니다.
먼저 이 이미지를 개/고양이를 구분하도록 하였습니다.
두 번째 이미지를 '개'로 오판하였습니다.

 

이미지를 텍스트처럼 임베딩을 합니다.
이미지 네 장에서 query에 해당하는 이미지를 찾으라고 했습니다.

(query가 코드에 있는 것이랑 그림에 있는 것이랑 다르지만 결과는 같습니다.)

 

query = "Look at the animals in front of the table"
best_match, prob_match, argmax_seq = image_search_01(image_list, query)

 

 

 

 

찾아온 이미지에 대한 질문을 합니다.

멀티모달을 통한 답변입니다.

 

 

질문 : "Please describe what is on the table."
답변 : "On the table, there appears to be a white plate with a colorful salad, possibly containing greens, yellow pieces, and some darker items. There's also a fork nearby on the table. In the background, a glass and a container can be seen, as well as a hand resting on the chair. Additionally, a white cat is sitting in a chair with its head visible, peeking out from behind the seat."