OpenAI 썸네일형 리스트형 로컬 RAG 에서 Exaone 32B 모델을 돌리려니.. (중간) 쿨러가 아주 그냥.. 내 M3 Max MBP 가 열기를 내뿜는다. 이런 열기는 인텔시절 이후 오랜만이군..ㅎㅎ 해서 7.8b 로 Ollama에 얹혀서 임베딩과 답변을 진행해봤다. langchain4j: provider: ollama #openai open-ai: embedding-model: api-key: "" model-name: "text-embedding-3-small" chat-model: api-key: "" model-name: "gpt-4o-2024-11-20" log-requests: true log-responses: true .. 더보기 로컬 RAG 에서 요금제 추천 결과. 요금제 Spec 데이터를 임베딩 해두고, 이제 유저에게 어떻게 요금제를 추천하지?를 고민하다가.. 처음에는 고객의 데이터 사용 패턴을 입력받고, 임베딩된 요금제 데이터에서 필터링한 정보와 함께 한번에 큰~~~프롬프트를 구성해 결과를 도출하는 방식으로 접근했다. 기본적인 뼈대는 정말 잘 작동했는데.... 하지만 결과적으로 이 방식은 생각보다 훨씬 까다로웠다. 특정 요금제에 맞춘 프롬프트를 정교하게 작성하면 그에 맞는 사용 패턴 입력에는 정확한 결과가 나왔지만, 사용 패턴이 조금만 달라져도 갑자기 전혀 관련 없는 요금제를 추천하는 문제가 발생했다. 또한, 프롬프트 내에 시간, 분, 초와 같은 단위들이 많이 포함되다 보니 어느 순간부터는 AI가 이러한 시간 단위들을 제대로 구분하지 못하는 현상도 나타났다... 더보기 이전 1 다음
