exaone 썸네일형 리스트형 로컬 RAG 에서 Exaone 32B 모델을 돌리려니.. (중간) 쿨러가 아주 그냥.. 내 M3 Max MBP 가 열기를 내뿜는다. 이런 열기는 인텔시절 이후 오랜만이군..ㅎㅎ 해서 7.8b 로 Ollama에 얹혀서 임베딩과 답변을 진행해봤다. langchain4j: provider: ollama #openai open-ai: embedding-model: api-key: "" model-name: "text-embedding-3-small" chat-model: api-key: "" model-name: "gpt-4o-2024-11-20" log-requests: true log-responses: true .. 더보기 이제 슬슬 로컬 RAG 의 모델을 Exaone3.5 로 변경해보려고 한다. 딥시크가 나온날 로컬에 이것저것 구축해서 완료한 상태이기는 한데...우선 처음 단계라 생각하고, 흐름을 적어 본다. ----이것 저것 구찮아서. 내 로컬환경과 함께 로컬 LLM 툴중에 무엇이 좋을지 AI 에게 물어 보았다. 클로드의 답변은 아래와 같다. ( GPT 도 동일 ) M3 Max를 위한 추천 Ollama를 추천합니다. 그 이유는:- Apple Silicon(M3 Max)에 최적화된 네이티브 지원- 설치와 실행이 간단함 (brew install ollama 또는 DMG 파일로 설치)- 모델 관리가 직관적 (ollama pull mistral 같은 명령어로 간단히 모델 다운로드)- 개발자 API 통합이 간단함- M3 Max의 성능을 효율적으로 활용 가능- 별도의 복잡한 환경 설정 없이도 강력한 성능.. 더보기 AI 라는 타이틀을 얹혀서(이렇게 해야...콜록) 챗봇과 요금제 추천을 진행 파일럿(토이플젝)으로 AI 챗봇과 요금제 추천을 진행해보고 있다. 여튼 기존에는 spring-ai, langchain4j 에 모델은 openai 또는 그냥 spring-ai + openai 로 진행하면서 RAG를 만들어 가고 있었는데, 역시 보안(회사 자체의...)을 생각하니 엑사온쪽이 좀 더 좋겠다는 생각이 들었다. (딥시크처럼 언어 문제도 없을테고!!!! - 한글로 답변을 요구했더니 한자가 섞여서 나와..oTL) 여튼 그런 결정과는 별개로 심심풀이 질/답이나 돌려볼까 해서 로컬에 32b 버전을 설치해서 돌려보니 생각보다 준수한 속도와 답변이 나왔다. 이정도면 파일럿이나 토이플젝에서 차고 넘치니까 그냥 이거로 초이스다! 늘 그렇듯 첫 질문은 내가 좋아하는 작가에 대해 짧은 답변을 요구해보았다. 딥시크(.. 더보기 이전 1 다음
