파일럿(토이플젝)으로 AI 챗봇과 요금제 추천을 진행해보고 있다.
여튼 기존에는 spring-ai, langchain4j 에 모델은 openai 또는 그냥 spring-ai + openai 로 진행하면서 RAG를 만들어 가고 있었는데, 역시 보안(회사 자체의...)을 생각하니 엑사온쪽이 좀 더 좋겠다는 생각이 들었다.
(딥시크처럼 언어 문제도 없을테고!!!! - 한글로 답변을 요구했더니 한자가 섞여서 나와..oTL)
여튼 그런 결정과는 별개로 심심풀이 질/답이나 돌려볼까 해서 로컬에 32b 버전을 설치해서 돌려보니 생각보다 준수한 속도와 답변이 나왔다.
이정도면 파일럿이나 토이플젝에서 차고 넘치니까 그냥 이거로 초이스다!
늘 그렇듯 첫 질문은 내가 좋아하는 작가에 대해 짧은 답변을 요구해보았다. 딥시크(deepseek) 32b는 거짓말 좀 많이~~~ 보태서 라면 끓여서 먹을 정도로 늦더랬다.ㅎㅎ
( 근데 GPT4o 가 좋아.... 그냥 돈 많이 있고, 큰 보안 이슈 없으면 GPT4o 쓰자...응?!ㅎㅎ)
GPT 4o
Exaone3.5:32b
