본문 바로가기

Programming!

LLM Local Server - with LMStudio

질의 

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer lm-studio" \
  -d '{
    "model": "qwen/qwen3-vl-8b",
    "messages": [
      {"role": "system", "content": "시스템 메시지"},
      {"role": "user", "content": "유저 메시지"}
    ],
    "temperature": 0.7
  }'
  
  
결과
{
  "id": "chatcmpl-xgs1sdc6gk6fd2icr9pzp",
  "object": "chat.completion",
  "created": 1761402851,
  "model": "qwen/qwen3-vl-8b",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "결과 내용",
        "tool_calls": []
      },
      "logprobs": null,
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 27,
    "completion_tokens": 8,
    "total_tokens": 35
  },
  "stats": {},
  "system_fingerprint": "qwen/qwen3-vl-8b"
}

 야휴, 고글, 볼륨버그, 우씨킹 등의 뉴스를 수집하고, 커뮤니티의 나스닥 기업 멘션과 랭킹 정보를 보여주는 사이트의 데이터를 모은 뒤, 이를 번역해 보여주는 아내느님 전용 주식 정보 앱을 만들고 있다.


 그런데 번역을 위해 구글 제미나이 API를 사용하다 보니, 생각보다 비용 압박이 심하더라..


음… 로컬 LLM을 사용하면 되지 않을까 싶어서 찾아보니, LM Studio에서 로컬로 API를 돌릴 수 있네? 오호.
당분간은 맥 미니를 집 서버로 사용해야겠군. ㅎㅎ