로컬 LLM 시리즈 ②기업용 구성2026년 10월 기준

기업 로컬 LLM,
어떤 구성으로 만들면 좋을까요?

장비를 정했다면 다음은 “무엇을 어떻게 돌릴까”입니다. 기업에서 로컬 LLM(사내 기기에서 직접 돌리는 대형 언어 모델)을 쓸 때 Qwen · Kimi · MiniMax 같은 공개 모델을 용도별로 어떻게 나누는지, OpenClaw 같은 로컬 에이전트는 어디에 쓰는지, ChatGPT API를 그대로 대체하는 OpenAI 호환 API는 어떻게 붙이는지 정리했습니다. 로컬 LLM 시리즈 2편(구성)이며, 1편은 장비 고르기, 3편은 구축 절차와 비용입니다.

개인정보
100% 사내
데이터가 기기 밖으로 안 나감
API
OpenAI 호환
ChatGPT API 그대로 대체
비용
구독 0원
API 키 · 월 요금 없음
연결 도구
Cursor · Continue
VS Code · 로컬 에이전트
핵심 요약

기업 로컬 LLM 구성의 기본형은 “Mac Studio 한 대 + 로컬 서버 프로그램(LM Studio · Ollama) + 용도별 공개 모델 2~3개 + OpenAI 호환 API”입니다. 서버가 OpenAI와 같은 형식의 API를 열어 주기 때문에 ChatGPT API를 쓰던 사내 도구, VS Code의 Cursor · Continue 확장, 로컬 에이전트를 주소만 바꿔 그대로 연결합니다.

모델은 한 개로 다 하려 하지 말고 용도별로 나눕니다. 코딩은 Qwen3-Coder 계열, 긴 문서 · 에이전트 작업은 Kimi K2 · MiniMax M2.5 같은 대형 MoE, 빠른 일상 질의는 중형 Qwen3가 맞습니다. 구독료와 API 키가 필요 없고, 데이터는 100% 사내에 머뭅니다.

💡 직접 구축이 부담스럽다면 → 코레이즈 Local AI — 기업 로컬 LLM 구축·구독 서비스 — 월 75만원부터, 설치·운영·SSO 보안 연동 포함, 2주 유료 POC로 먼저 검증
기본 구성
기업 로컬 LLM 구성도: 직원 도구 → OpenAI 호환 API → Mac Studio 로컬 LLM 서버(Qwen·Kimi·MiniMax), 100% 오프라인
기업 로컬 LLM 구성도 — 데이터는 사내망 밖으로 나가지 않습니다.

기업 로컬 LLM은 어떤 구성으로 만드나요?

기업 로컬 LLM은 사내 장비 한 대(또는 몇 대)에 공개 모델을 올리고, 그 장비가 사내망에 API를 열어 직원들의 도구가 접속하는 구조입니다. 외부 AI 서비스와 달리 질문과 문서가 회사 밖으로 나가지 않고, 사용자당 월 요금이 없습니다. 구성 요소는 장비 · 서버 프로그램 · 모델 · 연결 도구 네 가지입니다.
외부 AI 서비스 데이터가 밖으로
직원 PC인터넷
사내 문서외부 서버
비용월 과금
사내 로컬 LLM 데이터는 사내에
직원 PC사내망
사내 문서Mac Studio
비용장비 1회

01장비

Mac Studio M5 Max(개인 · 소규모) 또는 M5 Ultra(팀 공용). 고르는 기준은 시리즈 1편을 참고하세요.

02서버 프로그램

LM Studio 또는 Ollama. 모델을 내려받아 실행하고, OpenAI 호환 API를 사내망에 열어 줍니다.

03모델

용도별로 2~3개를 두고 바꿔 씁니다. 코딩 · 문서 · 에이전트 작업에 맞는 공개 모델을 고릅니다.

04연결 도구

VS Code의 Cursor · Continue, 사내 챗 화면(Open WebUI 등), OpenClaw 같은 로컬 에이전트가 API에 접속합니다.

용도별 모델
용도별 공개 LLM 비교: Qwen 범용·코딩, Kimi 긴 문서·추론, MiniMax 에이전트, OpenClaw 로컬 AI 에이전트
용도별로 모델을 고르면 됩니다 — 범용은 Qwen, 긴 문서는 Kimi, 자동화는 MiniMax·OpenClaw.

Qwen · Kimi · MiniMax, 어떤 용도에 어떤 모델을 쓰나요?

2026년 10월 기준 공개(오픈 웨이트) 모델 중 기업에서 많이 쓰는 계열입니다. 메모리 수치는 4비트 전후 양자화 기준 대략치이며, 실제 파일 크기는 모델 카드에서 확인합니다.

모델 계열잘 맞는 용도특징필요 메모리(대략)
Qwen3 (8B · 32B)일상 질의 · 문서 요약 · 번역한국어 · 영어 모두 무난, 빠른 응답16~48GB
Qwen3-Coder-Next (80B MoE, 활성 3B)코딩 보조 · 코드 리뷰 · Cursor · Continue 연결활성 매개변수가 작아 빠르고, 코딩에 특화64~96GB
Qwen3.5 (122B MoE, 활성 10B)범용 사내 비서 · RAG중형 메모리로 고품질 범용 응답96~128GB
MiniMax M2.5 (229B MoE, 활성 10B)에이전트 작업 · 긴 작업 흐름활성 10B로 대형 모델 품질을 빠르게192~256GB
Kimi K2 (1T MoE, 활성 32B)장문 분석 · 복잡한 추론 · 에이전트컨텍스트 131K, 최상위 공개 모델급512GB (2~3비트 양자화)

코딩팀

Qwen3-Coder-Next를 기본으로, 복잡한 설계 검토가 필요할 때만 MiniMax M2.5나 Kimi K2로 바꿉니다.

기획 · 영업 · 관리

Qwen3.5 122B를 사내 비서로 두고, 사내 문서를 RAG로 연결해 규정 · 계약 · 제품 정보를 묻습니다.

연구 · 분석

Kimi K2나 MiniMax M2.5로 장문 보고서 분석과 다단계 에이전트 작업을 맡깁니다. M5 Ultra 256GB 이상이 필요합니다.

모델은 몇 달 단위로 새 버전이 나옵니다. 위 표는 2026년 10월 기준이며, 구성 시점에 최신 버전과 라이선스(상업적 사용 가능 여부)를 다시 확인합니다.
로컬 에이전트

OpenClaw 같은 로컬 AI 에이전트는 어디에 쓰나요?

OpenClaw는 오픈소스로 공개된 로컬 AI 에이전트 실행기입니다. 사용자 기기에서 돌면서 Ollama 등으로 연결한 로컬 모델(또는 외부 모델)에 지시를 보내고, 그 결과로 파일을 만들고 스크립트를 실행하고 설정을 바꾸는 식의 실제 작업을 합니다. Slack · Telegram 같은 메신저로 지시를 받는 방식이라 채팅창이 곧 업무 창구가 됩니다. 2025년 11월 공개 후 2026년 들어 GitHub에서 가장 빠르게 성장한 로컬 에이전트 프로젝트 중 하나입니다.
도구역할기업에서 쓰는 예
OpenClaw메신저로 지시받아 기기에서 작업을 실행하는 에이전트반복 보고서 생성, 로그 정리, 파일 변환 자동화
Cursor · Continue (VS Code)편집기 안에서 코드 생성 · 수정 · 설명개발팀 코딩 보조, 코드 리뷰 초안
Open WebUI 등 챗 화면브라우저로 쓰는 사내 ChatGPT 대체 화면전 직원 질의응답, 사내 문서 RAG
n8n · 사내 스크립트API를 호출해 업무 흐름에 LLM 끼워 넣기문의 메일 분류, 견적 초안 생성
에이전트는 기기에서 실제로 명령을 실행합니다. 실행 권한을 가진 계정을 분리하고, 접근할 수 있는 폴더와 명령을 제한한 뒤 사내에 도입합니다. 외부 메신저로 지시를 받는 구성이라면 메신저 계정 보안도 함께 봅니다.
OpenAI 호환 API

ChatGPT API를 그대로 대체하는 OpenAI 호환 API는 어떻게 쓰나요?

LM Studio와 Ollama는 OpenAI의 API와 같은 주소 형식과 요청 형식으로 로컬 서버를 엽니다. 그래서 ChatGPT API를 쓰던 프로그램은 코드를 고치지 않고 서버 주소(base URL)만 사내 Mac Studio로 바꾸면 그대로 동작합니다. API 키는 형식상 아무 값이나 넣으면 됩니다.
서버 프로그램기본 API 주소비고
LM Studiohttp://<Mac Studio IP>:1234/v1그래픽 화면에서 모델 선택 · 서버 켜기
Ollamahttp://<Mac Studio IP>:11434/v1명령줄 기반, 자동 시작 · 스크립트에 적합

01Continue (VS Code)

설정 파일에 provider를 openai, apiBase를 위 주소, apiKey를 아무 값으로 넣습니다. Ollama는 provider ollama · apiBase http://IP:11434으로도 됩니다.

02Cursor

Settings → Models에서 Base URL에 위 주소, API Key에 아무 값, 모델명을 정확히 입력하고 Verify합니다. 사내망 주소 접근이 막히면 터널 설정이 필요할 수 있습니다.

03사내 프로그램 · 스크립트

OpenAI SDK의 base_url만 바꿉니다. 기존 ChatGPT API 호출 코드를 그대로 재사용합니다.

개인정보 · 오프라인

로컬 LLM은 정말 100% 개인정보 보호와 오프라인이 되나요?

모델 파일을 한 번 내려받은 뒤에는 인터넷 없이 동작합니다. 질문, 첨부 문서, 코드가 모두 사내 장비에서 처리되고 밖으로 나가지 않습니다.

✓로컬 LLM에서 보장되는 것

  • 질문 · 문서 · 코드가 기기 밖으로 전송되지 않음
  • 구독 계정, API 키, 사용량 과금 없음
  • 인터넷이 끊겨도 동작(망분리 환경 가능)
  • 외부 서비스 약관 변경 · 학습 데이터 활용 걱정 없음
  • 개인정보 · 영업비밀 · 임상 데이터도 내부에서 처리

!회사가 직접 챙겨야 하는 것

  • 사내망 안에서 누가 접속하는지 통제(방화벽 · 접근 제어)
  • 에이전트의 실행 권한 · 접근 폴더 제한
  • 모델 · 프로그램 업데이트와 백업
  • 모델 라이선스의 상업적 사용 조건 확인

외부로 나가지 않는 대신, 보안과 운영 책임은 회사 안에 생깁니다. 코레이즈가 네트워크 · 접근 통제 구성을 함께 봅니다.

MDM + DLP 조합으로 통제할 수 있습니다. 로컬 LLM은 데이터가 밖으로 나가지 않지만, 직원이 모델에 넣은 문서와 생성한 결과물은 직원 PC에 남습니다. MDM(Jamf · Intune)으로 Mac Studio와 직원 기기를 등록해 암호화 · 앱 설치 · 원격 잠금을 관리하고, DLP(Netwrix Endpoint Protector, FortiDLP)로 USB · 메신저 · 웹 업로드 · 클라우드 동기화를 통제하면, 사내 AI에서 만든 자료가 밖으로 새는 경로까지 막을 수 있습니다. 전 직원 ChatGPT 대체 구성에서는 이 조합을 함께 권합니다.

MDM이 맡는 것

기기 등록 · 디스크 암호화 · 암호 정책 · 원격 잠금 · 삭제, 허용 앱 배포, OS 업데이트 강제. MDM 설계 · 구축

DLP가 맡는 것

USB · 외장 디스크 · 메신저 · 웹 업로드 · 클라우드 동기화 차단과 로그, 민감 정보 패턴 탐지. Netwrix DLP · FortiDLP

네트워크가 맡는 것

LLM API를 사내망에만 열고, 외부 근무자는 VPN · ZTNA로 접속. FortiGate 정책으로 통제합니다.

구성 전 확인

기업 로컬 LLM 구성 전에 확인할 6가지

01주 용도

코딩 보조인지, 사내 문서 질의응답인지, 자동화 에이전트인지에 따라 모델과 연결 도구가 달라집니다.

02동시 사용자 수

몇 명이 같은 시간에 쓰는지에 따라 장비 메모리와 대역폭, 모델 크기를 정합니다.

03연결할 기존 도구

ChatGPT API를 쓰던 사내 프로그램, VS Code 확장, 챗봇이 있으면 주소만 바꿔 재사용할 수 있는지 확인합니다.

04사내 문서 연결(RAG)

규정 · 계약 · 제품 자료를 모델에 연결하려면 문서 저장 위치와 접근 권한을 정리합니다.

05모델 라이선스

공개 모델이라도 상업적 사용 조건이 다릅니다. 도입 전 각 모델의 라이선스를 확인합니다.

06네트워크 · 접근 통제

API를 사내망에만 열고, 방화벽과 계정으로 접속을 통제합니다. 외부 접속이 필요하면 VPN · ZTNA를 씁니다.

코레이즈가 하는 일

기업 로컬 LLM 구성, 코레이즈는 무엇을 도와드리나요?

Apple
공인 리셀러 · ABP
Fortinet
네트워크 · 보안 파트너
2,800+
2013년부터 함께해 온 고객사

장비 구성 · 공급

용도와 인원에 맞는 Mac Studio 구성을 잡고 기업 특별가로 공급합니다.

사내망 · 접근 통제

API를 사내망에만 열고 방화벽 · VPN · ZTNA로 접속을 통제하는 구성을 네트워크팀이 설계합니다.

초기 설정 안내

서버 프로그램 설치, 모델 선택, VS Code · 챗 화면 연결까지 초기 구성을 안내합니다.

기존 도구 연결

ChatGPT API를 쓰던 사내 프로그램을 로컬 API로 바꾸는 방법을 함께 확인합니다.

MDM + DLP 보안 통제

MDM으로 장비를 관리하고 DLP로 데이터 반출을 통제하는 조합을 함께 구성합니다. AppleCare+ 보증과 장애 대응도 설계합니다.

구축 절차 · 비용

실제 구축 순서와 구독 서비스 대비 비용 비교는 시리즈 3편에서 이어집니다.

구성 절차

기업 로컬 LLM 구성 절차 5단계

STEP 1

용도 · 인원 정리

어느 팀이 무엇에 쓰는지, 동시 사용자 수를 정합니다.

STEP 2

모델 선정

용도별로 공개 모델 2~3개를 고르고 라이선스를 확인합니다.

STEP 3

장비 · 네트워크

Mac Studio 구성과 사내망 접근 통제를 설계합니다.

STEP 4

API 연결

서버를 열고 VS Code · 챗 화면 · 사내 프로그램을 연결합니다.

STEP 5

시범 운영

한 팀에서 먼저 써 보고 모델과 권한을 조정한 뒤 넓힙니다.

FAQ

기업 로컬 LLM 구성 자주 묻는 질문

기업 로컬 LLM은 어떤 구성으로 만드나요?
Mac Studio 같은 사내 장비에 LM Studio나 Ollama를 설치해 공개 모델을 올리고, OpenAI 호환 API를 사내망에 열어 VS Code 확장 · 챗 화면 · 사내 프로그램이 접속하게 합니다. 모델은 코딩 · 문서 · 에이전트 등 용도별로 2~3개를 둡니다.
Qwen, Kimi, MiniMax 중 어떤 모델을 써야 하나요?
코딩은 Qwen3-Coder-Next, 범용 사내 비서는 Qwen3.5 122B, 에이전트와 긴 작업 흐름은 MiniMax M2.5, 장문 분석과 복잡한 추론은 Kimi K2가 맞습니다. 메모리는 각각 64~96GB, 96~128GB, 192~256GB, 512GB 정도가 필요합니다.
OpenClaw는 무엇이고 기업에서 어떻게 쓰나요?
OpenClaw는 사용자 기기에서 도는 오픈소스 로컬 AI 에이전트로, Slack · Telegram 같은 메신저로 지시를 받아 로컬 모델과 함께 파일 생성 · 스크립트 실행 같은 실제 작업을 합니다. 기업에서는 반복 보고서 생성이나 파일 변환 자동화에 쓰되, 실행 권한과 접근 폴더를 제한한 뒤 도입합니다.
ChatGPT API를 쓰던 프로그램을 그대로 쓸 수 있나요?
네. LM Studio와 Ollama가 OpenAI 호환 API를 열어 주므로, 프로그램의 서버 주소(base URL)만 사내 Mac Studio 주소로 바꾸면 코드 수정 없이 동작합니다. API 키는 형식상 아무 값이나 넣습니다.
Cursor나 Continue에 로컬 모델을 연결하려면 어떻게 하나요?
Continue는 설정 파일에 provider와 apiBase(LM Studio는 http://IP:1234/v1, Ollama는 http://IP:11434)를 넣고, Cursor는 Settings → Models에서 Base URL과 모델명을 입력한 뒤 Verify합니다. Cursor는 사내망 주소 접근이 막히면 터널 설정이 필요할 수 있습니다.
로컬 LLM은 정말 데이터가 밖으로 안 나가나요?
네. 모델 파일을 내려받은 뒤에는 인터넷 없이 동작하며 질문 · 문서 · 코드가 모두 사내 장비에서 처리됩니다. 다만 사내망 접근 통제, 에이전트 권한 제한, 모델 라이선스 확인은 회사가 직접 챙겨야 합니다.
월 구독료나 API 키가 정말 필요 없나요?
네. 공개 모델과 LM Studio · Ollama는 무료이며, 사용자당 월 요금이나 API 사용량 과금이 없습니다. 비용은 장비 구매와 전기료, 운영 인력뿐입니다. 자세한 비용 비교는 시리즈 3편에서 다룹니다.
여러 모델을 동시에 돌릴 수 있나요?
메모리가 허용하는 범위에서 가능합니다. 보통은 용도별 모델을 메모리에 올려 두고 요청에 따라 바꿔 쓰며, 동시에 올리려면 두 모델 크기의 합보다 메모리가 커야 합니다.
사내 문서를 모델에 연결(RAG)할 수 있나요?
네. Open WebUI 같은 챗 화면이나 별도 RAG 도구로 사내 문서를 색인해 두면, 모델이 규정 · 계약 · 제품 자료를 근거로 답합니다. 문서 저장 위치와 접근 권한을 먼저 정리합니다.
로컬 LLM을 쓰면 보안 통제는 어떻게 하나요?
MDM + DLP 조합으로 통제합니다. MDM(Jamf · Intune)으로 Mac Studio와 직원 기기를 등록해 암호화 · 앱 설치 · 원격 잠금을 관리하고, DLP(Netwrix Endpoint Protector, FortiDLP)로 USB · 메신저 · 웹 업로드 같은 반출 경로를 막습니다. 여기에 FortiGate로 API를 사내망에만 열면 데이터 유입 · 처리 · 반출 경로가 모두 통제됩니다.
공개 모델을 회사에서 써도 되나요?
모델마다 라이선스가 다릅니다. 상업적 사용을 허용하는 모델이 많지만 조건이 있는 경우도 있어, 도입 전 각 모델의 라이선스를 확인합니다.
코레이즈는 어떤 회사인가요?
코레이즈는 Apple 공인 리셀러이자 포티넷 네트워크 · 보안 파트너로, 로컬 LLM용 장비 공급과 사내망 · 접근 통제 구성, 초기 설정 안내를 함께 지원합니다. 문의는 02-1833-5805, sot@coraise.co.kr로 받습니다.

우리 회사 로컬 LLM 구성, 용도와 인원만 알려 주세요

어느 팀이 무엇에 쓸지, 몇 명이 쓸지 알려 주시면 모델 · 장비 · 사내망 구성과 견적을 안내해 드립니다.

Leave a Reply

Share