기업 로컬 LLM,
어떤 구성으로 만들면 좋을까요?
장비를 정했다면 다음은 “무엇을 어떻게 돌릴까”입니다. 기업에서 로컬 LLM(사내 기기에서 직접 돌리는 대형 언어 모델)을 쓸 때 Qwen · Kimi · MiniMax 같은 공개 모델을 용도별로 어떻게 나누는지, OpenClaw 같은 로컬 에이전트는 어디에 쓰는지, ChatGPT API를 그대로 대체하는 OpenAI 호환 API는 어떻게 붙이는지 정리했습니다. 로컬 LLM 시리즈 2편(구성)이며, 1편은 장비 고르기, 3편은 구축 절차와 비용입니다.
기업 로컬 LLM 구성의 기본형은 “Mac Studio 한 대 + 로컬 서버 프로그램(LM Studio · Ollama) + 용도별 공개 모델 2~3개 + OpenAI 호환 API”입니다. 서버가 OpenAI와 같은 형식의 API를 열어 주기 때문에 ChatGPT API를 쓰던 사내 도구, VS Code의 Cursor · Continue 확장, 로컬 에이전트를 주소만 바꿔 그대로 연결합니다.
모델은 한 개로 다 하려 하지 말고 용도별로 나눕니다. 코딩은 Qwen3-Coder 계열, 긴 문서 · 에이전트 작업은 Kimi K2 · MiniMax M2.5 같은 대형 MoE, 빠른 일상 질의는 중형 Qwen3가 맞습니다. 구독료와 API 키가 필요 없고, 데이터는 100% 사내에 머뭅니다.

기업 로컬 LLM은 어떤 구성으로 만드나요?
01장비
Mac Studio M5 Max(개인 · 소규모) 또는 M5 Ultra(팀 공용). 고르는 기준은 시리즈 1편을 참고하세요.
02서버 프로그램
LM Studio 또는 Ollama. 모델을 내려받아 실행하고, OpenAI 호환 API를 사내망에 열어 줍니다.
03모델
용도별로 2~3개를 두고 바꿔 씁니다. 코딩 · 문서 · 에이전트 작업에 맞는 공개 모델을 고릅니다.
04연결 도구
VS Code의 Cursor · Continue, 사내 챗 화면(Open WebUI 등), OpenClaw 같은 로컬 에이전트가 API에 접속합니다.

Qwen · Kimi · MiniMax, 어떤 용도에 어떤 모델을 쓰나요?
2026년 10월 기준 공개(오픈 웨이트) 모델 중 기업에서 많이 쓰는 계열입니다. 메모리 수치는 4비트 전후 양자화 기준 대략치이며, 실제 파일 크기는 모델 카드에서 확인합니다.
| 모델 계열 | 잘 맞는 용도 | 특징 | 필요 메모리(대략) |
|---|---|---|---|
| Qwen3 (8B · 32B) | 일상 질의 · 문서 요약 · 번역 | 한국어 · 영어 모두 무난, 빠른 응답 | 16~48GB |
| Qwen3-Coder-Next (80B MoE, 활성 3B) | 코딩 보조 · 코드 리뷰 · Cursor · Continue 연결 | 활성 매개변수가 작아 빠르고, 코딩에 특화 | 64~96GB |
| Qwen3.5 (122B MoE, 활성 10B) | 범용 사내 비서 · RAG | 중형 메모리로 고품질 범용 응답 | 96~128GB |
| MiniMax M2.5 (229B MoE, 활성 10B) | 에이전트 작업 · 긴 작업 흐름 | 활성 10B로 대형 모델 품질을 빠르게 | 192~256GB |
| Kimi K2 (1T MoE, 활성 32B) | 장문 분석 · 복잡한 추론 · 에이전트 | 컨텍스트 131K, 최상위 공개 모델급 | 512GB (2~3비트 양자화) |
코딩팀
Qwen3-Coder-Next를 기본으로, 복잡한 설계 검토가 필요할 때만 MiniMax M2.5나 Kimi K2로 바꿉니다.
기획 · 영업 · 관리
Qwen3.5 122B를 사내 비서로 두고, 사내 문서를 RAG로 연결해 규정 · 계약 · 제품 정보를 묻습니다.
연구 · 분석
Kimi K2나 MiniMax M2.5로 장문 보고서 분석과 다단계 에이전트 작업을 맡깁니다. M5 Ultra 256GB 이상이 필요합니다.
OpenClaw 같은 로컬 AI 에이전트는 어디에 쓰나요?
| 도구 | 역할 | 기업에서 쓰는 예 |
|---|---|---|
| OpenClaw | 메신저로 지시받아 기기에서 작업을 실행하는 에이전트 | 반복 보고서 생성, 로그 정리, 파일 변환 자동화 |
| Cursor · Continue (VS Code) | 편집기 안에서 코드 생성 · 수정 · 설명 | 개발팀 코딩 보조, 코드 리뷰 초안 |
| Open WebUI 등 챗 화면 | 브라우저로 쓰는 사내 ChatGPT 대체 화면 | 전 직원 질의응답, 사내 문서 RAG |
| n8n · 사내 스크립트 | API를 호출해 업무 흐름에 LLM 끼워 넣기 | 문의 메일 분류, 견적 초안 생성 |
ChatGPT API를 그대로 대체하는 OpenAI 호환 API는 어떻게 쓰나요?
| 서버 프로그램 | 기본 API 주소 | 비고 |
|---|---|---|
| LM Studio | http://<Mac Studio IP>:1234/v1 | 그래픽 화면에서 모델 선택 · 서버 켜기 |
| Ollama | http://<Mac Studio IP>:11434/v1 | 명령줄 기반, 자동 시작 · 스크립트에 적합 |
01Continue (VS Code)
설정 파일에 provider를 openai, apiBase를 위 주소, apiKey를 아무 값으로 넣습니다. Ollama는 provider ollama · apiBase http://IP:11434으로도 됩니다.
02Cursor
Settings → Models에서 Base URL에 위 주소, API Key에 아무 값, 모델명을 정확히 입력하고 Verify합니다. 사내망 주소 접근이 막히면 터널 설정이 필요할 수 있습니다.
03사내 프로그램 · 스크립트
OpenAI SDK의 base_url만 바꿉니다. 기존 ChatGPT API 호출 코드를 그대로 재사용합니다.
로컬 LLM은 정말 100% 개인정보 보호와 오프라인이 되나요?
모델 파일을 한 번 내려받은 뒤에는 인터넷 없이 동작합니다. 질문, 첨부 문서, 코드가 모두 사내 장비에서 처리되고 밖으로 나가지 않습니다.
✓로컬 LLM에서 보장되는 것
- 질문 · 문서 · 코드가 기기 밖으로 전송되지 않음
- 구독 계정, API 키, 사용량 과금 없음
- 인터넷이 끊겨도 동작(망분리 환경 가능)
- 외부 서비스 약관 변경 · 학습 데이터 활용 걱정 없음
- 개인정보 · 영업비밀 · 임상 데이터도 내부에서 처리
!회사가 직접 챙겨야 하는 것
- 사내망 안에서 누가 접속하는지 통제(방화벽 · 접근 제어)
- 에이전트의 실행 권한 · 접근 폴더 제한
- 모델 · 프로그램 업데이트와 백업
- 모델 라이선스의 상업적 사용 조건 확인
외부로 나가지 않는 대신, 보안과 운영 책임은 회사 안에 생깁니다. 코레이즈가 네트워크 · 접근 통제 구성을 함께 봅니다.
MDM이 맡는 것
기기 등록 · 디스크 암호화 · 암호 정책 · 원격 잠금 · 삭제, 허용 앱 배포, OS 업데이트 강제. MDM 설계 · 구축
DLP가 맡는 것
USB · 외장 디스크 · 메신저 · 웹 업로드 · 클라우드 동기화 차단과 로그, 민감 정보 패턴 탐지. Netwrix DLP · FortiDLP
네트워크가 맡는 것
LLM API를 사내망에만 열고, 외부 근무자는 VPN · ZTNA로 접속. FortiGate 정책으로 통제합니다.
기업 로컬 LLM 구성 전에 확인할 6가지
01주 용도
코딩 보조인지, 사내 문서 질의응답인지, 자동화 에이전트인지에 따라 모델과 연결 도구가 달라집니다.
02동시 사용자 수
몇 명이 같은 시간에 쓰는지에 따라 장비 메모리와 대역폭, 모델 크기를 정합니다.
03연결할 기존 도구
ChatGPT API를 쓰던 사내 프로그램, VS Code 확장, 챗봇이 있으면 주소만 바꿔 재사용할 수 있는지 확인합니다.
04사내 문서 연결(RAG)
규정 · 계약 · 제품 자료를 모델에 연결하려면 문서 저장 위치와 접근 권한을 정리합니다.
05모델 라이선스
공개 모델이라도 상업적 사용 조건이 다릅니다. 도입 전 각 모델의 라이선스를 확인합니다.
06네트워크 · 접근 통제
API를 사내망에만 열고, 방화벽과 계정으로 접속을 통제합니다. 외부 접속이 필요하면 VPN · ZTNA를 씁니다.
기업 로컬 LLM 구성, 코레이즈는 무엇을 도와드리나요?
장비 구성 · 공급
용도와 인원에 맞는 Mac Studio 구성을 잡고 기업 특별가로 공급합니다.
사내망 · 접근 통제
API를 사내망에만 열고 방화벽 · VPN · ZTNA로 접속을 통제하는 구성을 네트워크팀이 설계합니다.
초기 설정 안내
서버 프로그램 설치, 모델 선택, VS Code · 챗 화면 연결까지 초기 구성을 안내합니다.
기존 도구 연결
ChatGPT API를 쓰던 사내 프로그램을 로컬 API로 바꾸는 방법을 함께 확인합니다.
MDM + DLP 보안 통제
MDM으로 장비를 관리하고 DLP로 데이터 반출을 통제하는 조합을 함께 구성합니다. AppleCare+ 보증과 장애 대응도 설계합니다.
구축 절차 · 비용
실제 구축 순서와 구독 서비스 대비 비용 비교는 시리즈 3편에서 이어집니다.
기업 로컬 LLM 구성 절차 5단계
용도 · 인원 정리
어느 팀이 무엇에 쓰는지, 동시 사용자 수를 정합니다.
모델 선정
용도별로 공개 모델 2~3개를 고르고 라이선스를 확인합니다.
장비 · 네트워크
Mac Studio 구성과 사내망 접근 통제를 설계합니다.
API 연결
서버를 열고 VS Code · 챗 화면 · 사내 프로그램을 연결합니다.
시범 운영
한 팀에서 먼저 써 보고 모델과 권한을 조정한 뒤 넓힙니다.
기업 로컬 LLM 구성 자주 묻는 질문
기업 로컬 LLM은 어떤 구성으로 만드나요?
Qwen, Kimi, MiniMax 중 어떤 모델을 써야 하나요?
OpenClaw는 무엇이고 기업에서 어떻게 쓰나요?
ChatGPT API를 쓰던 프로그램을 그대로 쓸 수 있나요?
Cursor나 Continue에 로컬 모델을 연결하려면 어떻게 하나요?
로컬 LLM은 정말 데이터가 밖으로 안 나가나요?
월 구독료나 API 키가 정말 필요 없나요?
여러 모델을 동시에 돌릴 수 있나요?
사내 문서를 모델에 연결(RAG)할 수 있나요?
로컬 LLM을 쓰면 보안 통제는 어떻게 하나요?
공개 모델을 회사에서 써도 되나요?
코레이즈는 어떤 회사인가요?
우리 회사 로컬 LLM 구성, 용도와 인원만 알려 주세요
어느 팀이 무엇에 쓸지, 몇 명이 쓸지 알려 주시면 모델 · 장비 · 사내망 구성과 견적을 안내해 드립니다.
모델명 · 크기 · 메모리 수치는 2026년 10월 기준 각 개발사 공개 자료와 커뮤니티 자료를 정리한 대략치이며, 모델과 도구는 수시로 바뀝니다. OpenClaw, LM Studio, Ollama, Cursor, Continue, Open WebUI, Qwen, Kimi, MiniMax, ChatGPT, OpenAI는 각 개발사 · 제공사의 상표입니다. 코레이즈는 이들 소프트웨어의 개발사가 아니며, 장비 공급과 네트워크 · 초기 구성을 지원합니다.
코레이즈 Apple 사업부