이 글의 목표 — 인터넷이 차단된 환경에서 AI를 쓸 수 있는 유일한 방법인 로컬 실행 AI(오픈소스 LLM)의 개념, 개인 PC에서 미리 체험하는 방법, 사내 도입 시 검토사항을 정리합니다.
중요 (반입 절차)
이 글은 기술 소개이며 폐쇄망 반입 허가가 아닙니다. 폐쇄망에 소프트웨어·모델 파일을 반입하는 것은 보안 규정에 따른 절차가 필요합니다. 실제 도입은 반드시 보안팀 협의를 거쳐 진행합니다.
클로드·ChatGPT 같은 서비스는 질문이 인터넷 너머의 서버로 전송되어 처리됩니다. 폐쇄망은 이 통신 자체가 차단되어 있으므로 쓸 수 없습니다. 방법은 하나뿐입니다 — AI 모델을 망 안의 컴퓨터에 직접 넣고 돌리는 것입니다.
공개(오픈소스)된 AI 모델 파일을 내려받아 내 컴퓨터에서 직접 실행하는 방식입니다. 실행 후에는 인터넷 없이 동작합니다.
도입 판단 전에, 인터넷 되는 개인 PC에서 로컬 AI가 어느 정도인지 직접 체험해 보는 것을 권합니다.
ollama.com 접속 → Windows용 다운로드 → 설치ollama run gemma3/bye모델명을 바꿔 여러 모델을 비교해 볼 수 있습니다. 모델 목록은 ollama.com 라이브러리에서 확인합니다.
TIP — 인터넷을 끊고 다시 질문해 보세요. 그대로 동작하는 것을 확인하는 것이 이 체험의 핵심입니다.
로컬 AI를 클로드 수준으로 기대하면 실망합니다. 차이를 알고 시작해야 합니다.
| 항목 | 클라우드 AI (클로드 등) | 로컬 AI (일반 PC 기준) |
|---|---|---|
| 답변 품질 | 높음 | 모델·장비에 따라 편차 큼 |
| 속도 | 빠름 | 장비에 따라 느릴 수 있음 |
| 데이터 위치 | 외부 서버로 전송 | 내 컴퓨터 안 |
| 비용 | 구독·종량제 | 장비 비용 (모델 자체는 무료가 많음) |
| 적합 작업 | 전 영역 | 요약, 초안, 분류, 간단한 질의응답 |
결론: 요약·초안 작성·분류 같은 정형 작업은 로컬 AI로도 충분히 실용적입니다. 고난도 분석·코딩은 클라우드와 격차가 있습니다.
연구소에서 검증 결과(모델별 한국어 품질, 장비별 속도)가 정리되면 이 게시물에 추가하겠습니다.
로컬 AI도 회사 문서를 넣으면 안 되나요?
폐쇄망 안에서 정식 도입된 로컬 AI라면 데이터가 외부로 나가지 않으므로 가능합니다. 단, 개인 PC에서 체험 중일 때는 회사 자료를 쓰지 마세요. 도입 전이므로 원칙은 동일합니다.
무료인가요?
Ollama와 많은 공개 모델은 무료입니다. 실질 비용은 장비(GPU)와 운영 인력입니다.
클로드를 폐쇄망에 설치할 수는 없나요?
일반적인 방법으로는 안 됩니다. 클로드는 클라우드 서비스입니다. 폐쇄망 대안은 공개 모델 기반 로컬 실행이 현실적입니다.
08_심화-폐쇄망_로컬AI.html
삭제하면 되돌릴 수 없고, 썸네일도 함께 지워집니다.