『김경영 이야기』 6화 · 잘 쓰는 것만으로 충분한가
기업 AI 사용 규칙이 없으면
직원은 어디서 멈춰야 할지 알 수 없습니다
금요일 오후, 박 과장이 사색이 되어 대표실 문을 두드렸습니다.
박 과장 “대표님, 큰일 날 뻔했습니다. 신입이 급하다고 구동부 도면 파일을 외부 AI 서비스에 통째로 올려서 공정 질문을 하려던 걸 제가 막았어요.”
파일은 실제로 외부로 전송되기 전에 멈췄습니다. 사고가 발생한 것은 아니었습니다. 하지만 김경영 대표에게는 충분히 큰 사건이었습니다. 지금까지 대한정밀은 AI의 성능과 업무 성과를 확인했습니다. 이번에는 AI에 어떤 정보가 들어가려 했는지를 봐야 했습니다.
AI가 얼마나 잘 답하는가보다 먼저,
그 질문에 어떤 정보가 들어가고 있는가?
개인의 실수에서 조직의 기준으로
김경영 대표는
책임의 방향부터 바꿨습니다
이런 일이 생기면 가장 먼저 직원 개인의 부주의를 떠올리기 쉽습니다. 하지만 김경영 대표가 먼저 본 것은 회사에 사용 규칙이 없었다는 사실이었습니다.
“규칙이 없었으니
신입 잘못이 아니라 내 잘못이야.”
문제는 누가 실수했느냐에서 끝나지 않았습니다. 조직이 어디까지 허용하고 어디에서 멈춰야 하는지를 먼저 정했는가의 문제로 바뀌었습니다. 직원 개인의 주의력만으로 안전을 기대하기보다 회사가 공통으로 따를 수 있는 경계를 만들어야 했습니다.
개인에게 향하는 질문
“누가 이런 실수를 했지?”
조직에 향하는 질문
“회사는 무엇을 정하지 않았지?”
AI의 위험은 오작동만으로 생기지 않았습니다
이번 문제는 AI가 틀린 답을 내서 발생한 것이 아니었습니다. AI는 아직 답을 내기도 전이었습니다. 김경영 대표가 확인해야 했던 것은 AI에 무엇을 입력하려 했는가였습니다.
보호해야 할 업무정보
도면 · 공정 · 거래처 정보
보호해야 할 개인정보
고객 · 직원 개인정보
이런 정보는 AI가 얼마나 정확하고 편리한가와는 별개의 문제입니다. 무엇을 외부 AI에 입력해도 되는지는 직원마다 자기 방식으로 판단할 일이 아니라, 기업 AI 사용 규칙을 통해 조직이 먼저 정해야 했습니다.
좋은 답을 얻기 위해 무엇이든 입력해도 되는 것은 아닙니다.
주말에 만든 A4 한 장
전 직원이 알아야 할
기업 AI 사용 규칙은 다섯 줄이었습니다
김경영 대표는 그 주말을 반납했습니다. 거대한 보안정책부터 만든 것이 아니라, 월요일 아침 직원들이 바로 이해하고 행동할 수 있는 기준부터 정리했습니다.
- 도면·공정·거래처 정보는 어떤 외부 AI에도 올리지 않는다.
- 고객·직원 개인정보도 같다.
- 사람을 평가하는 판단에 AI 결론을 그대로 쓰지 않는다.
- 대외 발송물은 반드시 사람이 최종 확인한다.
- 애매하면 올리기 전에 묻는다.
Human Oversight 사람의 판단과 최종 확인
이번 사례에서 Human Oversight는 단순히 마지막에 사람이 서명하는 것만을 뜻하지 않습니다. 사람을 평가할 때 AI 결론을 그대로 사용하지 않고, 외부로 나가는 결과를 사람이 확인하도록 운영 경계를 정한 모습을 보여줍니다.
월요일 조회에서 김경영 대표는 전 직원에게 규칙을 배포했습니다. 신입 직원은 보안 서약서에 서명하며 머쓱하게 웃었습니다.
“제가 회사 규정 1호의 주인공이 됐네요.”
대한정밀은 규칙을 한 번 배포하는 것으로 끝내지 않고 반기마다 다시 점검하기로 했습니다.
“거창한 위원회 대신 다섯 줄과 반기 점검.
이게 우리 규모의 리스크 관리다.”
규칙에서 관리체계로
규칙을 만들었다는 주장보다
다시 점검한 기록이 Evidence가 됐습니다
대한정밀은 다섯 줄짜리 규칙을 한 번 배포하고 끝내지 않았습니다. 반기마다 다시 점검하고, 그 실행을 기록으로 남기기 시작했습니다.
ISO/IEC 42001 AI 경영시스템
대한정밀은 당시 구축 중이던 ISO/IEC 42001의 위험평가 절차를 참고해 회사 규모와 업무에 맞는 AI 사용 규칙과 점검 방식을 정리했습니다.
주의: ISO/IEC 42001이 대한정밀의 다섯 줄을 공식 규칙으로 요구한다는 뜻은 아닙니다. 다섯 줄은 대한정밀이라는 가상기업이 자신의 업무환경에 맞게 만든 내부 운영 규칙입니다.
점검관이 본 것은 규칙 한 장만이 아니었습니다
몇 달 뒤 방산 협력사 보안 점검에서 점검관은 대한정밀의 다섯 줄짜리 AI 사용 규칙과 점검 기록을 확인했습니다. 중요한 것은 규칙을 작성했다는 사실만이 아니었습니다. 한 번 배포하고 끝내지 않고 다시 점검한 기록이 함께 남아 있었습니다.
“사고 난 뒤의 대응은 비용이지만,
사고 나기 전의 대비는 경쟁력입니다.”
이번 화의 AI 경영 포인트
직원이 실수하지 않기를 바라기 전에
조직의 경계부터 정해야 합니다
기업 AI 사용 규칙은 직원을 감시하거나 AI 활용을 막기 위한 금지 목록만은 아닙니다. 어떤 정보가 보호 대상인지, 어떤 판단과 결과를 사람이 확인해야 하는지 조직이 함께 알도록 만드는 운영 기준입니다.
대한정밀은 외부 AI 업로드 시도를 실제 전송 전에 막았습니다. 김경영 대표는 신입 직원 개인을 탓하는 데서 멈추지 않고, 회사가 사용의 경계를 정하지 않았다는 책임을 받아들였습니다. 그리고 한 장짜리 규칙을 전 직원에게 공유하고 반기마다 점검하는 방식으로 대응했습니다.
리스크 관리의 첫 산출물은 보고서가 아니라
전 직원이 아는 한 장짜리 AI 사용 규칙입니다.
AI 거버넌스
어디까지 사용할 수 있고, 어느 지점에서 멈추고 확인해야 하는지를 조직의 기준으로 정합니다.
Human Oversight
사람 평가에 AI 결론을 그대로 사용하지 않고, 대외 발송물을 사람이 최종 확인합니다.
ISO/IEC 42001
대한정밀은 구축 중이던 위험평가 절차를 참고해 내부 규칙과 점검 방식을 정리했습니다.
여러분 회사의 직원은 어디까지 알고 있습니까?
도면·공정·거래처 정보의 외부 AI 입력 기준이 있습니까?
고객과 직원의 개인정보를 어떻게 다루도록 안내하고 있습니까?
AI가 작성한 대외 발송물을 사람이 최종 확인하고 있습니까?
애매한 상황에서 올리기 전에 확인하도록 안내하고 있습니까?
규칙을 배포한 뒤 실제 준수 여부를 다시 점검하고 있습니까?
규칙을 실행하고 점검했다는 기록이 남아 있습니까?
규칙이 있다고 답하기 전에 확인해보세요.
직원도 그 규칙을 알고 있습니까?
※ 『김경영 이야기』에 등장하는 대한정밀과 김경영, 오 부장, 박 과장 등은 실제 기업과 인물이 아닌 가상 시나리오의 설정입니다. 본문의 도면 파일 업로드 시도는 실제 외부 전송 전에 중단된 가상 사건이며, 「대한정밀 AI 사용 규칙」 다섯 줄과 반기 점검 방식 역시 해당 가상기업의 내부 운영 설정입니다. 실제 기업의 AI 사용 규칙, 정보보호, 개인정보·기밀정보 관리와 ISO/IEC 42001 적용은 각 조직의 업무환경과 관련 법령·계약·최신 공식 기준을 별도로 확인해야 합니다.
중소기업
AI 교육,
우리 회사는 무엇부터 시작해야 할까요?
단순한 도구 사용법보다 우리 조직의 업무와 역할에 맞는 AI 활용 역량과 운영 기준을 설계하는 것이 먼저입니다.
AI 교육의 시작은 도구가 아니라
우리 조직의 업무와 활용 기준입니다.
AI 기초와 리터러시부터 ChatGPT 실무, 생성형 AI 활용, AI 에이전트와 업무 자동화, 부서별 업무혁신, 관리자 교육, 책임 있는 AI 운영 기준까지 기업의 업무 환경과 구성원 수준에 맞춰 설계합니다.
생성형 AI의 원리와 가능성, 한계와 책임 있는 활용 원칙을 이해합니다.
문서 작성, 조사, 기획, 분석과 반복 업무에 생성형 AI를 적용합니다.
여러 단계의 업무를 수행하는 AI 에이전트와 업무 자동화 구조를 이해합니다.
실제 업무 흐름을 분석하고 부서별 AI 활용 기회와 개선 방향을 구체화합니다.
보안, 검토, 책임, 승인과 Human Oversight 기준을 함께 설계합니다.
모든 기업에 동일한 AI 교육을 적용할 수는 없습니다. 현재 업무, 구성원의 AI 활용 수준, 에이전트 도입 가능성, 보안 요구와 기대 성과를 먼저 확인해야 합니다.
기업의 교육 목적, 업무 환경과 AI 활용 수준을 확인한 후 적합한 교육 방향을 안내해 드립니다.