AI 운영 리스크 · ISO/IEC 42001 심사 해설
사내 문서를 연결한 챗봇이나 AI Agent가 다른 직원의 개인정보를 답변에 섞어 내보냈다면, ISO/IEC 42001 심사는 “AI가 왜 틀렸는가”보다 “이 답변이 나가기까지 어떤 통제가 있었고, 발견 이후 무엇이 기록되었는가”를 확인합니다.
이 글은 학습용 가상 사례 하나를 따라가며, 심사원이 누구에게 무엇을 묻고 어떤 증거를 보며 어떻게 판단하고 보고서에 쓰는지 순서대로 정리했습니다.
사내 규정 챗봇이 다른 직원의 휴직 정보를 보여 주었습니다
- A사는 사내 규정과 인사 안내 문서를 검색해 답하는 업무용 챗봇을 도입했습니다.
- 한 직원이 “육아휴직 복귀 절차”를 물었는데, 답변에 다른 직원의 휴직 기간과 소속 부서가 함께 표시되었습니다.
- 직원은 답변 화면을 캡처해 팀 메신저에 공유했고, IT 담당자는 며칠이 지나서야 이 사실을 알게 되었습니다.
조사해 보니 인사팀 개인 문서 일부가 규정 문서와 함께 챗봇 검색 대상에 올라가 있었고, 원래 문서의 열람 권한은 챗봇 검색에 반영되지 않았습니다.
이 사례는 학습을 위해 구성한 가상 상황이며, 특정 기업이나 실제 사건과 관련이 없습니다.
이 장면에서 심사원이 보는 것은 AI 모델의 성능이 아니라, 승인·감독·기록·개선이 이어져 있었는지입니다.
사고 원인
사고는 기술 오류보다 통제가 이어지지 않은 지점에서 시작됩니다
생성형 AI는 틀린 답을 낼 수 있습니다. 그래서 운영에서 중요한 것은 오류를 없앴다는 주장보다, 오류와 노출을 누가 발견하고, 누가 멈추고, 그 과정이 기록으로 남는지입니다. 사내 챗봇·AI Agent의 개인정보 사고는 주로 아래 세 지점에서 시작됩니다.
ACCESS CONTROL
문서 권한이 챗봇까지 이어지지 않음
원본 문서에는 열람 권한이 있어도, 검색용으로 옮겨진 뒤에는 그 권한이 적용되지 않을 수 있습니다.
가상 사례: 인사 개인 문서가 검색 대상에 포함되었고, 열람 권한은 반영되지 않았습니다.
HUMAN REVIEW GAP
검토와 모니터링의 공백
“사람이 검토한다”는 원칙만 있고, 무엇을 언제 누가 보는지 정해지지 않으면 사용자가 먼저 문제를 발견합니다.
가상 사례: 직원이 먼저 발견해 메신저로 공유했고, IT 담당자는 며칠 뒤 알았습니다.
PROMPT INJECTION
조작된 질문에 대한 대응 경로
지시를 우회하도록 만든 질문이 들어왔을 때, 탐지·보고·중단 결정이 누구에게 이어지는지 정해져 있어야 합니다.
가상 사례에서 조작 시도는 없었지만, 같은 경로로 의도적인 정보 추출이 시도될 수 있습니다.
세 원인은 서로 달라 보이지만, 심사에서는 같은 질문으로 모입니다. “누가 승인했고, 누가 지켜보았고, 발견 후 무엇이 기록되고 개선되었는가.” 다음 절에서 이 질문을 실제 심사 순서로 풀어 봅니다.
심사 해설
심사원은 누구에게 무엇을 묻고, 어떻게 판단하는가
ISO/IEC 42001 심사는 정책 문서를 읽는 데서 끝나지 않습니다. 인터뷰로 운영 방식을 듣고, 기록으로 확인하고, 조직이 정한 기준과 표준 요구사항에 비추어 판단합니다. 앞의 가상 사례를 이 순서로 따라가 보겠습니다.
누구에게, 어떤 질문을 하는가
AI 운영 책임자 · 챗봇을 소유한 부서
- 이 챗봇에 연결할 문서의 범위는 누가, 어떤 기준으로 승인했습니까?승인 기준과 승인 기록이 실제로 있는지 확인하려는 질문입니다.
- 위험한 답변이 나간 것을 알았을 때, 서비스 중단이나 수정을 결정하는 사람은 누구입니까?이름이 아니라 권한과 절차가 정해져 있는지 봅니다.
- AI 답변이 업무 결정에 쓰였을 때, 검토와 승인 흐름을 설명해 주실 수 있습니까?
IT · 정보보호 담당자
- 사용자의 문서 열람 권한은 챗봇 검색 범위에 어떻게 반영됩니까?이 사례의 직접 원인과 연결되는 질문입니다.
- 조작된 질문이나 비정상적인 출력은 어떻게 탐지되고, 누구에게 보고됩니까?
- 질문·답변과 데이터 접근 기록은 어디에, 얼마 동안 남습니까?
현업 사용자 · 개인정보 담당자
- 이상한 답변을 발견하면 누구에게, 어떤 방법으로 알립니까?절차를 아는지와 실제로 그렇게 했는지를 함께 확인합니다.
- 이번 건은 발견부터 조치까지 무엇이 기록되었습니까?
- 재발 방지를 위해 무엇을 바꾸었고, 그 효과는 어떻게 확인했습니까?
어떤 증거를 확인하는가
승인 · 권한
- 문서 연결 범위 승인 기록
- 권한 설정·변경 이력
- 승인 권한 매트릭스
운영 · 모니터링
- 출력 검토 기준과 기록
- 마스킹·필터 설정과 로그
- 모니터링 및 이벤트 기록
사고 · 개선
- 사고 접수·보고 기록
- 원인 분석 결과
- 시정조치와 효과 확인 기록
심사원은 한 가지 자료만 보지 않습니다. 인터뷰 진술, 문서에 적힌 절차, 실제 시스템 기록이 서로 맞는지 대조합니다. 세 가지가 어긋나는 곳이 확인할 지점입니다.
어떻게 판단하는가 — 학습용 판단 예시
사고가 한 번 일어났다는 사실만으로 판단이 정해지지는 않습니다. 조직이 정한 요구사항이 무엇이었고, 실제 운영과 기록이 그것을 따랐는지가 판단의 기준입니다.
적합으로 볼 수 있는 경우
문서 연결 승인과 권한 반영 기준이 기록되어 있고, 이번 건이 정해진 절차에 따라 보고·원인 분석·시정조치까지 이어졌으며, 그 효과를 확인한 기록이 있습니다.
관찰사항(개선 기회)을 검토할 경우
절차와 기록은 있으나 보고가 메신저로만 이루어지는 등 일부가 비공식적으로 운영되고, 모니터링 주기가 정해지지 않아 앞으로 문제가 될 가능성이 보입니다.
부적합을 검토할 경우
“개인정보가 포함된 문서는 권한 검토 후 연결한다”는 절차가 있었지만 검토 없이 연결되었거나, 사고 이후 원인 분석과 시정조치 기록이 없습니다.
실제 판단은 심사 범위, 조직이 정한 기준, 증거의 충분성에 따라 달라집니다. ‘관찰사항’ 등의 등급 명칭과 운영 방식은 인증기관마다 다를 수 있습니다.
보고서에는 어떻게 쓰는가 — PLCE 예시
부적합 보고서는 사람을 탓하는 문장이 아니라, 기준과 증거 사이의 차이를 사실로 쓰는 문장입니다. 국제AI교육원 과정에서는 이를 PLCE 네 요소로 연습합니다.
- Place위치
- 업무용 사내 규정 챗봇 운영 — IT운영팀, 문서 연결 승인 절차
- Legal Requirement기준
- 조직의 「AI 시스템 운영 절차」(가상) “개인정보가 포함된 문서는 접근 권한 검토 후 검색 대상에 연결한다”, ISO/IEC 42001 8.1 운영 계획 및 관리
- Check확인한 증거
- 검색 대상 문서 목록 20건 중 인사 문서 3건에 권한 검토 기록이 없음. 담당자는 인터뷰에서 문서를 일괄 업로드했다고 진술함.
- Explanation설명
- 절차에서 요구한 권한 검토가 수행되지 않아, 열람 권한이 없는 사용자에게 개인정보가 포함된 답변이 제공될 수 있는 상태임.
위 수치와 절차명은 학습용 가상 예시입니다.
표준 연결
이 사례는 ISO/IEC 42001의 어느 요구사항과 연결되는가
앞에서 본 질문과 증거는 ISO/IEC 42001의 본문 요구사항과 부속서 A 관리 목표·통제에 연결됩니다. 아래는 이 사례를 학습할 때 함께 보면 좋은 연결 예시입니다.
조항 번호는 학습을 위한 연결 예시입니다. 실제 심사에서는 표준 원문, 조직의 적용 범위와 적용성 보고서(SoA)를 함께 확인합니다. 접근통제의 세부 관리는 ISO/IEC 27001·27701 관리체계와 함께 보는 경우가 많습니다.
법적 의무는 별도로 확인해야 합니다. 개인정보 유출이 확인되면 개인정보 보호법 등 관련 법령에 따른 통지·신고 의무를 따로 검토해야 합니다. ISO/IEC 42001 인증이나 내부 절차가 법령 준수를 대신하지 않습니다.
무료 강의자료 · 15쪽
AI 거버넌스와 글로벌 규제 동향
국제AI교육원 ISO/IEC 42001 과정의 강의자료를 공개합니다. 이메일 입력 없이 바로 열어 볼 수 있습니다.
- AI 윤리·법적 규제·거버넌스의 관계
- EU AI Act의 위험 기반 규율과 적용 일정
- 미국·EU·한국의 AI 규제 접근 비교
- ISO/IEC 42001을 활용한 조직의 실무 과제
ISO/IEC 42001 AI 심사 교육, 교재로 먼저 확인해 보세요
국제AI교육원 42001 과정에서 쓰는 교재 세 가지를 조금씩 발췌했습니다. 이메일 입력 없이 바로 내려받을 수 있습니다.
- AI 심사 인터뷰 프레임워크인터뷰 구조, PLCE 보고서 공식, Q1 전체
- 실제 사례집식품안전정보원 사례 전체
- 실전 판단 워크북UiPath 사례의 판정과 보고서 예시
자주 묻는 질문
사내 챗봇·AI Agent 개인정보 사고와 ISO/IEC 42001 심사, 자주 묻는 질문
Q. AI가 가끔 틀린 답을 하는 건 기술적 한계 아닌가요? 그래도 심사에서 문제가 되나요?
ISO/IEC 42001 심사는 AI가 오류 없이 작동하는지를 평가하지 않습니다. 오류가 생길 수 있다는 전제에서 조직이 그 위험을 식별했는지, 답변을 검토하거나 멈추는 장치를 정했는지, 그 장치가 실제로 운영된 기록이 있는지를 확인합니다.
Q. 조작된 질문(프롬프트 인젝션)은 보안팀 소관 아닌가요?
기술적인 탐지와 차단은 정보보호 영역에서 다루는 경우가 많습니다. ISO/IEC 42001 심사에서는 이와 함께, 시도가 발견되었을 때 누구에게 보고되고 누가 서비스 중단이나 수정 여부를 결정하며, 그 결과가 기록과 개선으로 이어지는지를 확인합니다.
Q. AI Agent가 잘못 판단하면 책임은 개발사에 있나요, 사용하는 회사에 있나요?
법적 책임은 계약 내용과 적용 법령에 따라 달라지므로 일률적으로 말하기 어렵습니다. ISO/IEC 42001 심사에서는 AI를 사용하는 조직이 공급자와의 책임 분담을 정했는지, AI Agent에게 허용한 권한의 범위를 정했는지, 사람이 개입하거나 중단할 수 있는 절차가 있는지를 확인합니다.
Q. 개인정보 노출 사고가 한 번 발생하면 곧바로 부적합인가요?
사고가 발생했다는 사실만으로 판단이 정해지지는 않습니다. 심사에서는 조직이 정한 절차와 요구사항이 지켜졌는지, 사고 이후 보고·원인 분석·시정조치가 이루어졌는지를 증거로 확인합니다. 개인정보 보호법 등 법령에 따른 통지·신고 의무는 별도로 검토해야 합니다.
Q. 기존 보안 점검과 ISO/IEC 42001 심사는 무엇이 다른가요?
보안 점검은 특정 시점의 취약점을 확인하는 데 초점을 두는 경우가 많습니다. ISO/IEC 42001 심사는 AI 위험을 식별하고, 운영 중에 감시하고, 문제를 기록하고 개선하는 관리체계가 계속 작동하는지를 확인합니다. 두 활동은 서로를 대신하지 않으며 함께 운영할 수 있습니다.
국제AI교육원 · 심사원 교육
질문과 증거로 판단하는 심사, 과정에서 연습하세요
사내 챗봇·AI Agent의 개인정보 사고는 AI 관리체계와 정보보안·개인정보보호가 함께 걸린 문제입니다. 누구에게 묻고 무엇을 확인해 어떻게 판단할지, 현재 경험에 맞는 과정에서 연습해 보세요.
정보보안·개인정보보호로 확장
ISO/IEC 27001·27701 통합심사 자격 확대 과정
정보보안과 개인정보보호를 함께 살피고, 각 표준의 기준과 증거를 구분하는 심사를 배웁니다.
자격 확대 과정 보기과정별 대상과 신청 요건, 교육 일정은 각 과정 상세 페이지에서 확인해 주세요.
심사 준비보다 사내 챗봇의 운영 기준부터 정해야 한다면, 중소기업 AI 도입 상담 문의로 회사 상황을 알려 주세요.