Human Oversight 담당자는 있었지만 개입 기록은 없었습니다

많은 조직이 AI 결과를 검토할 담당자를 지정합니다. 조직도에 이름이 있고, 업무분장표에도 “AI 결과 검토”라는 문구가 적혀 있습니다.

그런데 실제 사고가 발생했을 때, 그 담당자가 언제, 무엇을, 어떤 기준으로 검토했는지 설명할 수 있는 기록이 없는 경우가 있습니다.

가온 심사원은 담당자의 존재가 아니라 검토와 개입의 흔적을 확인합니다.

왜 이 사례가 중요할까요?

이 사례에서 조직은 AI 결과를 검토할 담당자를 지정하고 있었습니다. 검토 절차도 문서화되어 있었고, 업무분장표에도 명시되어 있었습니다.

하지만 핵심 질문은 따로 있었습니다. 그 담당자는 실제로 무엇을 검토했고, 언제 개입했습니까?

Human Oversight에서 중요한 것은 담당자가 존재하는지가 아닙니다. 사고 상황에서 그 담당자가 실제로 무엇을 확인했는지 설명할 수 있어야 합니다.

엘리베이터 점검 스티커를 떠올려 보세요

엘리베이터 안에는 보통 “월 1회 정기점검, 점검자 서명”이라고 적힌 스티커가 붙어 있습니다. 서명란에는 매달 도장이나 사인이 채워져 있고, 겉으로 보면 전혀 문제없어 보입니다.

그런데 만약 누군가 “지난달 점검에서 구체적으로 무엇을 확인했습니까?”라고 묻는다면 어떨까요. 점검자는 있고, 서명도 매달 있지만, 그 서명이 실제 점검 행위와 연결되어 있다는 근거는 따로 없을 수 있습니다.

Human Oversight도 똑같습니다. 담당자 지정과 확인 서명은 엘리베이터 스티커와 같은 “형식”입니다. 그 형식 뒤에 실제 점검 기록이 있는지가, 가온 심사원이 진짜로 궁금해하는 부분입니다.

실제 진단 결과는 무엇을 보여주었을까요?

이번 사례에서 C사는 고객 문의에 AI 챗봇을 활용하고 있었고, CS팀장을 “AI 결과 검토 담당자”로 공식 지정하고 있었습니다. 겉으로 보면 Human Oversight 체계가 갖춰진 것처럼 보입니다.

그러나 가온 심사원은 담당자 지정 여부만 보지 않습니다. 그 담당자가 실제로 어떤 답변을 언제 검토했는지, 반려하거나 수정한 사례가 있는지를 함께 확인합니다.

그렇다면 이런 형식적 승인 구조는 왜 Governance Risk로 이어질까요?

확인 서명은 Evidence가 아닙니다

확인 서명이 반복된다고 해서 검토가 실제로 이루어졌다고 볼 수는 없습니다. 서명은 결과이고, Evidence는 그 결과에 이르기까지의 과정입니다.

가온 심사원은 이 둘을 구분합니다. 담당자가 있다는 사실과, Human Oversight가 실제로 작동하고 있다는 사실은 서로 다른 질문에 대한 답입니다.

관련 사례

AI 운영 책임자는 있었지만 AI 중단 권한자는 없었습니다 →

담당자 지정과 실제 권한 작동의 차이를 다루는 또 다른 사례입니다.

심화 자료

가온의 Human Oversight 원칙과 Governance Controls →

Evidence Hierarchy와 Governance Visibility Level까지 다루는 프레임워크 백서입니다.