『김경영 이야기』 5화 · 선택한 뒤에도 경영은 계속됩니다
AI 운영 성과 측정은
96.2% 다음부터 시작됐습니다
96.2%. 대한정밀이 정한 POC 기준은 넘었습니다. 그러나 그 숫자 하나만으로 회사의 일이 실제로 좋아졌다고 말할 수는 없었습니다.
POC에서는 AI가 대한정밀의 실제 부품에서도 작동하는지 확인했습니다. 이제 김경영 대표가 살펴봐야 할 것은 실제 운영이었습니다. 검사가 빨라졌는지, 업무 부담은 줄었는지, 그리고 좋아진 결과가 계속 유지되는지를 같은 기준으로 측정하고 기록해야 했습니다.
“그래서 회사의 일은 실제로 좋아졌을까?”
화려한 대시보드보다 먼저 한 일
김경영 대표는 매달
세 개의 숫자를 기록했습니다
대한정밀은 거대한 성과관리 시스템부터 만들지 않았습니다. 화려한 대시보드도 없었습니다. 김경영 대표가 매달 엑셀 한 장에 기록한 것은 견적 처리 건수, 검사 건당 처리 시간, 야근 시간이었습니다.
견적 처리 건수
회사가 실제로 처리한 견적 업무의 흐름을 매달 같은 기준으로 확인했습니다.
검사 건당 처리 시간
검사 한 건을 처리하는 데 필요한 시간이 어떻게 달라지는지 기록했습니다.
야근 시간
새로운 방식이 현장의 업무 부담 변화로 이어지는지도 함께 살펴봤습니다.
세 개뿐이었지만 김경영 대표는 단 한 달도 거르지 않았습니다. AI를 도입한 뒤 “빨라진 것 같다”, “편해진 것 같다”는 인상만으로 다음 투자를 결정할 수는 없었기 때문입니다. 김경영 대표가 확인하려던 것은 단순했습니다.
실제로 달라졌는가?
달라졌다면 얼마나, 어떤 방향으로 달라졌는가?
중요한 점: 모든 회사가 이 세 지표를 그대로 사용해야 한다는 뜻은 아닙니다. 조직마다 업무와 목표가 다르므로 필요한 지표도 달라집니다. 중요한 것은 도입 전후와 운영 중의 변화를 같은 기준으로 비교할 수 있게 기록하는 것입니다.
기록이 Evidence가 되는 순간
여섯 달 뒤, 그 엑셀 한 장은
다음 투자의 근거가 됐습니다
처음에는 회사의 일이 실제로 달라졌는지 확인하기 위해 만든 내부 기록이었습니다. 그러나 여섯 달이 지나자 같은 표가 뜻밖의 자리에서 힘을 발휘했습니다.
시설투자 대출 심사장에서 은행 심사역은 대한정밀이 매달 기록한 표를 한참 들여다봤습니다. “AI를 도입했다”는 말과 도입 전후의 업무 변화를 같은 기준으로 기록해서 보여주는 것은 달랐습니다.
“요즘 AI 했다는 회사는 많은데, 전후 숫자를 이렇게 가져오는 회사는 드뭅니다.” — 시설투자 대출 심사장의 은행 심사역
EVIDENCE 01
시설투자 대출 심사
EVIDENCE 02
정부 지원사업 결과 보고
EVIDENCE 03
1차 협력사 재심사
내부에서는 AI를 계속 운영하고 확장할지를 판단하는 자료가 됐고, 외부에서는 회사가 무엇을 했고 무엇이 달라졌는지를 설명하는 근거가 됐습니다. 꾸준한 AI 운영 성과 측정이 경영의 판단과 외부의 신뢰를 연결한 것입니다.
두 번째 AI 투자의 예산은 그렇게 열렸습니다.
측정하지 않으면 개선할 수 없고,
기록하지 않으면 설득할 수 없다.
기록은 이상을 발견하는 장치가 됐습니다
한 번 좋아진 성능이
계속 유지되는 것은 아니었습니다
두 번째 AI 투자 예산까지 열렸지만 운영이 계속 순조롭기만 한 것은 아니었습니다. 도입 여덟 달째, 검사 AI의 검출률이 조금씩 떨어지기 시작했습니다.
신규 품번의 재질이 바뀌었지만 모델은 기존 기준으로 판정하고 있었습니다. 중요한 것은 검출률이 낮아졌다는 사실뿐 아니라, 대한정밀이 같은 기준으로 계속 기록하고 있었기 때문에 그 변화를 알아챘다는 점이었습니다.
박 과장 “고장인가요?”
김경영 대표가 떠올린 이 박사의 말 “고장이 아니라 노화래. 데이터가 낡으면 모델도 낡는다고.”
이 표현은 모든 AI 시스템에 적용되는 일반 법칙이 아닙니다. 대한정밀이라는 가상 사례에서는 신규 품번의 재질이 바뀌었지만 모델이 기존 기준으로 판정하면서 검출률 변화가 나타났습니다.
분기별 점검
분기마다 데이터 품질과 AI 결과의 변화를 확인합니다.
기준선 확인
운영 결과가 정해둔 기준선 아래로 내려가는지 살펴봅니다.
재학습 진행
기준선 아래로 떨어지면 재학습을 진행합니다.
대한정밀의 연간 일정표에는 새로운 항목이 생겼습니다.
AI 정기 정비
이번 화의 AI 경영 포인트
한 번의 AI 프로젝트를
조직의 운영 경험으로 남겼습니다
대한정밀의 기록은 성공을 증명할 때만 사용되지 않았습니다. 성과를 확인하고, 외부를 설득하고, 성능 저하를 발견하며 다음 적용을 준비하는 경영의 근거가 됐습니다.
김경영 대표는 AI를 도입했다는 사실보다 실제 업무가 어떻게 달라지는지를 계속 살펴봤습니다. 좋은 결과만 기록한 것이 아니라 기준에서 멀어지는 변화도 함께 확인했습니다. 이것이 AI 운영 성과 측정을 일회성 보고가 아닌 운영 활동으로 만든 차이였습니다.
같은 데이터, 옆 업무
첫 번째 경험은 다음 업무의 출발점이 됐습니다
대한정밀은 같은 검사 데이터를 사용하는 인접 업무인 출하검사 성적서 자동 작성으로 적용 범위를 넓혔습니다. 전혀 새로운 영역에서 다시 시작한 것이 아니라, 첫 번째 검증에서 남긴 데이터와 운영 경험을 활용했습니다. 원작에서 두 번째 도입은 첫 번째의 절반의 시간에 자리를 잡았습니다.
AI의 성과는 한 번의 좋은 결과가 아니라,
같은 기준으로 계속 측정하고 기록할 때 경영의 근거가 됩니다.
여러분 회사는 AI 도입 후 무엇을 기록하고 있습니까?
시간이 실제로 줄었는지 확인하고 있습니까?
사람의 업무 부담이 어떻게 달라졌는지 기록하고 있습니까?
결과의 품질을 같은 기준으로 계속 확인하고 있습니까?
성능 저하를 발견할 수 있는 기준선이 있습니까?
“이 AI가 지금도 잘하고 있다는 것을 우리는 무엇으로 알고 있습니까?”
※ 『김경영 이야기』에 등장하는 대한정밀과 김경영, 오 부장, 박 과장, 이 박사 등은 실제 기업과 인물이 아닌 가상 시나리오의 설정입니다. 본문의 검출률 96.2%, 운영 8개월 후의 성능 변화, 월별 운영지표, 외부 평가 장면과 인접 업무 확장 과정은 해당 가상 이야기의 설정이며 일반적인 산업 성과나 모든 AI 시스템의 운영 결과를 의미하지 않습니다. 실제 AI 운영 성과 측정과 모델·데이터 관리는 각 조직의 업무, 데이터, 품질 기준과 기술적 특성에 맞게 별도로 설계해야 합니다.
이야기에서 우리 조직의 실행으로
김경영 대표의 질문을
우리 회사의 업무 기준으로 바꿔보세요
대한정밀의 이야기는 가상 시나리오이지만, AI를 도입하는 조직이 정해야 할 질문은 현실의 문제입니다. AI에게 업무를 맡기기 전에 조직의 리더와 관리자는 역할과 권한, 정보의 경계, 검토와 승인 기준을 먼저 설계해야 합니다.
무엇을 AI에게 맡길 것인가?
무엇을 맡기지 않을 것인가?
어디에서 AI를 멈추게 할 것인가?
언제 다시 사람에게 물어보게 할 것인가?
AI 에이전트 도입 실무교육 · 조직 리더 과정
특정 도구의 메뉴보다 조직의 업무 위임, 권한, 비용, 정보보호, 검토·중단·승인 기준을 먼저 다루는 5인 이상 단체 맞춤교육입니다. Zoom 또는 조직 방문 대면교육으로 운영할 수 있습니다.
교육 모듈·시간·진행 방식과 컨설팅 범위는 조직의 업무환경과 AI 도입 단계에 따라 협의합니다.