『김경영 이야기』 3화 · 실제 부품으로 확인하다
“데모는 그쪽 데이터 말고,
우리 부품으로 해 주세요”
AI POC 검증은 화려한 시연 결과를 다시 확인하는 절차가 아닙니다. 조직의 실제 자료와 업무환경에서도 AI가 사용할 만한 결과를 내는지 작은 범위에서 확인하는 경영 과정입니다.
솔루션 업체의 데모 화면에서는 불량을 놓치지 않았습니다. 하지만 김경영 대표가 확인하고 싶은 것은 업체가 준비한 부품이 아니었습니다. 대한정밀이 현장에서 실제로 검사해야 하는 부품이었습니다.
이번 이야기의 중심 질문
AI가 작동하는 것과
우리 회사 업무에서 쓸 수 있는 것은 같은 말일까요?
화려한 데모에서는 불량을 놓치지 않았습니다.
문제는 그 부품이 대한정밀의 부품이 아니었다는 것입니다.
※ 대한정밀과 등장인물은 실제 기업과 인물이 아닌 교육을 위해 구성된 가상 시나리오입니다. 이미지 속 데모 수치는 업체가 제공한 시연용 데이터를 표현한 예시이며 실제 성과나 산업 통계가 아닙니다.
데모에서 실제 업무로
데모에서는 완벽했습니다
실제 부품에서는 달랐습니다
솔루션 업체가 준비한 시연 화면은 인상적이었습니다. 부품 이미지가 지나가면 시스템은 정상과 이상을 빠르게 구분하고, 결과도 깔끔하게 보여줬습니다.
하지만 대한정밀의 실제 가공품을 사용하자 결과는 달라졌습니다. 영업용 데모에서 완벽해 보였던 시스템도 현장 부품에서는 오검출을 보였습니다.
이 장면에서 중요한 것은 특정 업체나 시스템이 잘못됐다는 결론이 아닙니다. 데이터와 업무환경이 달라지면 AI의 결과도 달라질 수 있다는 사실을 대한정밀의 실제 업무에서 확인한 것입니다.
준비된 데이터
솔루션이 작동하는 방식을 설명하기 위해 업체가 준비한 데이터와 시연 조건에서 결과를 확인합니다.
실제 가공품과 검사조건
대한정밀이 실제로 검사해야 하는 부품과 현장의 조건에서 업무에 사용할 수 있는지를 다시 확인합니다.
실제 부품
회사가 현장에서 검사해야 하는 가공품인가?
사용 데이터
실제 업무에서 축적된 자료를 활용하는가?
검사 환경
현장의 검사 방식과 조건이 반영됐는가?
판정 방식
현장 전문가가 결과를 다시 확인할 수 있는가?
다른 결과가 나왔다고 곧바로 실패라고 결론 내리지는 않았습니다
김경영 대표는 특정 제품을 바로 구매하지도, 한 번의 차이만으로 가능성을 포기하지도 않았습니다.
먼저 검증 범위를 줄이고, 실제 자료를 정하고, 무엇이 나오면 다음 단계로 갈 것인지 판단할 조건이 필요했습니다.
그래서 대한정밀은 큰 계약보다 먼저 작은 범위의 AI POC 검증을 준비했습니다.
작은 범위에서 실제 가능성을 확인하다
제품보다 먼저,
결과를 판단할 조건을 정했습니다
김경영 대표는 화려한 데모만 보고 계약하지 않았습니다. 회사 전체에 바로 적용하지도 않았습니다. 먼저 검증할 범위를 줄였습니다.
무엇을 시험할지, 어떤 자료를 사용할지, 누가 최종적으로 판단할지, 어느 수준이면 다음 단계로 갈지를 정했습니다. 김경영 대표가 맡은 일은 알고리즘을 평가하는 것이 아니라 회사가 판단할 수 있는 검증 조건을 만드는 것이었습니다.
검증 대상
구동부 핀 3개 품번으로 범위를 제한했습니다.
사용 자료
최근 6개월 동안 축적한 검사자료를 사용했습니다.
검증 기간
6주 동안 작은 범위의 POC를 진행하기로 했습니다.
합격 기준
검출률 95% 이상, 오검출률 5% 이하로 정했습니다.
최종 판정자
대한정밀의 현장 기준을 아는 오 부장이 맡았습니다.
결정 시점
POC 결과를 확인하기 전에 조건과 기준을 정했습니다.
※ 구동부 핀 3개 품번, 최근 6개월 검사자료, 6주 POC, 검출률 95% 이상과 오검출률 5% 이하 등의 조건은 가상기업 대한정밀의 이야기 안에서 설정된 내부 검증 조건입니다. 일반 제조업 전체에 적용되는 권장 기준이나 산업 통계가 아닙니다.
김경영 대표가 정한 것은
기술의 답이 아니라 경영의 판단 조건이었습니다
성공 기준은 결과를 보기 전에 정해야 합니다. 기준을 바꿨다면 그 이유와 변경 사실도 함께 기록해야 합니다.
결과를 본 뒤 성공 기준을 바꾸고, 그것을 처음부터 정한 기준처럼 사용하면 검증이 아니라 사후 해석에 가까워집니다.
그런데 POC 4주 차
기준은 95%였습니다
결과는 91%에서 멈췄습니다
대한정밀이 정한 합격 기준에는 미치지 못했습니다. 이쯤 되면 성능이 부족하다고 결론 내리거나 다른 솔루션을 알아볼 수도 있습니다.
하지만 김경영 대표는 아직 결론을 내리지 않았습니다. 문제가 시스템에 있는지, 데이터에 있는지, 환경에 있는지, 아니면 아직 반영되지 않은 현장의 판단이 있는지 확인해야 했습니다.
AI가 못한 걸까요?
아니면 우리가 아직 AI에게 가르치지 않은 것이 남아 있었던 걸까요?
이번 화의 결론
AI를 믿거나 의심하기 전에
우리 업무에서 검증했습니다
대한정밀은 업체의 데모만으로 AI 도입 여부를 결정하지 않았습니다. 실제 부품과 검사자료를 사용하고, 범위를 줄여 작은 POC부터 시작했습니다.
또한 결과를 확인하기 전에 성공 기준과 최종 판정자를 정했습니다. 좋은 결과를 만들어내는 것이 목적이 아니라 투자와 업무 적용 여부를 판단할 근거를 만드는 것이 목적이었기 때문입니다.
그리고 4주 차 결과는 대한정밀이 정한 기준에 미치지 못했습니다. 김경영 대표는 곧바로 성공이나 실패를 선언하지 않았습니다. 무엇이 결과에 영향을 주었는지 다시 확인해야 했습니다.
AI POC 검증은 기술 시연이 아니라
다음 결정을 위한 경영 과정입니다
대한정밀은 우리 회사의 실제 자료를 사용하고, 작은 범위에서 시험했으며, 결과를 보기 전에 성공 기준을 정했습니다.
AI가 작동하는 것과 우리 회사의 업무에서 사용할 수 있는 것은 같은 말이 아닙니다. 업무 적용 여부는 실제 조건에서 확인한 근거를 바탕으로 판단해야 합니다.
실제 자료로 확인
업체가 준비한 데이터만이 아니라 회사의 실제 부품과 검사자료를 사용합니다.
작은 범위에서 시험
회사 전체에 적용하기 전에 대상과 기간을 제한해 업무 적합성을 확인합니다.
기준을 먼저 결정
결과를 보기 전에 성공 조건과 최종 판단 책임자를 정하고 기록합니다.
여러분 회사라면 무엇을 먼저 확인하시겠습니까?
- 업체가 준비한 데모가 아니라 우리 회사의 실제 자료에서도 같은 결과가 나옵니까?
- 회사 전체에 적용하기 전에 작은 범위에서 먼저 시험할 수 있습니까?
- 무엇이 나오면 이번 검증을 성공이라고 판단할지 미리 정했습니까?
- AI 공급업체가 아니라 우리 조직에서 최종 결과를 판단할 사람은 누구입니까?
- 검증 도중 기준을 변경했다면 변경 이유와 사실을 기록하고 있습니까?
김경영 대표가 이번 화에서 내린 선택
AI의 가능성을 믿기 전에,
대한정밀의 실제 부품으로 확인하기로 했습니다.
※ 『김경영 이야기』에 등장하는 대한정밀과 김경영, 오 부장, 박 과장 등은 실제 기업과 인물이 아닌 가상 시나리오의 설정입니다. 구동부 핀 3개 품번, 최근 6개월 검사자료, 6주 POC, 검출률 95% 이상, 오검출률 5% 이하와 4주 차 검출률 91%는 대한정밀의 이야기 안에서 설정된 값이며 일반 산업의 권장 기준이나 통계가 아닙니다. 실제 AI POC는 조직의 업무환경과 데이터 특성, 품질 기준에 맞춰 별도로 설계해야 합니다.
이야기에서 우리 조직의 실행으로
김경영 대표의 질문을
우리 회사의 업무 기준으로 바꿔보세요
대한정밀의 이야기는 가상 시나리오이지만, AI를 도입하는 조직이 정해야 할 질문은 현실의 문제입니다. AI에게 업무를 맡기기 전에 조직의 리더와 관리자는 역할과 권한, 정보의 경계, 검토와 승인 기준을 먼저 설계해야 합니다.
무엇을 AI에게 맡길 것인가?
무엇을 맡기지 않을 것인가?
어디에서 AI를 멈추게 할 것인가?
언제 다시 사람에게 물어보게 할 것인가?
AI 에이전트 도입 실무교육 · 조직 리더 과정
특정 도구의 메뉴보다 조직의 업무 위임, 권한, 비용, 정보보호, 검토·중단·승인 기준을 먼저 다루는 5인 이상 단체 맞춤교육입니다. Zoom 또는 조직 방문 대면교육으로 운영할 수 있습니다.
교육 모듈·시간·진행 방식과 컨설팅 범위는 조직의 업무환경과 AI 도입 단계에 따라 협의합니다.