AI가 다 만들어준다는 착각 — 《AI 에이전트와 인간의 판단》 영상 한 편을 만들며 배운 것

AI를 설명하지 않고, 경험하게 하려 했다

교육에서 “AI 에이전트란 무엇인가”를 정의로 설명하는 방법도 있습니다. 저희는 다른 방법을 택했습니다. AI가 보고서, 회의록, 이미지, 영상까지 대부분의 초안을 만들 수 있는 상황을 먼저 보여주고, 그다음 이렇게 묻는 방식입니다.

“그렇다면 사람은 무엇을 판단해야 하는가?”

이 질문에서 시작해, “AI는 작성하고, 사람은 검토·판단하며, 조직은 승인하고 책임진다”는 교육 철학을 영상으로 만들기로 했습니다. 완성된 영상 자체보다, 그 철학을 영상 제작 과정에서도 똑같이 지켰는지가 더 중요했습니다.

AI 팀이 아니라, 역할을 나눈 협업 구조

이번 작업은 한 사람이 하나의 AI에게 전부를 맡기는 방식이 아니었습니다. 목적에 따라 역할을 나누고, 각 역할이 만든 결과를 서로 검토하는 구조로 진행했습니다.

• 아이디어와 스토리·대사를 기획하는 역할
• 콘티와 장면별 이미지를 만드는 역할
• 전체 구성과 작업지침을 정리하고 검토하는 역할
• 논리와 근거를 검토하고 문서로 정리하는 역할 (이 글도 그 결과물입니다)
• 실제 영상 제작과 실행을 맡는 역할
• 목적을 정하고, 선택하고, 수정하고, 최종 승인하는 역할

여기서 중요한 건 각 역할에 붙은 이름이 아니라, 업무가 기능별로 나뉘어 있었고 최종 판단은 항상 한 곳(사람)으로 모였다는 점입니다. 여러 AI가 각자 다른 제안을 내놓았을 때, 그 제안들을 비교하고 최종 채택하는 주체는 끝까지 사람이었습니다.

콘티 없이 이미지부터 만들면 안 되는 이유

처음에는 15개 장면을 한 번에 생성했습니다. 결과물에서 필요한 장면만 잘라 쓰려 했는데, 화면 비율(16:9)이 깨지고 개별 이미지의 품질도 떨어졌습니다.

그래서 장면을 하나씩 개별 생성하는 방식으로 바꿨습니다. 8번째 장면까지는 인물과 공간의 연속성이 잘 유지됐습니다. 그런데 9번째 장면에서 새로운 인물과 새로운 공간(회의실·강의장)이 등장하자, 인물의 얼굴과 복장, 사무실 구도까지 조금씩 달라지기 시작했습니다.

생성형 AI는 이전 장면을 영화처럼 기억하지 않습니다. 매 장면을 새롭게 해석하려는 경향이 있습니다.

그래서 연속성이 있는 영상은 프롬프트를 정교하게 쓰는 것보다, 전체 콘티와 변하지 않는 기준을 먼저 고정하는 게 우선이라는 결론에 이르렀습니다. 실제로 적용한 순서는 이렇습니다.

인물의 얼굴·안경·머리·복장, 사무실의 창문·책장·조명, 카메라의 샷 크기와 시선 방향까지 먼저 고정해두고 나서 장면별로 이미지를 만드니, 이전보다 세계관이 훨씬 안정적으로 유지됐습니다.

장면을 하나씩 잘 만드는 것만으로는 같은 영화가 되지 않았습니다. 전체 콘티를 먼저 만들고, 캐릭터·공간·카메라 기준을 고정한 뒤 장면별 이미지를 제작해야 했습니다.

Google Flow와 Higgsfield, 우열이 아니라 장면의 목적으로 나눴다

두 도구 중 어느 쪽이 더 뛰어난지를 가리려는 목적이 아니었습니다. 장면이 무엇을 보여줘야 하는지에 따라 도구를 다르게 선택했습니다.

결론적으로 “어느 도구가 더 좋다”가 아니라 “이 장면은 무엇이 주인공인가”가 도구 선택의 기준이었습니다.

실패는 감춰야 할 결과가 아니라 다음 기준을 만든 근거였다

이번 제작에서는 다음과 같은 실패가 실제로 있었습니다.

• 한 번에 15컷을 생성했을 때 개별 이미지 품질과 화면 비율이 무너진 것
• 9번째 장면부터 인물·공간의 연속성이 깨진 것
• 짧은 영상 클립(4초+8초)을 이어 붙였을 때 동작과 표정 전환이 부자연스러웠던 것
• 멀티샷 기능에서 일부 요소가 선택한 모델과 호환되지 않아 실패하고, 크레딧이 환급된 것
• 음성을 후반에 따로 입혔더니 입 모양과 완전히 맞지 않았던 것(립싱크 미완성)
• 1080p로 편집한 결과물이 교육 목적에는 충분하다고 판단해, 더 높은 해상도로 업스케일하는 비용은 쓰지 않기로 한 것

이 실패들을 감추지 않고 그대로 기록한 이유는, 완성된 영상 하나보다 “다음엔 어떻게 만들어야 하는가”라는 기준을 남기는 게 더 중요하다고 판단했기 때문입니다.

크레딧은 아끼는 게 아니라, 기록하는 것

무료로 제공되는 크레딧은 애니매틱(정지 이미지로 만든 가편집본)과 정보 중심 장면을 검증하는 데 썼습니다. 유료 크레딧은 인물의 표정과 감정이 중요한 장면에 집중해서 썼습니다.

※ 위 수치는 2026년 8월 초 특정 계정 화면에서 확인한 값입니다. 서비스의 가격과 정책은 요금제·지역·프로모션·계정 조건에 따라 달라질 수 있으므로, 실제 이용 전 공식 계정 화면에서 다시 확인하시기 바랍니다.

여기서 배운 건 크레딧을 무조건 아끼는 게 목표가 아니라는 점입니다. 어떤 실험에 왜 크레딧을 썼고, 그 결과 무엇을 알게 됐는지를 기록하는 게 더 중요했습니다.

AI가 다른 AI에게 일을 넘길 때도 이유가 필요하다

사람이 AI에게 일을 시킬 때만 맥락이 필요한 게 아니었습니다. 한 AI가 만든 결과를 다른 AI가 이어받아 작업할 때도 마찬가지였습니다.

예를 들어 “지친 대표를 그려라”라는 지시만 전달하면, 다음 AI는 이걸 “AI가 고장 나서 화난 장면”이나 “야근하는 장면”으로 잘못 해석할 수 있습니다. 실제로 전달해야 하는 맥락은 이런 것이었습니다.

“AI가 일을 못해서가 아니라, 여러 AI가 만든 결과를 최종 검토하는 일이 사람 한 명에게 집중되면서 병목이 생겼다.”

이 판단 이유까지 함께 전달해야 다음 AI가 같은 의도를 유지한 채 작업할 수 있었습니다.

결과물만 넘기면 다음 AI는 처음부터 다시 추론해야 합니다. 판단 이유까지 함께 넘기면, 다음 작업이 그 판단 위에서 이어질 수 있습니다.

Human Oversight는 마지막 승인 버튼이 아니었다

이번 제작 과정에서 사람이 직접 판단한 지점은 한 곳이 아니었습니다.

Human Oversight는 마지막에 결과물을 승인하는 버튼 하나가 아니라, 목적·자료·권한· 비용·작업 범위·중단·결과 사용까지 전 과정에서 사람이 통제권을 쥐고 있는 구조라는 걸 이번 제작으로 다시 확인했습니다.

영상이 아니어도 같은 원리가 적용된다

이 과정은 영상 제작에만 해당하는 이야기가 아닙니다. 보고서를 쓰든, 이미지를 만들든, 데이터를 분석하든, AI 에이전트를 업무에 쓸 때는 같은 구조가 반복됩니다. 여러 AI의 제안을 비교하고, 목적에 따라 역할을 나누고, 비용과 품질을 판단하고, 최종적으로 사람이 채택하는 과정입니다.

지금 시점의 한계와 다음 검증 과제

이번 제작을 통해 연속 이미지와 영상 제작의 기본 절차, 장면 목적에 따른 도구 선택, TTS 길이와 영상 길이의 관계를 확인했습니다. 그러나 모든 문제가 해결된 것은 아닙니다.

현재 버전에는 음성과 인물의 입 모양이 정확하게 일치하지 않는 구간이 남아 있습니다. 이미지와 영상의 연속성도 이전보다 개선됐지만, 새로운 인물이나 공간이 추가되는 장면에서는 다시 흔들릴 가능성이 있습니다. 멀티샷 기능은 일부 모델과 Element의 호환성 문제로 충분히 검증하지 못했습니다.

다음 버전에서는 다음 항목을 별도로 확인할 예정입니다.

• 립싱크 기능을 적용한 장면과 후반 TTS 방식의 품질·비용 비교
• 동일한 기준 이미지로 Kling·Seedance 등 서로 다른 모델을 사용한 교차생성
• 대사 길이에 따른 TTS 재생시간과 권장 영상 길이의 매핑
• 장면 전환, 자막 가독성, 음량 균형에 대한 최종 검수 기준
• 새로운 인물·공간이 추가될 때 Character·Set·Camera Bible의 효과
• 멀티샷과 Element 기능의 모델별 호환 범위

따라서 이 글은 완성된 정답을 제시하는 성공 사례가 아닙니다. 현재까지 확인한 결과와 아직 검증하지 못한 범위를 구분하여 기록한 제작 증거입니다.

대표와 몽데의 대화

이 글의 근거 구분

완성도가 아니라 판단의 근거를 남긴다는 원칙에 따라, 사실·관찰·판단·제안을 구분해 기록합니다.

완성도만이 성과는 아니었다

이번 영상이 얼마나 매끄럽게 완성됐는지만이 성과는 아닙니다. 여러 AI가 내놓은 결과와 비용을 사람이 비교하고, 실패를 숨기지 않고 기록하고, 다음 작업의 기준을 만든 과정 자체가 AI 에이전트 교육이 보여주고 싶었던 핵심 사례입니다.