AI 에이전트 도입, 임원이 30분 안에 검증하는 법

앞 글에서 플랜을 골랐다면, 이제 "도입하자"는 보고서를 검증할 차례입니다. 보고서에는 보통 도구 이름과 기대 효과가 적혀 있고, 무엇이 언제 남는지는 없습니다. 이 글은 대표나 임원이 30분 안에 보고서를 통과시키거나 돌려보낼 수 있는 기준을 다룹니다. 근거는 우리가 직접 운영하는 시스템입니다. BizPlan CRM(사업계획서 생성 SaaS)을 공동 개발·운영하고, 맥미니 한 대에서 24시간 무인 자동화를 돌리며 겪은 실패와 규칙을 그대로 옮겼습니다.

읽고 나면 자가진단 5문항으로 시작 여부를 판단하고, 90일 뒤 책상 위에 무엇이 있어야 하는지를 주차 단위로 요구할 수 있습니다. 다음 글은 팀 라이선스를 살 때 통제 수단이 어떻게 갈리는지를 다룹니다.

핵심 요약

• 시작 전 자가진단은 "반복 업무가 문서로 적혀 있는가"부터입니다. 적혀 있지 않은 일은 에이전트에게 맡길 수 없습니다.
• 90일 로드맵의 합격 기준은 발표 자료가 아니라 돌아가는 화면과 실행 로그입니다.
• 가장 흔한 함정은 전사 배포, 개인 계정 방치, 운영 DB에 바로 붙이기, 교육을 도입으로 착각하기, 검증 없는 반영입니다.
• ROI는 절감 시간이 아니라 "사람이 안 봐도 되는 시간"과 "사고 0건"으로 셉니다.

시작 전 자가진단 5문항

보고서를 읽기 전에 아래 다섯 개에 예·아니오로 답해 보십시오. 세 개 이상 "아니오"면 도입이 아니라 준비가 먼저입니다.

1. 매주 반복되는 업무 중 절차가 문서로 적힌 것이 3개 이상 있는가. 에이전트는 문서화된 절차를 실행하는 데 강하고, 머릿속에만 있는 절차는 옮겨 적는 순간부터 시작됩니다.
2. 그 업무의 결과물이 "맞다·틀리다"로 판정 가능한가. 회의록 변환, 고객 DB 정리, 공고 모니터링처럼 정답이 있는 일이 첫 파일럿 후보입니다. 판정 기준이 없는 일(전략 문서 초안 등)은 두 번째 단계로 미룹니다.
3. 회사 계정과 개인 계정을 구분할 규칙이 있는가. 직원이 개인 계정에 사내 자료를 붙여 넣는 순간 보안 검토는 무의미해집니다.
4. 운영 데이터(고객 DB·결제 정보)에 에이전트가 직접 닿지 않도록 분리할 수 있는가. 우리는 이것을 "운영 DB는 성역"이라고 부르며, 로컬·개발·운영 3단계를 나누지 못하면 시작하지 않습니다.
5. 90일 동안 주 4시간 이상 쓸 담당자 한 명이 있는가. 겸임으로는 파일럿이 끝나지 않습니다.

90일 로드맵, 무엇이 언제 남아야 하는가

임원이 확인할 것은 활동이 아니라 산출물입니다. 각 구간이 끝날 때 아래 물건이 실제로 있어야 다음 구간 예산을 승인합니다.

Day 1~30 · 진단·설계

남아야 할 것은 세 가지입니다. 첫째, 자동화 후보 지도 한 장. 부서별 반복 업무를 "빈도 × 판정 가능성"으로 줄 세운 표입니다. 둘째, 데이터 경계 규칙 한 쪽. 넣어도 되는 것과 안 되는 것, 회사 계정 발급 절차, 개인 계정 금지가 적혀 있어야 합니다. 셋째, 파일럿 1건의 완료 기준 한 문장. 우리 교재에서는 이것을 "실행하면 ~가 나온다"로 씁니다. 예를 들어 "매주 월요일 아침 8시에 신규 공고 요약이 슬랙에 올라와 있다"처럼 증거로 확인 가능한 문장이어야 합니다. 이 구간에서 도구 라이선스를 전사 구매하면 안 됩니다. 파일럿 인원 몫만 삽니다.

Day 31~60 · 파일럿

남아야 할 것은 돌아가는 자동화 1개와 그 실행 로그입니다. 시연 영상이 아니라 담당자가 없는 날에도 돌았다는 로그가 있어야 합니다. 우리는 무인 잡의 완료 기준을 "노트북을 끄고 다음 날 아침 결과물이 나와 있는가"로 둡니다. 함께 남아야 할 것은 변경 기록입니다. 에이전트에게 수정을 시킬 때 "원인 분석 → 최소 수정 → 변경 내용 정리" 순서를 강제하면 파일럿 한 건의 기록만으로도 다음 담당자가 이어받을 수 있습니다. 이 구간의 비용은 Claude Code 공식 비용 문서가 밝힌 엔터프라이즈 평균(개발자당 활성 일 약 $13, 월 $150~250, 사용자 90%는 일 $30 이하)을 기준선으로 두고 실측치와 비교합니다.

Day 61~90 · 확산·운영체계

남아야 할 것은 사내 가이드 초안과 두 번째 자동화입니다. 가이드에는 지침 파일(프로젝트별 규칙)과 검증 게이트(반영 전 확인 항목)가 들어갑니다. 우리는 이것을 "도구가 아니라 시스템"이라고 부릅니다. 같은 도구를 써도 지침 파일과 게이트가 없으면 사람마다 결과가 달라집니다. 확산 대상은 파일럿 부서의 옆 부서 하나까지입니다. 전사 배포는 90일 안에 하지 않습니다. 이 구간 끝에 임원이 볼 것은 두 자동화의 30일 실행 로그와 사고 건수입니다.

자주 빠지는 함정 5가지

1. 전사 일괄 배포. 라이선스를 100석 사고 교육 한 번 하면 도입이 끝난다고 믿는 경우입니다. 3개월 뒤 실사용자는 10명 안팎으로 줄고, 나머지 시트 비용은 그대로 나갑니다.
2. 개인 계정 방치. 회사 계정이 늦어지는 사이 직원들이 개인 구독으로 일합니다. 데이터가 회사 정책 밖으로 나가고, 나중에 회사 계정으로 옮길 때 작업 기록이 사라집니다.
3. 운영 DB에 바로 붙이기. 첫 파일럿을 고객 DB나 결제 시스템에 직접 연결하면 성과가 아니라 사고가 먼저 옵니다. 우리는 운영 서버를 검증 없이 손대지 않는다는 규칙을 4주차 저장소 규칙(main 직접 수정 금지)과 같은 논리로 가르칩니다.
4. 교육을 도입으로 착각. 특강을 들었다고 자동화가 생기지 않습니다. 남은 것이 슬라이드뿐이면 도입이 아니라 인식 개선입니다.
5. 검증 없는 반영. 에이전트가 만든 코드나 문서를 "된 것 같다"로 반영하는 경우입니다. 우리 정지 규칙은 증거입니다. 실행 화면과 로그가 없으면 다음 단계로 가지 않습니다.

컨설턴트에게 던질 질문

외부 업체를 만나면 슬라이드 대신 아래를 요구하십시오.

1. 지금 귀사가 운영 중인 자동화를 실물 화면으로 보여 줄 수 있습니까. 어제 실행 로그를 함께 보여 달라고 하십시오.
2. 파일럿 완료 기준을 한 문장으로 적어 주십시오. "효율 향상"이면 돌려보냅니다.
3. 우리 데이터 경계 규칙을 어떻게 강제합니까. 교육으로 당부하는지, 설정 파일과 게이트로 막는지가 갈림길입니다.
4. 90일 뒤 우리 직원이 컨설턴트 없이 두 번째 자동화를 만들 수 있습니까. 못 한다면 종속입니다.
5. 특정 모델이 바뀌어도 시스템이 유지됩니까. 모델 종속이 아니라 원리 중심인지 확인합니다.

ROI를 추정할 때

절감 시간으로 계산하면 숫자는 커지고 신뢰는 낮아집니다. 우리는 세 가지로 셉니다. 첫째, 사람이 안 봐도 되는 시간. 매일 30분 걸리던 공고 확인이 아침 요약 한 번으로 바뀌면 그 30분은 실제로 돌아옵니다. 둘째, 사고 건수. 자동화가 잘못된 값을 운영에 밀어 넣은 횟수가 0이어야 절감이 의미 있습니다. 셋째, 실측 비용. 시트 수 × 단가에 파일럿 기간 실제 사용량을 더한 값을 씁니다. 세 숫자는 모두 로그에서 나오므로 추정이 아니라 실측입니다. 수익 증가는 ROI에 넣지 않습니다. 검증할 수 없기 때문입니다.

한 문장으로

"90일 뒤 담당자가 없는 아침에도 돌아가는 자동화 2개와 그 로그가 있는가." 이 질문에 예라고 답할 수 없는 보고서는 아직 도입 보고서가 아닙니다.

정리

• 자가진단 5문항 중 3개 이상 "아니오"면 준비 단계입니다.
• 30일마다 확인할 것은 후보 지도, 돌아가는 자동화 1개와 로그, 가이드 초안과 자동화 2개입니다.
• 전사 배포·개인 계정·운영 DB 직결·교육을 도입으로 착각·검증 없는 반영이 다섯 함정입니다.
• 컨설턴트에게는 실물 화면과 어제 로그를 요구합니다.

자주 묻는 질문