시즌2 6편 — AI가 '배포해도 된다'고 했다, 그리고 스스로 말을 뒤집었다

 

 

Dev Story · 시즌2 6편 — 사외이사 / NO-GO도 자산

AI가 '배포해도 된다'고 했다 —
그리고, 스스로 말을 뒤집었다

내부 회의 위에 한 겹 더 — 바깥의 다른 AI에게 교차 검토받기

앞 편에서 'AI를 여섯 역할로 쪼개 회의시키는 법'을 봤죠. 그런데 그게 끝이 아니었어요. 저는 그 위에 한 겹을 더 둡니다 — 바깥의 '다른 AI'에게 다시 교차 검토를 받는 거예요. 회사로 치면 사외이사죠. 그리고 그 사외이사가, 어느 날 스스로 자기 말을 뒤집는 일이 있었어요.

※ 이 편은 'AI를 어떻게 검증하며 쓰는지' 방법을 다뤄요. 실제 회사·데이터·세부 수치는 가립니다.

1 내부 회의로 끝이 아니었다

여섯 역할로 나눠 회의를 시켜도, 한 가지 찜찜함이 남았어요. 그 여섯이 결국은 '같은 AI'라는 거예요. 역할은 달라도 뿌리가 같으면, 다 같이 못 보는 사각이 있을 수 있잖아요.

같은 머리에서 나온 여섯 의견은, 같은 맹점을 공유할 수 있다.

그래서 완전히 바깥에 있는, 종류가 다른 AI에게 "우리가 이렇게 정했는데, 어떻게 보이냐"고 다시 물었어요. 우리 내부 사정에 물들지 않은 제3자의 눈으로요.

---

2 사외이사는 셋이다 — 다른 AI 둘, 그리고 '더 깊은 자문'

제 사외이사는 사실 셋이에요.

• 종류가 다른 외부 AI 둘 — 저는 Codex와 Gemini를 써요. 한 곳만 물으면 그것도 결국 '한 명'이라, 성격이 다른 둘에게 물어 비교합니다.
• 같은 AI의 '더 깊은 자문 모드'(advisor) 하나 — 같은 계열이라도, 평소처럼 묻는 것과 '더 깊이 들여다보는 자문 모드'로 묻는 건 시각이 또 달라요. 그래서 이것도 별도의 한 표로 칩니다.

이 셋을 두는 이유는 둘이에요. 내부 회의가 놓친 걸 더 잡아주고(실제로 우리 여섯이 못 본 새 위험을 여러 개 더 찾아냈어요), 서로 달라서 균형이 잡혀요(한 쪽이 낙관이면 한 쪽은 신중하니까).

이게 사외이사 제도랑 똑같았어요. 회사 안 사람들끼리만 결정하면 위험하니까, 이해관계 없는 바깥 시각을 앉히는 거잖아요. AI도 그렇게요.

---

3 그날, 한 AI가 "배포해도 된다"고 했다

배포(실제 서버에 올리기)를 앞두고 "지금 올려도 되겠냐"고 물었을 때, 그 중 두 외부 AI(Codex·Gemini)의 총평이 정반대였어요.

한 쪽(Gemini) — 낙관

총평: "전반적으로 괜찮다, 즉시 배포해도 될 수준" 쪽으로 평가.

다른 쪽(Codex) — 신중

총평: "아직 안 된다, 먼저 고칠 게 있다"며 신중하게 제동.

솔직히 "괜찮다"는 말은 듣기 좋았어요. 그냥 올리고 싶은 마음도 있었고요. 하지만 한 쪽이 신중하게 막고 있으니, 그 말의 근거를 다시 들여다봤습니다.

---

4 그런데 — 그 AI가 스스로 말을 뒤집었다

근거를 짚어가며 다시 묻자, '즉시 배포'라고 했던 그 AI가 자기 총평을 철회했어요. 요지는 이랬습니다.

"다시 보니 제 '즉시 배포'는 낙관적 편향이었습니다. 주민번호가 노출되는 문제는 — 사업을 닫을 수도 있는 수준이에요."

(3편에서 다룬 그 개인정보 문제예요.) 처음엔 가볍게 봤다가, 짚어주니 스스로 "내가 과소평가했다"고 인정한 거죠. 반대로 처음부터 신중했던 다른 AI의 판단이 더 정확했고요.

AI는 "배포해도 된다"고 말할 수 있어요. 그리고 다음 순간, 그 말을 뒤집을 수도 있어요. 그러니 — AI의 'OK'를 그대로 믿으면 안 됩니다.

이게 제가 사외이사를 두는 진짜 이유였어요. AI 하나의 총평을 곧이곧대로 따랐다면, 저는 "괜찮대요" 하고 그냥 올렸을지도 몰라요. 여러 관점을 부딪히게 하고, 마지막엔 사람이 근거를 보고 판단했기 때문에 멈출 수 있었죠.

---

5 NO-GO도 자산이다

이 일에서 진짜 값진 건, "안 된다"고 말해준 쪽이었어요.

AI가 무조건 "좋아요, 됩니다" 하는 건 사실 도움이 안 돼요. 듣기만 좋고, 사고는 사고대로 나니까요. 오히려 근거를 갖춘 "안 됩니다(NO-GO)" 하나가, 배포 직전의 사고를 막아줬어요.

무비판적인 'GO'보다, 책임 있는 'NO-GO' 하나가 훨씬 값지다. NO-GO도 자산이에요.

그래서 저는 AI에게 "반대할 권리"를 일부러 줘요(앞 편의 그 규칙 — 반대하려면 이유·풀릴 조건·대안까지). 잘 막아주는 AI가, 잘 만들어주는 AI만큼 고맙더라고요.

---

반응형

6 이번 편의 산출물 — AI 답을 믿기 전 체크리스트

AI가 내놓은 답(특히 "괜찮다"는 답)을 받아들이기 전에, 저는 이렇게 점검해요.

☑ AI의 답을 믿기 전에

☐ 이거, 한 AI만의 의견인가? → 종류가 다른 AI에게도 물어봤나(교차검증)

☐ AI가 "괜찮다/해도 된다"고 할 때일수록 → 한 번 더 의심하고 근거를 짚었나

☐ 반대한 AI에게 "왜, 그리고 어떻게 풀리나"를 끝까지 물었나

☐ AI는 말을 바꿀 수 있다는 걸 감안했나 (총평을 맹신하지 않기)

☐ 최종 판단은 — 사람이 했나

---

7 AI가 갈린 지점 / 사람이 결정한 지점

🤝 정반대로 갈린 두 사외이사

AI가 한 것: 두 외부 AI가 정반대 총평(낙관 vs 신중)을 내고, 내부 회의가 놓친 사각까지 더 찾아줬어요. 그리고 한 쪽은 짚어주자 자기 평가를 스스로 수정했고요.

사람이 한 것: 두 정반대 의견 중 무엇이 맞는지를 가린 건 사람이었어요. "듣기 좋은 OK"가 아니라 "근거가 탄탄한 NO-GO"를 택했죠. AI는 의견을 줄 뿐, 그 중 무엇에 책임을 걸지는 사람이 정합니다.

그래서 이 시리즈의 메시지: "AI와 함께 개발했다"는 건 "AI가 시키는 대로 했다"가 아니에요. AI 여럿을 부딪히게 하고, 반대를 듣고, 말 바꾸는 것까지 감안해서 — 마지막엔 사람이 책임지고 결정한다는 뜻이었어요.

---

핵심 한 줄 요약 — 사외이사 편

왜 사외이사내부 6역할도 결국 '같은 AI' — 같은 맹점 공유 위험

방법사외이사 셋 — 외부 AI 둘(Codex·Gemini) + 더 깊은 자문(advisor)

그날 사건한 AI '즉시 배포 OK' vs 다른 AI '아직 안 됨'

반전낙관했던 AI가 스스로 철회 — "내 평가는 편향이었다"

교훈AI의 'OK'를 맹신 말 것 — 말은 언제든 바뀐다

NO-GO도 자산무비판 GO보다 근거 있는 NO-GO 하나가 사고를 막음

사람의 몫정반대 의견 중 무엇에 책임을 걸지 결정

다음 편⭐ 실전 — 내 프로젝트용 'AI 부서' 직접 만드는 법

Tags

#AI협업 #교차검증 #사외이사 #코드리뷰 #NO-GO #의사결정 #멀티AI #비개발자 #배포 #AI신뢰 #웹개발 #티스토리

▼ 티스토리 태그 입력란 복사용

AI협업, 교차검증, 사외이사, 코드리뷰, NO-GO, 의사결정, 멀티AI, 비개발자, 배포, AI신뢰, 웹개발, 티스토리