오전에 기각한 설계가 오후에 살아 돌아왔다

오전에 제가 죽인 설계안이, 오후에 웃는 얼굴로 돌아왔어요.

AI랑 개발하다 보면 생기는 일들이 있어요. 이건 그중에서 제일 소름 돋았던 날의 이야기입니다.

사건 일지

발단은 평범했어요. 설계 논의 중에 AI가 대안을 하나 냈고, 저는 검토 끝에 기각했습니다. 이유도 분명했어요. 우리 구조랑 안 맞았거든요.

"이건 안 갑니다. 이유는 이러이러." 정리하고, 다음 일로 넘어갔어요. 여기까지는 아무 문제 없죠.

몇 시간 뒤였어요. 같은 세션에서 다른 작업을 시키는데, AI가 코드를 짜면서 아주 자연스럽게 그 설계안을 깔고 가는 거예요.

기각된 안이 아니라, 채택된 결정처럼요. 심지어 자신감이 넘쳤습니다.

(사람이었으면 "저번에 그거 안 하기로 했잖아요"로 끝날 일이에요. 근데 상대는 사람이 아니죠.)

무서운 건, 거짓말이 아니라는 거예요

AI가 저를 속인 게 아니에요. 세션 어딘가에 그 대안이 "논의된 흔적"으로 남아 있고, 기각의 맥락은 흐려진 채 내용만 살아남은 거죠.

대화가 길어질수록 이런 일이 늘었어요. 결정과 기각이 같은 무게의 텍스트가 되는 순간, 죽인 안이 되살아납니다.

이름도 붙였어요. 좀비 결정. 분명히 죽였는데, 걸어 다녀요.

그날 이후 달라진 것

이 사건 덕에 저는 기억을 세션 밖으로 빼기 시작했어요. 결정은 살아있는 문서에, 기각은 사망 선고와 함께요.

폐기한 설계 문서 맨 위에 "실행 금지 — 이 모델은 폐기되었다"를 박아두는 것도 그래서예요. 사람도 AI도, 문서가 살아 있으면 그걸 근거로 씁니다.

(문서에도 장례식이 필요해요. 애매하게 죽이면 밤에 돌아다닙니다.)

AI의 기억력을 믿지 마세요. AI의 확신은 더 믿지 마세요. 확신은 맥락에서 나오는 게 아니라 말투에서 나오거든요.

이 사건의 진지한 분석 버전 — 컨텍스트가 뒤섞이는 원리와 대책 — 은 AI 개발의 진짜 병목에 있어요. 오늘은 그냥, 소름 돋았다는 얘기가 하고 싶었습니다.