요즘 집에 있는 컴퓨터에서 작은 AI 모델을 하나 돌려 보고 있습니다. 클라우드로 쓰는 것과 달리 제 컴퓨터 안에서만 도는 모델입니다. 얼마나 쓸 만한지 궁금해서, 이미 답을 아는 질문부터 던져 보기로 했습니다.
마침 확인 안 된 게 하나 있었습니다. 대학원 진학을 알아보던 중이었고, 학교 몇 곳을 비교해 둔 표에 "확인 필요"라고만 적어 놓은 항목이 몇 개 있었습니다. 그중 하나가 접수 일정이었습니다.
같은 질문, 다른 답
그 AI에게 질문을 그대로 물었습니다. 날짜를 하나 골라 답이 왔습니다.
확인 삼아 평소 쓰던 AI에게도 같은 질문을 던졌습니다. 그런데 날짜가 달랐습니다. 열흘 가까이 차이가 났습니다.
둘 중 하나는 틀렸다는 뜻이었습니다. 평소 쓰던 쪽이 검색 결과를 다시 열어 확인하더니, 집 컴퓨터 쪽 답이 틀렸다고 했습니다. 찾던 학과가 아니라 다른 학과, 다른 대학원의 일정을 가져다 붙인 게 이유였습니다.
고쳐서 다시 물었습니다
원인을 알았으니 고칠 수 있었습니다. "다른 학과 정보는 섞지 말라"는 지시를 하나 더 넣어서, 집 컴퓨터 쪽에 같은 질문을 다시 물었습니다.
이번엔 달랐습니다. 엉뚱한 학과 얘기가 사라졌고, 확실하지 않은 부분은 "추정"이라고 표시했습니다. 처음엔 그냥 넘어갔던 진짜 출처도 이번엔 제대로 찾아 읽었습니다.
정작 틀린 건 다른 쪽이었습니다
고친 게 통했는지 확인하는 과정에서, 평소 쓰던 AI 쪽도 이전에 낸 답을 한 번 더 점검했습니다. 그런데 거기서 나온 말이 뜻밖이었습니다.
이전에 "확인했다"고 적은 날짜가, 사실은 다음 학년도가 아니라 이미 지난 학년도의 날짜였다는 것이었습니다. 정작 다음 학년도 일정은 아직 공고조차 안 나와 있었습니다. 집 컴퓨터 쪽이 처음부터 "아직 확인 안 됨"이라고 한 게 오히려 더 맞는 답이었던 셈입니다.
제가 지적해서 고친 게 아니라, 다시 확인하다가 스스로 알아챈 것이었습니다. 숨기지 않고 그대로 전했습니다.
검증도 다시 확인해야 했습니다
한쪽 답만 믿었으면 이 일은 그냥 지나갔을 겁니다. 집 컴퓨터 쪽만 믿었으면 틀린 학과 일정을 진짜인 줄 알았을 거고, 평소 쓰던 쪽만 믿었어도 이미 지난 날짜를 다음 학년도 것으로 알고 있었을 겁니다.
둘을 나란히 놓고 봤기 때문에 양쪽 오류가 다 드러났습니다. 한쪽에게 다른 쪽을 검증하게 하는 것만으로는 부족했습니다. 검증하는 쪽도 틀릴 수 있다는 걸 이번에 봤습니다.
AI가 낸 답을 검증 없이 그대로 옮기기만 하는 사람을, 요즘은 "미트 프록시"라고 부른다고 합니다. 저는 하마터면 그 자리에 설 뻔했습니다. 한 AI가 다른 AI를 검증한 결과까지, 그대로 믿고 옮길 뻔했으니까요. 이 일 이후로 확인을 한 번으로 끝내지 않습니다. 한쪽이 다른 쪽을 봐 준 결과도 다시 들여다봅니다. 검증도 결과일 뿐이지, 정답이라는 보장은 아니었습니다.