솔직히 저는 한동안 챗GPT를 열면 뭔가 다 해결되는 줄 알았습니다. 그런데 MIT 미디어랩 연구 결과를 접하고 나서 꽤 불편한 기분이 들었습니다. 챗GPT를 쓴 그룹이 자기가 쓴 글에서 단 한 문장도 제대로 기억하지 못했다는 수치, 83%라는 숫자가 머릿속을 떠나지 않았거든요. AI를 안 쓰면 뒤처지고, 잘못 쓰면 사고력이 무너진다는 이 아이러니를 어떻게 돌파할 수 있을지, 제가 직접 부딪히며 정리한 이야기를 써봤습니다.
전문성이 없으면 AI는 그냥 화려한 자동완성이다
제가 처음 챗GPT를 업무에 붙였을 때, 결과물이 그럴듯해 보여서 그냥 넘긴 적이 한두 번이 아닙니다. 나중에 다시 읽어보니 맥락이 완전히 어긋나 있었고, 제가 그 분야를 잘 모르는 상태였기 때문에 걸러내지 못했던 겁니다.
마이크로소프트 리서치의 연구 결과를 보면, AI에 대한 신뢰가 높아질수록 비판적 사고는 줄어들지만, 자기 분야에 충분한 지식이 있는 사람은 AI 답변을 그대로 받아들이는 대신 검증하고 통합하는 방식으로 사용한다고 합니다(출처: Microsoft Research). 저는 이 결과가 꽤 합리적이라고 봤습니다. AI가 내놓은 답이 맞는지 틀린지는 결국 그 분야를 아는 사람만 판단할 수 있으니까요.
AI 전문가 이선 몰릭은 'AI의 들쭉날쭉한 경계'라는 표현을 씁니다. 여기서 들쭉날쭉한 경계란 AI가 어떤 영역에서는 놀랍도록 뛰어나고, 어떤 영역에서는 황당할 정도로 엉터리인 불규칙한 능력의 분포를 의미합니다. 이 경계를 감지하려면 결국 사람 쪽의 전문성이 뒷받침되어야 합니다. 제 경우엔 조금이라도 익숙한 분야에서 AI를 쓸 때와 낯선 분야에서 쓸 때의 결과물 품질 차이가 체감상 두 배 이상 났습니다. 전문성 없이 AI를 쓰는 건, 지도를 읽을 줄 모르는 사람에게 최신 내비게이션을 쥐여주는 것과 비슷하다는 생각이 들었습니다.
메타인지가 높은 사람이 AI를 제대로 부린다
메타인지(metacognition)라는 단어, 처음엔 저도 좀 딱딱하게 느껴졌습니다. 쉽게 말해 메타인지란 '내가 뭘 알고 뭘 모르는지를 아는 능력'입니다. 학습심리학에서 오래 다뤄온 개념인데, AI 시대에 이게 왜 갑자기 중요해졌냐 하면, AI에게 질문을 잘 던지려면 먼저 자신의 무지를 정확히 파악해야 하기 때문입니다.
제가 직접 써봤는데, 막연하게 "이거 설명해줘"라고 할 때와 "내가 A는 아는데 B와의 관계를 모르겠어, 그 부분만 집어줘"라고 할 때 답변의 밀도가 완전히 달랐습니다. 전자는 교과서 요약본이 나오고, 후자는 제가 실제로 쓸 수 있는 내용이 나왔습니다. 결국 AI를 잘 쓰는 것과 자기 자신을 잘 아는 것은 같은 문제였습니다.
마이크로소프트 리서치 연구는 AI 답변을 스스로 검증할 능력이 부족할 때 비판적 사고를 아예 포기하게 된다는 점을 보여줍니다. 자기가 뭘 모르는지조차 모르는 상태에서 AI 답변을 받으면, 틀린 답도 맞다고 느껴집니다. 반대로 메타인지가 작동하면, AI의 답이 제 빈 곳을 채워주는지 아닌지를 감지할 수 있습니다.
저는 요즘 AI와 대화하기 전에 잠깐 "내가 지금 뭘 모르지?"를 스스로 물어보는 습관을 들이고 있습니다. 솔직히 이건 예상 밖이었습니다. AI 사용 방식을 바꾸는 게 아니라 제 사고 습관을 먼저 손봐야 했으니까요.
- AI를 쓰기 전, 내가 아는 것과 모르는 것을 먼저 구분한다
- 모르는 부분을 최대한 구체적으로 특정해서 질문을 설계한다
- AI의 답변을 받은 뒤, 내 기존 이해와 어떻게 연결되는지 직접 재구성한다
- 재구성하는 과정 자체가 진짜 학습이라는 것을 기억한다
비판적 사고 없이 AI를 쓰면 운전석에서 잠드는 것과 같다
하버드 비즈니스 스쿨과 보스턴 컨설팅 그룹이 함께 진행한 실험이 있습니다(출처: Harvard Business School). AI가 잘 처리할 수 있는 과제에서는 AI 사용 그룹이 앞섰지만, AI의 능력 밖에 있는 과제에서는 반대로 AI를 쓴 그룹의 정답률이 더 낮았습니다. 연구진은 이 현상을 '운전석에서 잠들기'라고 불렀습니다. 핸들을 잡고 있지만 실제로는 판단을 AI에 위임해버린 상태, 그게 문제였습니다.
제 경험상 이건 좀 다릅니다. AI가 틀렸을 때 티가 나는 경우는 오히려 덜 위험합니다. 진짜 위험한 건 『듀얼 브레인』이 지적하는 것처럼 LLM이 내놓는 '미묘하게 틀린 답'입니다. 여기서 LLM(Large Language Model)이란 대규모 텍스트 데이터를 학습해 다음에 올 단어를 통계적으로 예측하는 대형 언어 모델을 뜻합니다. LLM은 진실과 거짓을 구분하는 게 아니라, 그럴듯하게 들리는 말을 생성하는 방식으로 작동하기 때문에, 틀렸어도 자신감 넘치는 문체로 출력합니다. 제가 처음에 이걸 몰랐을 때 잘못된 정보를 그대로 정리해서 공유한 적이 있었는데, 나중에 확인하고 꽤 당황했습니다.
비판적 수용이라는 말도 처음엔 추상적으로 들렸는데, 실제로는 간단한 태도에서 출발합니다. AI가 말한 것이 맞는지 틀리는지를 최소한 한 번은 의심하고, 핵심 수치나 사실은 반드시 원출처에서 확인하는 것입니다. MIT 미디어랩 연구 결과도 같은 방향을 가리킵니다. 도구 없이 스스로 사고하던 그룹이 나중에 챗GPT를 쓰기 시작했을 때, 오히려 더 다양한 뇌 영역이 활성화되고 프롬프트 전략도 더 정교했습니다. 자기 머리로 먼저 생각하는 근육을 만들어둔 사람이 AI도 더 잘 쓴다는 이야기입니다.
저는 이제 AI를 쓰지 않는 시간을 의도적으로 확보합니다. 독서, 산책 중 혼자 생각하기, 종이에 직접 쓰는 것들이 번거롭게 느껴질 때도 있지만, 이게 AI를 제대로 부리기 위한 기초 체력이라는 걸 몸으로 느끼고 있습니다.
자주 묻는 질문
Q. AI를 매일 써도 사고력이 떨어지지 않는 방법이 있나요?
A. 있다고 생각하는 분들도 많고, 저도 그렇게 되고 싶어서 여러 방법을 시도해봤습니다. 제 경험상 핵심은 AI에게 답을 받기 전에 먼저 자신의 생각을 한 줄이라도 써보는 것입니다. MIT 미디어랩 연구 결과도 보여주듯, 스스로 사고하는 습관을 유지한 그룹은 AI를 써도 뇌 활성화 수준이 오히려 높아졌습니다. 사용 빈도보다 사용 방식이 더 중요합니다.
Q. 프롬프트를 잘 쓰려면 어떻게 시작해야 하나요?
A. 처음부터 완벽한 프롬프트를 쓰려고 하면 오히려 막힙니다. 저는 먼저 "내가 지금 뭘 모르는가"를 한 줄로 써보는 것부터 시작했습니다. 메타인지, 즉 자신의 무지를 인식하는 능력이 프롬프트 품질의 출발점입니다. AI에게 역할이나 맥락을 명시적으로 지정하는 것도 효과가 있는데, 이건 LLM의 작동 원리가 우리의 암묵적 상식을 공유하지 않기 때문입니다.
Q. AI가 틀린 답을 낼 때 어떻게 구별하나요?
A. 솔직히 완벽하게 구별하는 방법은 없다고 봅니다. 다만 수치, 날짜, 고유명사처럼 팩트 검증이 가능한 항목은 반드시 원출처를 확인하는 습관이 현실적인 방어선입니다. LLM은 틀린 내용도 자신감 있는 어투로 출력하기 때문에, 문체가 매끄럽다는 이유만으로 내용을 신뢰하는 건 위험합니다. 해당 분야의 전문성이 쌓일수록 이상한 답변에 대한 감지 속도도 빨라집니다.
Q. AI를 쓰지 않는 시간을 따로 만드는 게 정말 필요한가요?
A. 불필요하다고 보는 시각도 있지만, 제 경험으로는 꽤 결정적인 차이를 만들었습니다. 독서나 혼자 생각하는 시간이 쌓이면 AI에게 더 날카로운 질문을 던지게 되고, AI 답변의 허점도 더 잘 보입니다. 인지 부채(cognitive debt), 즉 AI에 사고를 위임하면서 쌓이는 자기 사고 능력의 마이너스 잔고가 무서운 건, 한번 쌓이면 회복이 쉽지 않다는 점입니다.
결론
AI를 잘 쓰는 사람이 되고 싶다면, 역설적으로 AI 밖에서 쌓아야 할 것들이 있습니다. 자기 분야의 전문성, 자신의 무지를 아는 메타인지, 그리고 AI 답변을 의심하는 비판적 사고 습관입니다. 이 세 가지가 없으면 AI는 생산성 도구가 아니라 인지 부채를 쌓는 기계가 될 수 있습니다.
저는 지금도 AI를 매일 씁니다. 하지만 이전과 달리 먼저 제 생각을 정리하고, AI를 확인과 확장의 도구로 씁니다. 도구가 강력해질수록 그 도구를 쥔 사람의 깊이가 더 중요하다는 말, 직접 부딪혀보니 빈말이 아니었습니다. AI 없이 홀로 고군분투하는 시간을 조금씩 확보해보는 것, 그게 제가 지금 드릴 수 있는 가장 솔직한 조언입니다.