AI가 학생들의 공부에 정말 도움이 될까? 그걸 측정하는 새로운 방법이 나왔습니다
C
Contenjoo
에듀테크 오늘
수정시각
날짜
Empty
교육 분야에서 AI 활용이 빠르게 늘고 있습니다. ChatGPT 같은 도구로 언제 어디서든 개인 맞춤형 학습 지원을 받을 수 있는 시대가 열렸죠. 그런데 한 가지 중요한 질문이 남아 있습니다.
"AI로 공부하면 진짜 실력이 느는 걸까?"
이 질문에 답하기 위해 OpenAI가 에스토니아 타르투대학교, 스탠퍼드대학교 SCALE 이니셔티브와 함께 **학습 성과 측정 도구(Learning Outcomes Measurement Suite)**를 개발했습니다. 오늘은 이 도구가 왜 필요하고, 어떤 원리로 작동하는지 쉽게 풀어보겠습니다.
기존 연구의 한계: 시험 점수만으로는 부족하다
지금까지 "AI가 학습에 도움이 되는가"를 알아보는 연구는 대부분 시험 점수에 초점을 맞췄습니다. 점수가 올랐으면 효과가 있다, 아니면 없다 — 이런 식이었죠.
하지만 잠깐 생각해보면, 이건 너무 단순합니다.
•
시험 직전에 벼락치기로 점수가 올랐다면, 그게 진짜 학습일까요?
•
단기 암기력은 좋아졌는데, 스스로 생각하는 힘은 오히려 줄었다면요?
•
한 과목에서 효과가 있었다고 해서 다른 과목에서도 통할까요?
결국 "시간이 지나도 실력이 유지되는가", "스스로 공부하는 힘이 길러지는가" 같은 더 깊은 질문에는 기존 방법으로 답하기 어려웠습니다.
OpenAI의 첫 실험: 스터디 모드 효과 검증
OpenAI는 먼저 자체적으로 실험을 해봤습니다. 대학생 300명 이상을 대상으로 신경과학과 미시경제학 시험 준비에 AI 스터디 모드를 활용하게 한 것입니다.
스터디 모드란 단순히 답을 알려주는 게 아니라, 교사처럼 단계별로 안내하고, 이해도를 확인하며, 연습 기회를 제공하는 방식으로 설계된 AI 학습 도구입니다.
실험 결과는 이랬습니다.
•
미시경제학: 스터디 모드를 쓴 학생들이 기존 방식(구글 검색, 유튜브 등)으로 공부한 학생들보다 약 15% 높은 점수를 기록했습니다.
•
신경과학: 긍정적인 방향이긴 했지만, 통계적으로 뚜렷한 차이를 보이지는 않았습니다.
과목마다 결과가 다르고, 학생마다 AI를 활용하는 정도도 달랐습니다. 이 실험을 통해 OpenAI 팀은 확신하게 됩니다. 한두 번 시험 점수만 봐서는 AI의 진짜 학습 효과를 알 수 없다는 것을요.
새로운 접근: 학습 성과 측정 도구란?
그래서 탄생한 것이 **학습 성과 측정 도구(Learning Outcomes Measurement Suite)**입니다. 이 도구는 크게 세 가지를 봅니다.
1. AI가 어떻게 가르치고 있는가
AI 모델이 좋은 교수법에 맞게 행동하고 있는지를 평가합니다. 그냥 답만 던져주는 건지, 아니면 학생이 스스로 생각하도록 이끄는 건지를 확인하는 것이죠.
2. 학생이 어떻게 반응하는가
실제 학습 대화에서 "학습이 일어나는 순간"을 자동으로 감지합니다. 학생이 적극적으로 참여했는지, 실수를 교정했는지, 어려운 문제에 끈기 있게 도전했는지 같은 것들을 분석합니다.
3. 시간이 지나면서 어떤 변화가 있는가
여기가 핵심입니다. 같은 학생이 몇 주, 몇 달에 걸쳐 AI와 상호작용하면서 어떤 변화를 보이는지를 추적합니다.
구체적으로 측정하는 역량은 다음과 같습니다.
•
자기주도 학습력: AI에 의존하지 않고 스스로 공부 방향을 잡는 힘
•
학습 참여의 질: 다양하고 깊이 있는 학습 활동을 하고 있는가
•
끈기: 어려운 문제를 만났을 때 포기하지 않고 붙잡는 정도
•
메타인지: 자신의 학습 방법을 스스로 점검하고 개선하는 능력
•
기억력: 이전에 배운 내용을 정확히 기억하는 정도
시험 점수라는 한 가지 지표 대신, 학습의 과정 전체를 입체적으로 보겠다는 것입니다.
에스토니아에서 시작된 대규모 검증
이 측정 도구는 현재 에스토니아에서 대규모 검증이 진행 중입니다. 16~18세 학생 약 2만 명을 대상으로 수개월에 걸쳐 연구가 이루어지고 있죠.
에스토니아는 디지털 교육 선진국으로 유명한 나라입니다. 에스토니아 타르투대학교의 Jaan Aru 교수는 이렇게 말했습니다.
"에스토니아는 교육을 고정된 것이 아니라 계속 개선하는 시스템으로 봅니다. AI가 학습에 미치는 장기적 영향을 어떻게 측정할지, 바로 그 방법을 OpenAI와 함께 만들어가고 있습니다."
교육 현장에 주는 시사점
이 연구가 중요한 이유는 단순히 "AI가 좋다/나쁘다"를 판단하기 위한 것이 아니기 때문입니다. 핵심 메시지는 이렇습니다.
첫째, 시험 점수만 보는 건 불충분합니다. AI 시대의 교육 효과는 비판적 사고력, 창의성, 학습 동기 같은 더 넓은 역량으로 측정해야 합니다.
둘째, 장기적 관점이 필요합니다. 한 번의 실험이 아니라, 시간의 흐름에 따른 변화를 추적해야 AI의 진짜 교육적 가치를 알 수 있습니다.
셋째, 각 교육 환경에 맞는 기준이 있어야 합니다. 나라마다, 학교마다 교육 목표가 다릅니다. 하나의 잣대로 모든 것을 평가할 수는 없습니다. 이 측정 도구는 각 교육 시스템이 자기 기준에 맞게 활용할 수 있도록 유연하게 설계되었습니다.
앞으로의 방향
OpenAI는 이 측정 도구를 검증한 뒤 학교, 대학, 교육 기관 누구나 사용할 수 있는 공개 자원으로 제공할 계획입니다. 스탠퍼드, MIT 미디어랩, 애리조나주립대학교, UCL 등 다양한 기관과의 협력 연구도 이어지고 있습니다.
AI 교육 도구가 빠르게 퍼지고 있는 지금, 정말 중요한 건 "쓰느냐 안 쓰느냐"가 아니라 "잘 쓰고 있느냐"를 어떻게 알 수 있는가입니다. 이 측정 도구가 그 답을 찾는 출발점이 될 수 있기를 기대합니다.
'오늘배움' 구독하기
사이트를 구독하면 새 포스트 등 최신 업데이트를 알림과 메일로 가장 먼저 받아보실 수 있습니다.
Slashpage에 가입하고 '오늘배움'을 구독하세요!
Slashpage에 가입하고 '오늘배움'을 구독하세요!
