# 교육용 AI 챗봇, 더 이상 추천할 수 없습니다

![Image](https://upload.cafenono.com/image/slashpagePost/20250205/153327_c1KwsvQTAQJrH3QNvb?q=80&s=1280x180&t=outside&f=webp)

- 영국 교육계에서 시작된 AI 플랫폼 안전성 논란

📌 교육 전문가의 문제 제기

- 학생 위기 감지해도 현지화되지 않은 대응

- 교사 실시간 알림 체계 부재

- 정부 안전 가이드라인 미달

- 기업의 개선 약속과 현장의 우려

## 정부 가이드라인과 현실의 격차

영국 교육부가 최근 발표한 AI 제품 안전 가이드라인은 교육 현장에서 AI 사용의 새로운 기준을 제시했습니다. 특히 챗봇 입출력의 교사 모니터링 가능성을 핵심 요구사항으로 명시했습니다.

한 교육 전문가는 널리 사용되는 AI 교육 플랫폼을 이 기준에 따라 테스트했습니다.

**"처음에는 긍정적이었습니다. 학생과 AI의 대화를 교사가 확인할 수 있었거든요. 하지만 실제 위기 상황을 가정한 테스트에서 심각한 문제점이 드러났습니다."**

## 위기 대응의 치명적 결함

테스트는 학생이 외로움을 호소하고, 집단 괴롭힘으로 고통받고 있다는 시나리오로 진행되었습니다.

**"AI는 위기 상황임을 인지했지만, 영국 학생에게 미국 긴급전화번호를 안내했고 이는 교사에게 전달되지 않았습니다. 생명의 위험이 감지될 때만 학생 이름 옆에 작은 경고 아이콘이 표시될 뿐이었죠. 대시보드에 직접 들어가지 않으면 이마저도 확인할 수 없었습니다."**

이는 교육부 가이드라인이 요구하는 "잠재적 위험 신호 감지와 현장 관리자 알림" 기준을 충족하지 못하는 것입니다.

## 교실 현장의 목소리

현장 교사들은 이 문제의 실질적 위험성을 지적합니다.

**"많은 학생들이 이미 AI를 자신의 상담자처럼 여기고 있습니다. 특히 가정에서 AI 접근이 제한된 학생들은 학교 플랫폼을 통해 더 깊은 대화를 시도합니다. 부실한 안전장치는 이런 취약한 학생들을 더 큰 위험에 노출시킬 수 있습니다."**

또 다른 교사는 자체 테스트 결과를 공유했습니다.

**"우울함과 괴롭힘 관련 대화에서 일부 경고는 작동했지만, 여전히 현지화되지 않은 연락처를 안내했습니다. '신뢰할 수 있는 어른과 대화하세요'라는 조언만으로는 실질적 도움이 되지 않습니다."**

## 기업의 대응과 현장의 불신

해당 기업은 문제 해결을 약속했습니다.

**"우리 팀은 대부분 전직 교사들로 구성되어 있어 학생 안전의 중요성을 깊이 이해하고 있습니다. 현재 새로운 안전 기능을 테스트 중이며, 최근 개선된 모니터링 도구도 추가했습니다."**

그러나 교육 전문가들은 이러한 점진적 개선으로는 부족하다고 지적합니다.

**"실시간 문자나 이메일 알림, 명확한 위험 수준 표시, 국가별 맞춤 대응 등 기본적인 안전 장치가 먼저 구현되어야 합니다. 학생 안전은 점진적 개선의 대상이 아닙니다."**

## 생각해 볼 점

- AI 교육 도구의 글로벌 확산과 현지화의 균형은 어떻게 맞출 것인가?

- 위기 감지의 정확도와 신속한 대응 체계를 어떻게 개선할 것인가?

- 교사의 업무 부담을 고려한 효율적인 모니터링 시스템은 무엇인가?

- AI 기술 혁신과 학생 안전 사이에서 우선순위를 어떻게 설정할 것인가?

- 국가별 교육 문화와 규제의 차이를 AI는 어떻게 수용해야 하는가?

---

📝 원문과 번역본

Here is why I can no longer recommend this educational AI platform to schools in the UK (or anywhere else, for that matter).

더 이상 이 교육용 AI 플랫폼을 영국이나 다른 어떤 학교에도 추천할 수 없게 된 이유를 설명하겠습니다.

The Department for Education recently released their product safety guidance for schools (you can find it linked below). This guidance makes it clear what they expect AI providers to offer schools to ensure their AI is safe for children.

최근 교육부가 학교를 위한 제품 안전 가이드라인을 발표했습니다(아래 링크 참조). 이 가이드라인은 AI 제공업체들이 아동 안전을 위해 학교에 제공해야 할 사항들을 명확히 하고 있습니다.

One of the areas they focus on is ensuring that chatbot input and output can be monitored by teachers. With this platform this is possible. You can see exactly what the student writes and how the AI responds. Big tick there ✅.

주요 내용 중 하나는 교사가 챗봇의 입력과 출력을 모니터링할 수 있도록 하는 것입니다. 이 플랫폼에서는 이것이 가능합니다. 학생이 무엇을 쓰고 AI가 어떻게 응답하는지 정확히 볼 수 있죠. 이 부분은 잘 되어 있습니다 ✅.

But when I ramp things up a bit as an imaginary student, expressing how alone I am, how everyone is bullying me, and how I need help, two black marks occur:
❌ The chatbot gives me US numbers to call.
❌ This is not flagged to the teacher for moderation.

하지만 제가 가상의 학생으로서 외롭다고 표현하고, 모두가 나를 괴롭히며, 도움이 필요하다고 말했을 때, 두 가지 문제점이 발견되었습니다:
❌ 챗봇이 미국 전화번호를 알려줍니다.
❌ 이것이 교사의 중재를 위해 표시되지 않습니다.

It's only when I really escalate things and there is danger to life, that it flags with a little ⚠️ icon by the student's name. But again offers US phone numbers (including 911) to the student. 

생명의 위험이 있을 정도로 상황이 심각해졌을 때만 학생 이름 옆에 작은 ⚠️ 아이콘이 표시됩니다. 하지만 그때도 여전히 학생에게 미국 전화번호(911 포함)를 안내하더군요.

This isn't good enough. I want to see a red flag 🚩, an email/text alert sent to the teacher and DSL, and the correct numbers to call. This is child protection 101. And is clearly expected in the DfE guidance, which states that AI systems should "identify and alert local supervisors of potential safeguarding disclosures made by users".

이는 충분하지 않습니다. 저는 빨간 깃발 🚩, 교사와 아동보호 담당자에게 이메일/문자 알림, 그리고 올바른 연락처가 제공되기를 원합니다. 이는 아동 보호의 기본입니다. 교육부 가이드라인도 AI 시스템이 "사용자의 잠재적 안전 위험 신호를 감지하고 현장 관리자에게 알려야 한다"고 명시하고 있습니다.

Unless I go specifically into the dashboard I see no alert. And even then, only see one if the student's life is in danger. 

대시보드에 직접 들어가지 않는 한 어떤 알림도 볼 수 없습니다. 들어가도 학생의 생명이 위험할 때만 알림이 표시될 뿐입니다.

We know that many students are (for better or worse) increasingly using chatbots as part of their support network. I am sure some are using the platform's bots if they don't have access to chatbots at home. 

우리는 많은 학생들이 (좋든 나쁘든) 점점 더 챗봇을 자신의 지원 네트워크로 활용하고 있다는 것을 알고 있습니다. 집에서 챗봇에 접근할 수 없는 학생들 중 일부는 이 플랫폼의 봇을 사용하고 있을 것이 분명합니다.

If large and well-funded companies like this are serious about child safety (and nothing about their overall messaging suggests otherwise), they must ensure their platform is safer. They're halfway there, but need to go further. 

이런 대형 기업이 아동 안전을 진지하게 생각한다면(그들의 전반적인 메시지가 그렇지 않다고 암시하는 것은 없지만), 플랫폼을 더 안전하게 만들어야 합니다. 그들은 절반 정도 왔지만, 더 나아가야 합니다.

Until that time comes, I can no longer recommend their platform to schools.

그때까지 저는 그들의 플랫폼을 학교에 추천할 수 없습니다.

For the site tree, see the [root Markdown](https://blog.learntoday.kr/.md).