Piper 2: Arcade 게임 생성기, 53% → 80% 대폭 향상
C
Contenjoo
업데이트 소식
수정시각
아케이드를 2월에 출시했을 때, 우리는 교사들이 1분 이내에 맞춤형 학습 게임을 만들 수 있다는 약속을 기반으로 했습니다. 우리는 교사들의 시간을 절약하고 학생들을 위해 차별화된 자료를 만들 수 있게 해주고 싶었습니다.
그 약속에는 게임이 단순히 빠르게 생성되는 것뿐만 아니라 좋은 퀄리티여야 한다는 뜻이 담겨 있었습니다. 빠르게 만드는 것은 쉽지만, 교사가 거의 손을 대지 않고 바로 사용할 수 있을 만큼 높은 완성도가 필요했습니다. 또한 텍스트뿐만 아니라 오디오와 이미지도 함께 지원해야 했습니다. 모든 학년과 과목을 다루려면 텍스트만으로는 충분하지 않기 때문입니다.
지난 한 달 동안 우리는 AI 게임 생성기 'Piper'를 대대적으로 개선하는 데 집중했습니다. 첫 번째 생성기에 비해 큰 도약을 이룬 Piper 2를 소개하게 되어 정말 기쁩니다. 아래에서 우리의 접근 방식과 개선한 점을 자세히 알려드리겠습니다.
평가 시스템 구축하기
게임이 "좋다"는 것을 어떻게 정의할까요? 먼저 기준을 정하고, 그 기준에 맞는지 평가하는 시스템을 만들어야 했습니다.
1.
내용: 모든 답이 완전하고 독점적으로 정확한가?
2.
충실도: 게임이 교사가 요청한 내용과 일치하는가?
3.
이미지: 이미지들이 게임의 내용에 정확하게 맞는가?
4.
오디오: 오디오가 표현해야 할 소리를 제대로 나타내는가?
이 중 하나라도 실패하면 전체 평가를 통과하지 못하도록 했습니다.
첫 평가를 돌려보니 통과율은 52.5%였습니다. 생성된 게임의 거의 절반이 교사가 사용하기에 의미 있는 문제를 가지고 있었습니다.
완벽을 추구하다
이 숫자를 높이는 것이 팀의 최우선 과제가 되었습니다. 그 근본적인 약속을 지키지 못한다면 다른 어떤 노력도 의미가 없었기 때문입니다. 초기 목표는 80% 통과율이었고, 궁극적으로는 (아마도 도달하기 어려운) **100%**를 목표로 삼았습니다.
추가 평가를 진행하고 결과를 분석한 결과, 세 가지 흔한 실패 원인을 발견했습니다.
1.
낮은 품질이거나 부정확한 이미지
2.
틀리거나 모호한 답변
3.
게임 내용이 요청한 것과 일치하지 않음
이 문제들이 실패 사례에서 큰 비중을 차지했기 때문에, 이것들만 고쳐도 80% 목표를 달성할 수 있었습니다.
Picasso: 이미지 전담 에이전트
AI가 텍스트와 함께 이미지를 포함시키는 것은 생각보다 매우 어려운 문제입니다. 우리는 여러 이미지 검색 및 생성 도구 중에서 가장 적합한 이미지를 선택하는 전담 에이전트 Picasso를 만들었습니다.
일부 이미지 유형은 특히 더 어려웠습니다. Picasso가 가장 힘들어했던 것은 공간적 정확성과 상징적 정확성이 필요한 도식적 이미지들이었습니다. 예를 들어 "8시 27분을 가리키는 아날로그 시계", "스위치와 전구가 있는 간단한 전기 회로", "금화 4개" 같은 것들이었습니다. 그래서 Picasso에게 이러한 구조적 이미지를 잘 다루는 전용 도구들을 새로 주고, 각 요청에 맞는 도구를 안정적으로 선택할 수 있도록 프롬프트를 조정했습니다.
새로운 도구를 사용한 게임 이미지 예시 몇 가지를 아래에 공유합니다.
스스로 고치기 (Self-healing)
우리에게 가장 큰 두 가지 문제 — 잘못된 답변과 요청에서 벗어난 내용 — 은 하나의 해결책으로 크게 개선되었습니다. 생성된 게임을 사용자에게 보내기 전에 전용 검사기를 통해 정확성과 충실도 문제를 확인한 뒤, Piper에게 스스로 수정할 기회를 주는 자가 치유(self-healing) 기능을 도입한 것입니다.
일부 게임은 약 30초 만에 생성되지만, 다른 게임은 1분 이상 걸리는 것을 눈치채셨을 수도 있습니다. 시간이 더 걸리는 게임은 문제가 있어서 고쳐야 했던 경우일 가능성이 큽니다. 자가 치유 기능 때문에 게임이 생성 과정을 한 번 이상 거치게 됩니다.
이전에는 자주 실패하던 게임 유형들이 이제 훨씬 높은 통과율을 보입니다.
•
복잡한 수학 및 논리 문제는 풀이 과정을 다시 확인하고 수정합니다.
•
빈칸 채우기 게임은 한 단어가 여러 빈칸에 모호하게 들어가지 않도록 검토합니다.
•
긴 워크시트나 수업 계획을 게임으로 변환할 때 원본 내용에 더 충실하게 유지합니다.
목표 달성
이러한 수정들과 모델 및 프롬프트의 꾸준한 개선으로 80% 통과율 목표를 달성했습니다. 하지만 아직 갈 길이 멀습니다. 텍스트-to-음성 기능이 단어를 잘못 발음하거나 언어를 잘못 선택하기도 하고, 이미지는 여전히 부정확하거나 품질이 낮은 경우가 많습니다. Piper는 현재 진행 중인 사건 같은 최신 콘텐츠를 인식하지 못합니다.
또한 AI 생성물이 교사가 정확히 원하는 것을 항상 완벽하게 맞추지는 못한다는 점도 알고 있습니다. 그래서 지속적인 품질 개선과 함께, 교사들이 직접 불완전한 부분을 수정할 수 있는 편집 도구도 제공할 예정입니다.
아케이드는 아직 매우 새로운 제품이며, 곧 많은 개선과 흥미로운 새 기능들이 추가될 예정입니다. 아케이드나 교육 분야 유사 프로젝트에서 함께 일하고 싶으시다면, 샌프란시스코와 싱가포르에서 다양한 역할을 채용 중이니 언제든 연락 주세요!
'오늘배움' 구독하기
사이트를 구독하면 새 포스트 등 최신 업데이트를 알림과 메일로 가장 먼저 받아보실 수 있습니다.
Slashpage에 가입하고 '오늘배움'을 구독하세요!
Slashpage에 가입하고 '오늘배움'을 구독하세요!
