# AI 모델의 내부 구조 해석: Anthropic의 획기적 발견

![Image](https://upload.cafenono.com/image/slashpagePost/20240708/215316_ubJeea92eSamp8rieB?q=75&s=1280x180&t=outside&f=webp)

Anthropic은 대규모 언어 모델 Claude Sonnet의 내부 작동 원리를 해석하는 데 중요한 진전을 이뤘습니다. 이는 실제 사용되는 현대적 대규모 언어 모델의 내부를 처음으로 자세히 들여다본 사례입니다.

## 연구 방법 및 주요 발견

Anthropic 연구팀은 'Dictionary learning' 기술을 사용하여 모델 내부의 수백만 개의 '특징(features)'을 추출했습니다. 이 특징들은 모델이 다양한 개념을 어떻게 표현하는지 보여줍니다.

1. 광범위한 개념 표현: 추출된 특징들은 도시, 인물, 과학 분야, 프로그래밍 구문 등 다양한 개념을 나타냅니다. 예를 들어, 샌프란시스코, 로잘린드 프랭클린, 면역학, 함수 호출 등에 대한 특징들이 발견되었습니다.

2. 다국어 및 다중 모달 지원: 이 특징들은 여러 언어로 된 텍스트뿐만 아니라 이미지에도 반응합니다. 예를 들어, 골든 게이트 브릿지에 관한 특징은 영어, 일본어, 중국어 등 다양한 언어의 언급과 이미지에 반응했습니다.

3. 추상적 개념 표현: 컴퓨터 코드의 버그, 직업에서의 성 편견, 비밀 유지에 관한 대화 등 더 추상적인 개념에 대한 특징들도 발견되었습니다.

4. 개념 간 관계 파악: 특징들 간의 '거리'를 측정하여 개념적 유사성을 파악할 수 있었습니다. 예를 들어, '내적 갈등' 관련 특징 근처에서 관계 단절, 상충하는 충성심, 논리적 모순 등과 관련된 특징들이 발견되었습니다.

5. 특징 조작 가능성: 연구팀은 이러한 특징들을 인위적으로 조작하여 모델의 응답을 변경할 수 있음을 확인했습니다. 예를 들어, '골든 게이트 브릿지' 특징을 증폭시키자 모델이 자신을 브릿지로 인식하는 등의 변화가 나타났습니다.

## 연구의 의의

1. AI 안전성 향상: 이 발견은 AI 모델을 더 안전하게 만드는 데 기여할 수 있습니다. 예를 들어, 위험한 행동을 모니터링하거나, 바람직한 결과로 유도하거나, 특정 위험한 주제를 제거하는 데 활용될 수 있습니다.

2. 편향성 및 문제행동 관련 특징 발견: 연구팀은 성차별, 인종차별적 주장, AI의 권력 추구, 조작, 비밀주의 등과 관련된 특징들도 발견했습니다. 이는 향후 이러한 문제들을 해결하는 데 도움이 될 수 있습니다.

3. 모델 행동 이해 증진: 특징들을 조작함으로써 모델의 행동 변화를 관찰할 수 있었는데, 이는 모델의 내부 표현이 실제 행동에 어떻게 영향을 미치는지 이해하는 데 도움이 됩니다.

## 향후 과제

1. 더 많은 특징 발견: 현재 발견된 특징들은 모델이 학습한 모든 개념의 일부에 불과합니다. 더 많은 특징을 발견하고 분석하는 것이 필요합니다.

2. 계산 비용 문제 해결: 현재의 기술로는 모든 특징을 찾는 데 필요한 계산 비용이 모델 훈련 비용을 크게 초과합니다. 이를 해결하기 위한 효율적인 방법이 필요합니다.

3. 특징 사용 방식 이해: 특징들의 존재를 확인했지만, 모델이 이를 어떻게 사용하는지 완전히 이해하려면 더 많은 연구가 필요합니다.

4. 안전성 향상에 적용: 발견된 안전 관련 특징들을 실제로 AI 안전성 향상에 활용하는 방법을 개발해야 합니다.

Anthropic은 이번 연구가 AI 모델을 더 깊이 이해하고 안전성을 향상시키는 중요한 이정표가 될 것으로 기대하고 있습니다. 회사는 앞으로도 해석 가능성 연구에 계속 투자하여 AI 기술의 발전과 안전성 확보에 기여할 계획입니다.

[논문보러가기](https://transformer-circuits.pub/2024/scaling-monosemanticity/index.html)

For the site tree, see the [root Markdown](https://blog.learntoday.kr/.md).