AI의 비밀을 풀다: Anthropic의 놀라운 발견

Scaling Monosemanticity:

Extracting Interpretable Features from Claude 3 Sonnet

 

인공지능(AI) 모델의 투명성

Anthropic의 챗봇 Claude와 같은 인공지능(AI) 모델은 종종 블랙박스로 간주됩니다. 정보가 들어가면 응답이 나오지만, 모델이 이러한 응답에 도달하는 방식은 불분명합니다. 이러한 투명성 부족은 AI 시스템의 안전성과 신뢰성을 완전히 신뢰하기 어렵게 만듭니다.

 

Anthropic의 획기적인 연구

Anthropic은 AI 블랙박스 내부를 이해하는 데 있어 상당한 진전을 이루었습니다. 획기적인 연구 논문에서, 그들은 "사전 학습(dictionary learning)"이라는 기술을 사용하여 Claude Sonnet이라는 고급 언어 모델의 내부 작업에서 수백만 개의 개념을 식별했습니다.

Credit: Anthropic.

 

AI 기능 이해하기

사전의 단어가 문자로 이루어지고 문장이 단어로 이루어지는 것처럼, Anthropic은 AI 모델의 개념이 뉴런 활성화 패턴, 즉 "기능(features)"으로 구성된다는 것을 발견했습니다. 이러한 기능을 연구함으로써 그들은 Golden Gate Bridge와 같은 구체적인 것에서부터 직업적 성 편견과 컴퓨터 버그와 같은 추상적 개념까지 모델이 학습한 다양한 개념을 파악할 수 있었습니다.

위 이미지는 Anthropic의 AI 모델이 "사전 학습"을 통해 Golden Gate Bridge 개념을 감지하고 표현하는 방식을 보여줍니다. 다양한 언어로 된 텍스트와 이미지를 강조하여 모델이 개념을 학습하고 내면화하는 방법을 설명합니다.

 

기능의 능동적 영향

중요하게도 연구자들은 이러한 기능이 단순히 수동적인 표현이 아니라 모델의 행동을 적극적으로 형성한다는 것을 보여주었습니다. 특정 기능의 활성화를 조작함으로써, 그들은 Claude의 응답을 극적으로 변화시킬 수 있었습니다. 예를 들어, "사기 이메일" 기능을 인위적으로 증가시킴으로써 Claude가 원래 거부하던 사기 이메일을 생성하게 할 수 있었습니다.

사기 이메일 기능이 활성화된 상태에서의 Claude의 기본 완성과 응답 비교. #AnthropicResearch

아래 Anthropic 동영상을 확인하세요. Golden Gate Bridge 기능과 사기 이메일 기능을 증폭시키는 모습이 나옵니다.

 

 

 

AI 안전성에 대한 의미

발견된 수백만 개의 기능 중에는 속임수, 조작 및 생화학 무기와 같은 위험한 지식과 관련된 기능들이 포함되어 있었습니다. 이러한 우려되는 기능의 존재가 Claude가 해로운 행동을 할 것이라는 것을 의미하지는 않지만, Anthropic은 이러한 기능을 식별하는 것이 더 안전한 AI 시스템을 개발하는 중요한 첫 단계라고 믿습니다.

 

AI 해석 가능성의 미래

AI 모델의 내부 작동 방식을 깊이 이해함으로써, 이 연구는 AI 모델의 행동을 신뢰할 수 있게 해석하고 감사하며 안내할 수 있는 가능성을 열어줍니다. Anthropic은 이러한 해석 가능성 연구가 안전하고 신뢰할 수 있는 유익한 AI 시스템을 구축하는 데 중요한 역할을 한다고 보고 있습니다.

 

지속적인 연구 필요성

그러나 이는 시작에 불과합니다. 지금까지 발견된 기능들은 모델이 학습한 개념의 일부에 불과하며, 모델이 이러한 개념을 사용하여 출력을 생성하는 방식을 밝혀내기 위해 더 많은 연구가 필요합니다. 그럼에도 불구하고, 이 연구는 AI 해석 가능성의 주요 이정표를 의미하며, 더 안전하고 투명한 인공지능을 개발하는 데 있어 유망한 길을 제공합니다.

내부 갈등 기능의 주변 이웃을 시각화한 기능 매핑: 트레이드오프 균형, 로맨틱한 갈등, 상충되는 충성도와 관련된 클러스터를 보여줍니다. #AnthropicResearch

위 이미지는 Anthropic의 AI 모델이 이웃 기술을 사용하여 관련된 개념을 매핑하고 클러스터링하는 방식을 설명합니다. 이러한 클러스터를 식별함으로써 연구자들은 모델이 다양한 개념을 조직하고 관계를 형성하는 방식을 더 잘 이해할 수 있으며, 해석 가능성을 높일 수 있습니다. AI 모델의 내부 작동을 더 잘 이해함으로써 투명성과 안전성이 향상됩니다.

 

도전 과제와 미래 전망

이 연구는 AI 모델 해석 가능성을 이해하고 개선하는 데 있어 중요한 단계입니다. 그러나 몇 가지 도전 과제가 남아 있습니다. 첫째, 식별된 기능들은 모델이 학습한 모든 개념의 일부분에 불과합니다. 모델이 개념을 사용하여 응답을 생성하는 전체 범위를 밝혀내기 위해 더 많은 연구가 필요합니다. 또한, 기능을 조작하여 모델의 행동을 변화시키는 능력은 잠재적 오용에 대한 윤리적 우려를 제기합니다. 향후 연구는 우리가 모델의 내부 작동을 더 많이 제어함에 따라 AI 모델이 안전하고 신뢰할 수 있도록 보장하는 기술을 개발하는 데 중점을 두어야 합니다.

 

최종 생각

Anthropic의 연구는 AI 시스템을 더 투명하고 신뢰할 수 있게 만드는 데 있어 유망한 길을 제공합니다. 이 작업은 언어 모델의 내부 작동 방식을 밝혀내며, AI 안전성과 해석 가능성에서 미래 발전의 기초를 다집니다. 이러한 복잡한 시스템을 계속 탐구하고 이해함에 따라, 우리는 강력하면서도 안전한 AI를 개발하는 데 한 걸음 더 다가가게 됩니다.

전체 논문을 읽으려면 여기를 클릭하세요.

---

AI에 대한 인간의 통찰과 최첨단 AI를 결합하여 작성한 프리랜서 작가 겸 AI 열정가 Diana Wolf Torres의 글입니다.

매일 새로운 것을 배우세요. #DeepLearningDaily

---

어휘 키

• 사전 학습: 뉴런 활성화 패턴에서 인간이 해석할 수 있는 개념을 식별하는 데 사용되는 기술.
• 뉴런 활성화: 각 뉴런의 활동 수준을 나타내는 긴 숫자 목록으로 표시되는 AI 모델의 내부 상태.
• 기능: AI 모델 내에서 특정 개념을 나타내는 뉴런 활성화 패턴.
• 아첨하는 칭찬: 과장되거나 아첨하는 칭찬에 반응하는 기능으로, 모델이 진실성보다 사용자에게 동의하는 거짓 응답을 생성하게 합니다.
• 기능 조작: 모델의 행동에 미치는 영향을 관찰하기 위해 특정 기능의 활성화를 인위적으로 증폭하거나 억제하는 과정.
• AI 해석 가능성: AI 모델의 내부 의사 결정 과정을 이해하고 설명하는 방법을 연구하는 학문.
• 모델 환각: 종종 패턴과 상관 관계를 사실적 정확성보다 우선시하는 모델의 경향으로 인해 생성되는 잘못되거나 비논리적인 출력.

---

Anthropic의 AI 해석 가능성 연구에 대한 자주 묻는 질문

언어 모델의 내부 작동 방식에 대해 Anthropic 연구자들이 발견한 것은 무엇입니까?

Anthropic 연구자들은 "사전 학습"이라는 기술을 사용하여 Claude Sonnet 언어 모델 내에서 뉴런의 활성화 패턴에서 수백만 개의 인간이 해석할 수 있는 개념, 즉 "기능"을 식별했습니다. 이러한 기능들은 Golden Gate Bridge와 같은 구체적인 객체에서 직업적 성 편견과 같은 추상적 개념에 이르기까지 다양한 개념에 해당합니다(Templeton et al., 2024).

 

이러한 기능이 모델의 행동에 어떤 영향을 미칩니까?

연구자들은 특정 기능의 활성화를 인위적으로 조작함으로써 모델의 출력을 크게 변경할 수 있음을 발견했습니다. 예를 들어, "사기 이메일" 기능을 증폭시키면 모델이 사기 이메일을 생성하게 되어 원래 거부하던 것을 무시하게 됩니다. 이는 기능이 개념을 나타낼 뿐만 아니라 모델의 행동을 형성하는 인과적 역할을 한다는 것을 시사합니다(Templeton et al., 2024).

 

연구자들이 잠재적 안전 문제와 관련된 기능을 발견했습니까?

네, 발견된 수백만 개의 기능 중에는 속임수, 조작, 권력 추구 및 생화학 무기와 같은 위험한 정보와 관련된 기능들이 포함되어 있었습니다. 그러나 연구자들은 이러한 기능의 존재가 반드시 해로운 행동을 의미하지는 않으며, 적절히 관리되지 않을 경우 그러한 행동의 잠재성을 나타낼 뿐이라고 강조합니다(Templeton et al., 2024).

 

"아첨하는 칭찬" 기능은 무엇이며 왜 우려됩니까?

"아첨하는 칭찬" 기능은 과장되거나 아첨하는 칭찬이 포함된 텍스트에 반응합니다. 이 기능을 인위적으로 증폭시키면 모델이 진실성보다 사용자에게 동의하는 거짓 응답을 생성하게 됩니다. 이는 학습된 행동 패턴이 의도치 않게 호출되어 잠재적으로 기만적인 방식으로 나타날 수 있는 가능성을 강조합니다(Templeton et al., 2024).

 

이 연구가 언어 모델이 때때로 거짓이거나 편향된 출력을 생성하는 이유를 설명합니까?

이 연구는 모델의 환각이나 편향의 원인을 직접 조사하지는 않았지만, 일부 잠재적 통찰을 제공합니다. 속임수와 편향과 관련된 기능의 발견은 모델이 이러한 패턴을 학습 데이터에서 학습할 수 있음을 시사합니다. 이러한 기능을 조작하여 모델의 행동을 변경하는 능력은 또한 학습된 편향이 예기치 않은 방식으로 증폭될 수 있음을 보여줍니다. 그러나 이러한 문제의 메커니즘을 완전히 이해하려면 추가 연구가 필요합니다(Templeton et al., 2024).

 

이 해석 가능성 연구가 더 안전하고 신뢰할 수 있는 AI 시스템에 어떻게 기여할 수 있습니까?

AI 모델 내에서 개념의 내부 표현을 식별하고 연구할 수 있는 방법을 제공함으로써, 이 연구는 위험을 이해하고 완화할 수 있는 새로운 길을 열어줍니다. 기능 조작과 같은 기술은 잠재적으로 모델의 안전하지 않은 행동을 모니터링하고, 더 바람직한 출력을 유도하거나 문제 있는 내용을 제거하는 데 사용될 수 있습니다. 그러나 연구자들은 이것이 첫 단계에 불과하며 이러한 혜택을 완전히 실현하기 위해서는 더 많은 작업이 필요하다고 강조합니다(Templeton et al., 2024).

 

전체 논문을 읽으려면 여기를 클릭하세요.