RoBoLoG

Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet 인공지능(AI) 모델의 투명성Anthropic의 챗봇 Claude와 같은 인공지능(AI) 모델은 종종 블랙박스로 간주됩니다. 정보가 들어가면 응답이 나오지만, 모델이 이러한 응답에 도달하는 방식은 불분명합니다. 이러한 투명성 부족은 AI 시스템의 안전성과 신뢰성을 완전히 신뢰하기 어렵게 만듭니다. Anthropic의 획기적인 연구Anthropic은 AI 블랙박스 내부를 이해하는 데 있어 상당한 진전을 이루었습니다. 획기적인 연구 논문에서, 그들은 "사전 학습(dictionary learning)"이라는 기술을 사용하여 Claude Sonnet이라는 고급 언어 모델..

Average pooling과 global average poolingAverage pooling과 global average pooling은 모두 풀링 층에서 사용되는 기법으로, 입력 특성 맵의 크기를 줄이고 계산 비용을 줄이는 데 사용됩니다. 두 기법의 주요 차이점과 효과를 설명하겠습니다.Average PoolingAverage pooling은 정해진 크기의 필터(또는 커널)를 사용하여 입력 특성 맵의 일정 부분을 평균화합니다. 이 과정을 통해 특성 맵의 크기를 줄이고, 다운샘플링된 출력을 생성합니다.작동 방식: 예를 들어, 2x2 커널을 사용한 average pooling의 경우, 커널이 입력 특성 맵을 겹치지 않고 이동하면서 각 2x2 영역의 값들을 평균냅니다.출력 크기: 커널 크기와 스트라이드(..

[한줄 코딩] Cuda 사용 가능한지 확인하는 방법 (Tensorflow, Pytorch) GPU 사용 가능 여부 확인하기: TensorFlow와 PyTorch딥러닝 작업을 수행할 때 GPU를 활용하면 속도를 크게 향상시킬 수 있습니다. 하지만, 현재 시스템에서 GPU가 사용 가능한지 확인하는 것이 중요합니다. 이를 위해 TensorFlow와 PyTorch를 사용하여 간단하게 GPU 사용 가능 여부를 확인하는 방법을 소개합니다. Why? 터미널 창에서 쉽게 GPU 사용 가능 여부 확인딥러닝 작업을 위해 많은 사용자들이 터미널에서 작업을 진행합니다. 따라서, 터미널 창에서 간단한 명령어를 통해 GPU가 사용 가능한지 확인할 수 있다면 매우 편리합니다. 이를 통해 모델 학습 전 GPU가 제대로 인식되고 있는..

Tensorflow vs Pytorch PyTorch와 TensorFlow는 두 가장 인기 있는 딥러닝 프레임워크로, 각각 고유의 특징과 장단점을 가지고 있습니다. 여기서 "더 좋은" 모델이라는 것은 사용자의 요구 사항, 프로젝트의 요구 사항, 개인적인 선호도에 따라 달라질 수 있습니다. 아래에서는 PyTorch와 TensorFlow의 주요 장단점을 비교하여 각각에 대해 설명하겠습니다. Feature PyTorch TensorFlow API Intuitive, dynamic computation graph Less intuitive, static computation graph Python Integration Deep Python integration, more Pythonic Good Python i..

pytorch로 학습해서 저장한 pth 파일을 cpu에 최적화 하는 방법 PyTorch 모델을 CPU에 최적화하여 배포하기 위해, 모델을 TorchScript로 변환하고, 이를 통해 성능을 향상시킬 수 있습니다. TorchScript는 PyTorch 모델을 최적화하고, 이식 가능한 형식으로 변환하는 방법을 제공합니다. 이 과정을 통해, 모델을 다양한 플랫폼과 환경에서 실행할 수 있게 되며, 특히 CPU 환경에서의 성능을 개선할 수 있습니다. 1. TorchScript로 모델 변환 PyTorch 모델을 TorchScript로 변환하는 주요 방법에는 두 가지가 있습니다: 트레이싱(Tracing) 과 스크립팅(Scripting). 트레이싱(Tracing) 은 모델을 실행하면서 연산을 기록하여 TorchScri..

내가 보려고 만드는 Timm 0.4.12 모델 리스트 adv_inception_v3 bat_resnext26ts botnet26t_256 botnet50ts_256 cait_m36_384 cait_m48_448 cait_s24_224 cait_s24_384 cait_s36_384 cait_xs24_384 cait_xxs24_224 cait_xxs24_384 cait_xxs36_224 cait_xxs36_384 coat_lite_mini coat_lite_small coat_lite_tiny coat_mini coat_tiny convit_base convit_small convit_tiny cspdarknet53 cspdarknet53_iabn cspresnet50 cspresnet50d cspresne..

[Pytorch, timm] Vision Transformer로 Custom Dataset 학습하기 (이미지 분류) 1. VERSION python = 3.8.10 pytorch = 1.9.1 timm = 0.4.12 2. 데이터 dataset 폴더 안에 각 class에 대한 폴더가 있고, class 폴더 안에 사진 파일들이 있는 상황 dataset --class1 ----class1_1.jpg ----class1_2.jpg --class2 ----class2_1.jpg ----class2_2.jpg 3. 코드 import timm import torch import torchvision import torch.utils.data as data import torchvision.transforms as ..

BERT란 무엇인가? BERT(Bidirectional Encoder Representations from Transformers)는 Google에 의해 2018년에 소개된 자연어 처리(NLP)를 위한 전이 학습(transfer learning) 모델입니다. BERT는 특히 문맥을 이해하는 능력이 뛰어나며, 이를 통해 자연어 이해(Natural Language Understanding, NLU) 작업에서 혁신적인 성과를 달성했습니다. BERT는 다양한 NLP 태스크, 예를 들어 질문 응답(Question Answering), 문장 관계 판별(Sentence Relationship), 개체명 인식(Named Entity Recognition) 등에 광범위하게 활용됩니다. BERT의 주요 특징 양방향 Tra..

GPT, LLM을 공부하고 싶은데, 뭐 부터 공부해야할까? LLM(대규모 언어 모델)을 공부하고 싶으시다면, 아래와 같은 순서로 접근하시는 것이 좋습니다: 기본 지식 습득: 프로그래밍 언어: Python 같은 프로그래밍 언어에 익숙해지는 것이 좋습니다. 대부분의 LLM 프로젝트와 라이브러리는 Python으로 작성되어 있습니다. 기계학습 및 심층학습 기초: LLM은 심층학습(Deep Learning)의 한 분야이므로, 신경망(Neural Networks), 역전파(Backpropagation), 최적화(Optimization) 등의 기초적인 머신러닝과 딥러닝 개념을 이해하는 것이 중요합니다. 자연어 처리(Natural Language Processing, NLP): 텍스트 데이터를 다루는 방법, 언어 모델..

OpenAI의 DALL-E가 뭘까? DALL·E는 OpenAI에 의해 개발된 생성 모델로, 주로 이미지 생성에 사용됩니다. DALL·E는 Autoregressive Models 범주에 속합니다. 이 모델은 자연어 설명을 기반으로 해당 설명에 맞는 이미지를 생성하는 능력을 갖추고 있습니다. DALL·E의 이름은 "DALI" (유명한 초현실주의 화가)와 "WALL·E" (애니메이션 영화 속 로봇)를 결합한 것으로, 텍스트로부터 복잡한 이미지를 창의적으로 생성할 수 있는 능력을 상징합니다. DALL·E의 핵심은 텍스트와 이미지 간의 관계를 모델링하는 것입니다. 이를 위해 DALL·E는 Transformer 아키텍처를 기반으로 하며, 텍스트 설명을 입력으로 받아 이미지의 픽셀을 순차적으로 생성하는 방식으로 작동..