#Transformer
5개의 글
AI
Mamba-3: 상태 공간 원리로 시퀀스 모델링을 한 단계 끌어올리다4분Mamba-3는 기존 Mamba-2의 한계(상태 추적 취약, 하드웨어 비효율)를 복소수 SSM, 사다리꼴 이산화, MIMO 세 가지 개선으로 극복해 Transformer보다 빠르고 더 정확한 언어 모델을 구현한 논문입니다.
MambaTransformerAI / LLM
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context3분고정된 문맥 길이 한계를 극복하고 장기 의존성 학습의 새로운 가능성을 연 Transformer-XL 논문을 살펴봅니다.
AITransformer논문리뷰LLMAI / LLM
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale4분텍스트 중심이었던 Transformer를 이미지 인식에 직접 적용한 Vision Transformer(ViT) 논문을 살펴봅니다.
AITransformerViT논문리뷰ComputerVisionAI / LLM
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding4분양방향 트랜스포머 기반의 언어 모델 BERT를 소개한 논문을 살펴봅니다.
AITransformer논문리뷰LLMBERTAI / LLM
Attention Is All You Need : AI 혁명의 시작4분현 시대 생성형 AI의 모태가 되는 Transformer 아키텍처를 제안한 논문을 살펴봅니다.
AITransformer논문리뷰LLM