AI / ML
플라톤적 표상 가설을 정리로: JEPA의 '좋은 뷰'가 모달리티를 회전 하나로 맞춘다14분
Balestriero & LeCun의 논문 리뷰. 서로 다른 모달리티에서 따로 학습한 JEPA가 '같은 장면의 두 관찰(good views)'을 양성 쌍으로 쓰면 회전 하나 차이로 같은 표상을 배운다는 정리를 증명하고, next-token prediction은 bad-view JEPA라고 보인다. 같은 코퍼스에서 42배 적은 샘플로 같은 정렬, 109M JEPA가 PRH 벤치마크에서 Qwen2.5-72B를 앞서는 결과와 논문이 스스로 적은 한계를 정리한다.
AI논문리뷰JEPAPlatonic Representation HypothesisRepresentation LearningSelf-Supervised LearningScaling LawYann LeCun