📑Meta: “비전 인코더? 버렸더니 더 잘 봅니다”

금주 캐치페이퍼는 Meta, Alibaba, Microsoft, NVIDIA, Kwai, Adobe와 함께합니다. 3분만 투자해 쓱 둘러보고, 빠르게 바뀌는 기술의 방향성을 놓치지 마세요!

🌟 멀티모달 통합의 새 기준: 인코더 없이 픽셀만으로 이해+생성을 동시에

🔥 에이전트 재귀·자기증류·메타태스크 — “더 적게 쓰고 더 똑똑하게”가 핵심 흐름

🚀 비디오 생성이 3D 물리 법칙을 배우기 시작 — RL로 기하학적 일관성 확보

🏛️ 소속: Meta, Amazon, HKU, University of Waterloo, University of Surrey

🏷️ 핵심 키워드: Unified Multimodal Model, Pixel Embeddings, Encoder-Free Architecture

💭 이런 질문을 해본 적 있나요?

자동차 엔진룸을 열어보니 부품이 절반으로 줄었는데, 오히려 더 빨라졌다고 상상해보세요. Tuna-2가 정확히 그 일을 해냈습니다. 기존 멀티모달 모델들은 이미지를 이해하려면 CLIP 같은 비전 인코더가, 생성하려면 VAE가 각각 필요했습니다. Tuna-2는 이 모든 걸 버리고, 단순한 패치 임베딩 레이어만으로 픽셀을 직접 처리합니다. 결과는? 이해와 생성 모두 SOTA.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 이해용 인코더 + 생성용 디코더를 따로 훈련 → 픽셀 하나로 이해·생성을 end-to-end 통합, 아키텍처 단순화의 새 패러다임

🔗 https://arxiv.org/abs/2604.24763

🏛️ 소속: Alibaba, ByteDance, Nankai University

🏷️ 핵심 키워드: Audio-Video Generation, Self-Distillation, Autoregressive Streaming

💭 이런 질문을 해본 적 있나요?

보통 빠른 모델을 만들려면 느린 “선생님 모델”을 먼저 만들고, 그 지식을 압축하는 과정을 거칩니다. Mutual Forcing은 이 관행을 뒤집었습니다. 하나의 모델 안에 few-step 모드와 multi-step 모드를 공존시켜, 서로가 서로의 선생님이 됩니다. multi-step이 few-step에게 품질을 가르치고, few-step이 훈련 중 실제 추론 맥락을 만들어 일관성을 높입니다.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : teacher→student 증류 파이프라인 필수 → 단일 모델 내 dual-mode 자기진화로 실시간 AV 생성

🔗 https://arxiv.org/abs/2604.25819

🏛️ 소속: Microsoft Research, Tsinghua University

🏷️ 핵심 키워드: Image Editing, Chain-of-Thought, Meta-Task Decomposition

💭 이런 질문을 해본 적 있나요?

레시피를 외우는 요리사와 재료의 원리를 이해하는 요리사의 차이입니다. Meta-CoT는 모든 편집 의도를 (태스크, 대상, 필요 이해 능력)의 삼중항으로 분해합니다. 그리고 이 삼중항을 5개 기본 메타태스크로 더 쪼갭니다. 놀라운 건, 이 5개만 훈련하면 본 적 없는 편집 작업에도 일반화된다는 것입니다.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 편집 유형마다 개별 학습 → 5개 메타태스크로 분해해 모든 편집에 일반화

🔗 https://arxiv.org/abs/2604.24625

🏛️ 소속: NVIDIA

🏷️ 핵심 키워드: Multimodal LLM, Mixture of Experts, Audio-Video-Text-Image

💭 이런 질문을 해본 적 있나요?

218명의 연구진이 투입된 NVIDIA의 야심작입니다. Nemotron 3 Nano Omni는 텍스트, 이미지, 비디오에 더해 오디오까지 네이티브로 지원하는 첫 Nemotron 모델입니다. 30B 파라미터 중 3B만 활성화하는 MoE 구조로, 문서 이해·장시간 AV 이해·에이전틱 컴퓨터 사용에서 선도적 결과를 보여줍니다. BF16/FP8/FP4 체크포인트와 훈련 데이터 일부까지 공개.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 모달리티별 별도 모델 운용 → 하나의 효율적 MoE 모델이 4개 모달리티를 네이티브 처리

🔗 https://arxiv.org/abs/2604.24954

🏛️ 소속: Kwai (Kuaishou Technology)

🏷️ 핵심 키워드: Long-Context LLM, KV Cache Compression, Summary Tokens

💭 이런 질문을 해본 적 있나요?

고속도로에서 100km 뒤의 풍경을 기억하는 법은 두 가지입니다. 사진을 다 저장하거나, 핵심만 메모하거나. Kwai Summary Attention(KSA)은 후자를 택했습니다. 기존 접근법이 KV 캐시를 헤드 단위(GQA)나 차원 단위(MLA)로 줄이되 시퀀스 길이에는 1:1로 묶여 있었다면, KSA는 과거 문맥을 학습 가능한 요약 토큰으로 의미 수준에서 압축합니다.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : KV 캐시 최소화 vs 전체 보존의 이분법 → 의미 수준 압축이라는 제3의 경로

🔗 https://arxiv.org/abs/2604.24432

🏛️ 소속: Adobe, Vanderbilt University

🏷️ 핵심 키워드: LLM Personalization, Cold-Start, Reinforcement Learning

💭 이런 질문을 해본 적 있나요?

넷플릭스를 처음 가입했는데 추천이 정확하다면? PAT 프레임워크는 cold-start 상황에서 두 가지 궤적을 동시에 추적합니다. 하나는 문체가 비슷한 사용자, 다른 하나는 주제 선호가 비슷한 사용자. 그리고 RL 기반 이중 추론으로 두 신호를 반복적으로 정제·통합합니다.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 풍부한 히스토리 의존 개인화 → 스파스 데이터에서도 이중 궤적 RL로 즉시 개인화

🔗 https://arxiv.org/abs/2604.24996

🏛️ 소속: Monash University, Zhejiang University

🏷️ 핵심 키워드: Text-to-Video, 3D Consistency, Reinforcement Learning

💭 이런 질문을 해본 적 있나요?

영화 속 VFX 아티스트가 매 프레임 물리 법칙을 확인하듯, World-R1은 3D 파운데이션 모델과 VLM을 “심판”으로 세워 비디오 생성 모델을 RL로 훈련합니다. 핵심은 아키텍처를 전혀 건드리지 않는다는 것. Flow-GRPO로 3D 구조 피드백을 반영하고, 주기적 분리 훈련(periodic decoupled training)으로 기하학적 강성과 동적 장면의 유연성을 동시에 확보합니다.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 3D 프라이어를 아키텍처에 하드코딩 → RL 피드백으로 기존 모델에 3D 물리를 소프트 주입

🔗 https://arxiv.org/abs/2604.24764

🏛️ 소속: University of Waterloo, Simon Fraser University

🏷️ 핵심 키워드: VLM Evaluation, 3D Spatial Reasoning, Benchmark Quality

💭 이런 질문을 해본 적 있나요?

시험 문제의 정답지가 틀려 있었다면, 그 시험 성적을 믿을 수 있을까요? ReVSI는 기존 3D 공간 추론 벤치마크의 근본적 결함을 폭로합니다. 포인트클라우드 기반 3D 어노테이션을 영상 기반 평가에 그대로 쓰면서 발생한 오류들 — 보이는 물체 누락, 객체 ID 오류, 기하학 답 왜곡. 381개 씬을 전문 3D 도구로 재어노테이션하고, 프레임 버짓(16/32/64/all)별 변형까지 제공합니다.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 3D 어노테이션을 그대로 VLM 평가에 재활용 → 모델 실제 입력 기준으로 정답성을 보장하는 평가 프로토콜

🔗 https://arxiv.org/abs/2604.24300

🏛️ 소속: Stanford University, MIT, UIUC

🏷️ 핵심 키워드: Multi-Agent Systems, Recursive Computation, Latent-Space Collaboration

💭 이런 질문을 해본 적 있나요?

한 사람이 같은 문제를 반복해서 생각하면 더 나은 답을 내듯, 여러 에이전트가 잠재 공간에서 재귀적으로 협업하면 어떨까요? RecursiveMAS는 이종 에이전트를 하나의 재귀 루프로 연결하고, 내부-외부 루프 학습 알고리즘으로 전체 시스템을 공동 최적화합니다. 텍스트 기반 MAS 대비 토큰을 34.6~75.6% 절감하면서 정확도는 8.3% 향상.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 에이전트 간 텍스트 기반 1회성 소통 → 잠재 공간 재귀 루프로 전체 시스템 공동 최적화

🔗 https://arxiv.org/abs/2604.25917

🏛️ 소속: Chinese Academy of Sciences

🏷️ 핵심 키워드: Data Visualization, Agent Benchmark, Enterprise Workflow

💭 이런 질문을 해본 적 있나요?

코드 샌드박스에서 차트를 예쁘게 그리는 것과, 실제 스프레드시트를 열어 대시보드를 수정하고, 애매한 요구사항을 스스로 확인하는 것은 완전히 다른 능력입니다. DV-World는 260개 태스크로 이 현실을 정면 돌파합니다. 네이티브 스프레드시트 조작, 크로스 플랫폼 시각화 진화, 사용자 시뮬레이터와의 능동적 의도 정렬까지.

특히 주목할 점:

🎯 왜 이것이 게임 체인저인가? : 코드 샌드박스 내 차트 생성 벤치마크 → 네이티브 환경에서 전체 시각화 라이프사이클을 평가

🔗 https://arxiv.org/abs/2604.25914

매주 목요일 오전 8시,
바쁜 당신을 기술 발전에 뒤쳐지지 않게 만들어줄
최신 AI 트렌드 요약본이 전달됩니다! 🚀