금주 캐치페이퍼는 Microsoft, ByteDance, Meta, Kwai, Alibaba, Zhipu, Google과 함께합니다. 3분만 투자해 쓱 둘러보고, 빠르게 바뀌는 기술의 방향성을 놓치지 마세요!
📈 최신 AI 트렌드 3줄 요약
🌟 월드 모델과 공간 지능 — 2D 이해를 넘어 3D 일관성과 실시간 상호작용으로 도약
🔥 에이전트 자율성이 ’환경 생성’과 ’자기 진화’까지 확장, 벤치마크도 함께 진화 중
🚀 추론 효율의 새 축 — 컨텍스트 16배 압축, 토큰별 크레딧 할당, 테스트타임 정책 최적화
🗺️ “GPT-5, 집안일 성공률 17%다”
SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks
🏛️ 소속: Microsoft Research, Tsinghua University, Peking University
🏷️ 핵심 키워드: Spatial Reasoning, Multimodal Agent, Interactive Benchmark
💭 이런 질문을 해본 적 있나요?
* AI 에이전트가 집 안을 돌아다니며 물건을 찾을 수 있을까?
* 정적 이미지 QA와 실제 공간에서의 능동적 탐색은 얼마나 다를까?
* 최강 모델 GPT-5는 현실 세계 공간 추론을 얼마나 잘할까?
미로 속 쥐를 상상해 보세요. 눈앞에 보이는 것만으로 판단하고, 직접 이동하며 정보를 수집해야 합니다. SpatialWorld는 바로 이런 조건에서 AI 에이전트의 공간 지능을 테스트합니다. 8가지 시뮬레이션 백엔드를 통합해 760개의 인간 검증 태스크를 구축했고, 에이전트는 1인칭 시각만으로 — 전체 맵 없이 — 집안일, 여행, 소셜 협업 등을 수행해야 합니다. 15개 첨단 모델을 돌려봤더니, 최강 모델 GPT-5조차 평균 성공률 17.4%에 머물렀습니다.
특히 주목할 점:
- GPT-5 성공률 17.4%, 오픈소스 최고 Qwen-3.5는 14.1%
- 작업 성공률과 실행 효율 사이에 명확한 불일치 존재
- 도메인별 성능 편차 극심 — 가정 루틴 vs 소셜 협업 간 격차
🎯 왜 이것이 게임 체인저인가? : 정적 VQA 기반 공간 평가 → 능동적 탐색과 장기 계획이 필요한 실시간 상호작용형 공간 벤치마크
🤖 “에이전트가 환경까지 직접 만든다고?”
Role-Agent: Bootstrapping LLM Agents via Dual-Role Evolution
🏛️ 소속: ByteDance
🏷️ 핵심 키워드: LLM Agent, Dual-Role, Self-Evolution
💭 이런 질문을 해본 적 있나요?
* AI 에이전트가 환경 시뮬레이터 없이도 스스로 훈련할 수 있을까?
* 실패한 경험을 분석해서 약점만 집중 훈련할 수 있을까?
* 하나의 LLM이 에이전트와 환경 역할을 동시에 맡을 수 있을까?
바둑 기사가 혼자 대국하면서 동시에 상대방 역할까지 하는 것을 상상해 보세요. Role-Agent는 단일 LLM이 에이전트(WIA)와 환경(AIW) 두 역할을 동시에 수행하며 부트스트랩 방식으로 공진화합니다. WIA에서는 에이전트가 행동 후 미래 상태를 예측하고, 예측과 실제의 정렬도를 프로세스 보상으로 사용합니다. AIW에서는 실패 궤적의 패턴을 분석해 유사한 실패 유형의 태스크를 집중 훈련합니다.
특히 주목할 점:
- 강력한 베이스라인 대비 평균 4% 이상 성능 향상
- 별도의 환경 시뮬레이터 없이 자기 진화 가능
- 실패 패턴 기반 타겟 훈련으로 데이터 효율성 극대화
🎯 왜 이것이 게임 체인저인가? : 에이전트와 환경이 분리된 독립 훈련 → 하나의 LLM이 양쪽을 모두 맡아 부트스트랩 공진화
⚡ “컨텍스트 16배 압축하면 성능이 얼마나 떨어질까?”
End-to-End Context Compression at Scale
🏛️ 소속: Meta, University of Maryland, NYU
🏷️ 핵심 키워드: Context Compression, KV Cache, Latent Embedding
💭 이런 질문을 해본 적 있나요?
* 긴 컨텍스트의 KV 캐시 메모리 문제를 근본적으로 해결할 수 있을까?
* 16배 압축하면 성능이 얼마나 떨어질까?
* 에이전트가 긴 문서를 ‘훑어보고’ 필요한 부분만 확대할 수 있을까?
두꺼운 교과서를 핵심만 담은 요약 카드로 바꿔도 시험을 잘 볼 수 있다면? Meta가 만든 LCLM(Latent Context Language Models)은 0.6B 인코더가 긴 토큰 시퀀스를 압축 잠재 임베딩으로 변환하고, 4B 디코더가 이를 소비하는 구조입니다. 1:4, 1:8, 1:16 압축비로 350B+ 토큰에 대해 사전훈련했으며, 일반 태스크 성능·압축 속도·피크 메모리의 파레토 프론티어를 모두 갱신했습니다.
특히 주목할 점:
- 압축비 1:16에서도 경쟁력 있는 일반 태스크 성능 유지
- 기존 KV 캐시 압축 방식 대비 정확도-효율 프론티어 개선
- 장기 에이전트 백본으로 활용 가능 — 압축 컨텍스트를 훑고 필요 시 확장
🎯 왜 이것이 게임 체인저인가? : KV 캐시에서 토큰을 하나씩 깎는 방식 → 인코더-디코더로 컨텍스트 자체를 잠재 공간에서 통째로 압축
🎬 “1시간짜리 영상을 통째로 읽어내라니”
Kwai Keye-VL-2.0 Technical Report
🏛️ 소속: Kwai (Kuaishou)
🏷️ 핵심 키워드: MoE Multimodal, Long-Video Understanding, Agentic Intelligence
💭 이런 질문을 해본 적 있나요?
* 한 시간짜리 영상을 AI가 통째로 이해할 수 있을까?
* 멀티모달 모델의 멀티태스크 정렬에서 catastrophic forgetting은 해결 가능할까?
* 오픈소스 모델이 상용 모델 수준의 영상 이해를 할 수 있을까?
1시간짜리 영화를 3분 안에 요약하는 비서를 상상해 보세요. Kwai의 Keye-VL-2.0은 30B MoE 구조에서 3B만 활성화하면서도 256K 컨텍스트를 무손실 처리합니다. DeepSeek Sparse Attention을 GQA 기반 멀티모달 아키텍처에 최초로 적용했고, Cross-Modal Multi-Teacher On-Policy Distillation(MOPD)으로 catastrophic forgetting을 해결했습니다. Video-MME-v2, LongVideoBench, TimeLens에서 동급 모델 중 SOTA를 기록했습니다.
특히 주목할 점:
- 30B-A3B MoE 구조로 3B 활성화만으로 256K 컨텍스트 처리
- DeepSeek Sparse Attention의 GQA 멀티모달 최초 적용
- Code, Tool, Search 시나리오에서 멀티모달 자기 교정 에이전트 협업 지원
🎯 왜 이것이 게임 체인저인가? : 짧은 클립 단위 영상 이해 → 1시간 이상 장편 영상의 무손실 이해와 에이전트 추론
🔬 “추론의 핵심 토큰만 정확히 짚어낸다”
How Does Reasoning Flow? Tracing Attention-Induced Information Flow for Targeted RL in LLMs
🏛️ 소속: Alibaba, SJTU
🏷️ 핵심 키워드: Token-Level Credit, Information Flow, Targeted RL
💭 이런 질문을 해본 적 있나요?
* LLM 추론에서 어떤 토큰이 정답에 기여하는지 알 수 있을까?
* RL 훈련에서 모든 토큰을 동등하게 취급하는 게 효율적일까?
* 어텐션 패턴으로 추론의 ’정보 흐름’을 추적할 수 있을까?
강물의 흐름을 추적해 어디서 합류하고 어디서 갈라지는지 알아내는 것처럼. FlowTracer는 어텐션 기반 방향 비순환 그래프(DAG) 위에서 정답을 향한 정보 흐름을 추적합니다. 각 토큰을 노드로, 어텐션 가중치를 간선 용량으로 설정한 뒤, 정답 영역까지 도달할 수 있는 영향력만 보존합니다. 이렇게 추출한 토큰별 중요도로 RL 보상을 형성하면, 핵심 허브 토큰에 학습 신호가 집중됩니다.
특히 주목할 점:
- 글로벌 구조 기반 토큰 크레딧 할당 (포인트와이즈 휴리스틱 대비 우위)
- 정보 흐름 백본에서 high-impact 허브와 집계 체크포인트 자동 발견
- 다양한 추론 태스크에서 일관된 성능 향상
🎯 왜 이것이 게임 체인저인가? : 모든 토큰에 동일한 RL 보상 → 정보 흐름 기반으로 핵심 토큰에만 타겟 보상
🎭 “포즈 추출 없이 캐릭터가 움직인다?”
SCAIL-2: Unifying Controlled Character Animation with End-to-end In-Context Conditioning
🏛️ 소속: Zhipu AI, Tsinghua University
🏷️ 핵심 키워드: Character Animation, End-to-End, Motion Transfer
💭 이런 질문을 해본 적 있나요?
* 캐릭터 애니메이션에 포즈 스켈레톤이 꼭 필요할까?
* 중간 표현 없이 영상만으로 모션 전이가 가능할까?
* 합성 데이터와 실제 데이터의 품질 격차를 어떻게 줄일 수 있을까?
기존 캐릭터 애니메이션은 ’통역사’를 거쳤습니다 — 포즈 스켈레톤이라는 중간 언어로 번역한 뒤 다시 영상으로 복원했죠. SCAIL-2는 이 통역사를 제거합니다. 드라이빙 영상을 직접 시퀀스에 연결해 모든 시각 정보를 원본에서 취득하며, MotionPair-60K라는 60K 규모의 엔드투엔드 모션 전이 데이터셋을 구축했습니다. Bias-Aware DPO로 합성 데이터의 디테일 오차를 보정해, 기존 SOTA를 크게 상회합니다.
특히 주목할 점:
- 포즈 스켈레톤·마스크 배경 등 중간 표현 완전 제거
- MotionPair-60K: 이질적 캐릭터 애니메이션 태스크 통합 데이터셋
- Bias-Aware DPO로 합성-실제 디테일 격차 보정
🎯 왜 이것이 게임 체인저인가? : 포즈 스켈레톤 기반 다단계 파이프라인 → 영상 직접 입력의 엔드투엔드 캐릭터 애니메이션
🧠 “아직도 로봇 정책을 따로 훈련하세요?”
Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning
🏛️ 소속: Google DeepMind, UC Berkeley
🏷️ 핵심 키워드: Test-Time RL, Flow Policy, Q-Guided
💭 이런 질문을 해본 적 있나요?
* 정책 학습 없이 추론 시점에서만 RL 최적화를 할 수 있을까?
* 디퓨전/플로우 모델을 RL에 안정적으로 통합하는 방법이 있을까?
* 모델이 커지면 액터-크리틱 훈련의 불안정성도 커지는데, 해법은?
레이싱카의 운전 실력(정책)과 코스 판단력(가치 함수)을 따로 훈련한 뒤, 실전에서 판단력으로 운전을 조율하는 방식입니다. QGF(Q-Guided Flow)는 플로우 정책과 가치 함수 크리틱을 각각 사전훈련하고, 테스트 시점에서 가치 그래디언트로 정책을 유도합니다. 추가 정책 학습 없이도 고가치 행동을 생성하며, 모델 크기가 커질수록 액터-크리틱의 불안정성을 회피하면서 성능이 향상됩니다.
특히 주목할 점:
- 정책 최적화를 테스트 타임에서만 수행 — 훈련 비용 대폭 절감
- 고차원 행동 공간의 오프라인 RL 벤치마크에서 기존 테스트타임 방법 상회
- 모델 크기 증가 시 액터-크리틱 불안정성 회피 → 유리한 스케일링 특성
🎯 왜 이것이 게임 체인저인가? : 정책과 크리틱을 불안정하게 동시 훈련 → 안정적 사전훈련 후 테스트타임 가치 유도만으로 정책 개선
🌐 “55배 가볍고 10배 빠른 월드 모델이 왔다”
Latent Spatial Memory for Video World Models
🏛️ 소속: Monash University, University of Adelaide
🏷️ 핵심 키워드: Video World Model, Latent Space, 3D Consistency
💭 이런 질문을 해본 적 있나요?
* 비디오 월드 모델에서 3D 일관성을 유지하면서 속도를 높일 수 있을까?
* 포인트 클라우드 메모리가 꼭 RGB 공간에 있어야 할까?
* 디퓨전 모델의 잠재 공간에 직접 3D 기하를 저장하면 어떨까?
기존 비디오 월드 모델은 장면 정보를 RGB 포인트 클라우드로 저장한 뒤 다시 인코딩하는 ’왕복 여행’을 반복했습니다. Mirage는 이 여행을 없앱니다. 디퓨전 잠재 공간에 직접 3D 캐시를 만들어 장면 정보를 저장하고, 깊이 기반 역투영으로 잠재 토큰을 3D로 올린 뒤, 직접 잠재 공간 워핑으로 새로운 뷰를 합성합니다. 픽셀 공간을 거치지 않으니 정보 손실도 연산 부담도 사라집니다.
특히 주목할 점:
- 엔드투엔드 비디오 생성 속도 10.57배 향상
- 메모리 사용량 55배 감소 (기존 명시적 3D 베이스라인 대비)
- WorldScore SOTA + RealEstate10K에서 강력한 재구성 품질
🎯 왜 이것이 게임 체인저인가? : RGB 포인트 클라우드 기반 명시적 3D 메모리 → 디퓨전 잠재 공간의 영구적 3D 캐시
🛰️ “위성사진 하나면 3D 도시가 10분에 완성된다”
ABot-Earth 0.5: Generative 3D Earth Model
🏛️ 소속: Independent
🏷️ 핵심 키워드: 3D Gaussian Splatting, Satellite-to-3D, Digital Earth
💭 이런 질문을 해본 적 있나요?
* 위성사진만으로 도시 규모의 3D 모델을 만들 수 있을까?
* 대규모 3D 복원의 비용과 시간 장벽을 획기적으로 낮출 수 있을까?
* 웹 브라우저에서 실시간으로 AI가 만든 3D 지구를 탐색할 수 있을까?
구글 어스의 3D 뷰가 사실은 AI가 만든 것이라면? ABot-Earth 0.5는 3D Gaussian Splatting을 직접 생성하는 모델로, 위성 이미지 하나만으로 1㎢당 10분 이내에 사실적인 3D 도시 환경을 합성합니다. 실제 도시 재구성 데이터로 훈련해 현실적인 기하와 텍스처를 학습했고, 계층적 LOD 구조로 웹 맵 엔진에서 실시간 시각화가 가능합니다. 자율 드론 내비게이션 같은 Embodied AI 응용의 시뮬-리얼 갭을 효과적으로 줄입니다.
특히 주목할 점:
- 1㎢당 10분 이내 3D 장면 합성 — 위성 이미지만으로
- 웹 기반 실시간 인터랙티브 시각화 (계층적 LOD)
- 자율 UAV 내비게이션 등 Embodied AI의 시뮬-리얼 갭 완화
🎯 왜 이것이 게임 체인저인가? : 다시점 촬영 기반 고비용 3D 복원 → 위성 이미지 한 장으로 저비용·고속 생성형 3D 지구 모델
매주 목요일 오전 8시,
바쁜 당신을 기술 발전에 뒤쳐지지 않게 만들어줄
최신 AI 트렌드 요약본이 전달됩니다! 🚀