📑Huawei: "아직도 물어봐야 답하는 에이전트 쓰세요?"

금주 캐치페이퍼는 NVIDIA, Microsoft, Alibaba, Huawei, MiniMax, Google, Snap, Meituan과 함께합니다. 3분만 투자해 쓱 둘러보고, 빠르게 바뀌는 기술의 방향성을 놓치지 마세요!

🌟 에이전트 자율성이 "도구 사용" 수준을 넘어 "자기 개선"까지 도달했다

🔥 3D/4D 생성·비전 모델이 벤치마크에서 실전 배포(물리엔진·시뮬레이터) 단계로 이동 중

🚀 테스트타임 스케일링과 프로액티브 에이전트 — 추론 효율의 새 축이 열리고 있다

🏛️ 소속: CASIA

🏷️ 핵심 키워드: Mobile GUI Agent, Sim-to-Real, Verifiable RL

💭 이런 질문을 해본 적 있나요?

* 모바일 에이전트를 실제 폰 없이 대규모로 훈련할 수 있을까?

* 시뮬레이션에서 훈련한 에이전트가 실제 기기에서도 동작할까?

* 에이전트의 성공/실패를 텍스트 매칭이 아니라 확실하게 판별할 수 있을까?

모바일 에이전트 연구의 최대 병목은 "진짜 폰이 필요하다"는 점이었습니다. MobileGym은 브라우저에서 돌아가는 경량 시뮬레이터로, 인스턴스당 400MB·3초 콜드스타트로 수백 개를 병렬 실행합니다. JSON 기반 결정론적 판정으로 "free-text matching 실패" 문제를 제거하고, 28개 앱·416개 태스크 템플릿을 제공합니다. 실제로 Qwen3-VL-4B에 GRPO를 적용해 +12.8pp 향상을 달성했고, 실기기에서 시뮬 성과의 95.1%를 유지했습니다.

특히 주목할 점:

- 인스턴스당 400MB, 3초 콜드스타트로 수백 개 병렬 실행

- 256 테스트 + 160 훈련 태스크 템플릿, 28개 앱 커버

- Sim-to-Real: 59개 실기기 태스크에서 시뮬 성과 95.1% 보존

🎯 왜 이것이 게임 체인저인가? : 실기기 의존 모바일 에이전트 훈련 → 검증 가능한 경량 시뮬레이터에서 대규모 병렬 RL 훈련 후 실기기 전이

🔗 https://arxiv.org/abs/2605.26114

🏛️ 소속: Alibaba, Beijing Institute of Technology

🏷️ 핵심 키워드: Test-Time Scaling, Collaborative Reasoning, Parallel Inference

💭 이런 질문을 해본 적 있나요?

* LLM이 여러 경로를 동시에 탐색할 때 같은 걸 반복하지 않을까?

* 브랜치끼리 중간 결과를 공유하면 효율이 올라갈까?

* 추가 학습 없이 추론만으로 성능을 끌어올리는 더 좋은 방법은?

시험 볼 때 옆자리 답안지를 슬쩍 보면 시간이 절약되죠. 기존 테스트타임 스케일링은 여러 브랜치가 각자 독립적으로 풀어서, 같은 발견을 중복으로 반복했습니다. Collaborative Parallel Thinking(CPT)은 진행 중인 브랜치에서 중간 발견을 추출해 공유 정보 풀에 모으고, 다른 브랜치가 이를 재사용하게 합니다. 훈련 없이 추론 시점에서만 작동하는 프레임워크입니다.

특히 주목할 점:

- HMMT, AIME 벤치마크에서 기존 병렬 TTS 대비 정확도-지연 시간 파레토 프론티어 개선

- 중복 제거된 쿼리 레벨 정보 풀로 정보 격리 문제 해결

- 롤아웃 예산과 모델 스케일 모두에서 일관된 효과

🎯 왜 이것이 게임 체인저인가? : 병렬 브랜치가 격리된 채 독립 탐색 → 브랜치 간 실시간 정보 공유로 중복 탐색 제거

🔗 https://arxiv.org/abs/2605.27030

🏛️ 소속: Huawei, SJTU

🏷️ 핵심 키워드: Proactive Agent, Idle-Time Compute, Anticipatory AI

💭 이런 질문을 해본 적 있나요?

* AI 에이전트가 유저 질문 전에 미리 정보를 준비할 수 있을까?

* 대화 사이 유휴 시간에 에이전트가 뭔가 유용한 일을 할 수 있을까?

* 프로액티브 에이전트는 할루시네이션이 더 심하지 않을까?

지금의 AI 에이전트는 뛰어난 비서이지만, 물어보기 전엔 가만히 앉아 있습니다. ProAct는 대화 히스토리와 영구 메모리를 분석해 유저의 다음 필요를 예측하고, 유휴 시간에 정보를 미리 수집합니다. 200개 시나리오 × 40개 도메인의 ProActEval 벤치마크에서 테스트한 결과, 단순히 빠르기만 한 게 아니라 할루시네이션까지 줄었습니다.

특히 주목할 점:

- 필요 턴 수 14.8% 감소, 유저 노력 11.7% 절감

- 할루시네이션 비율 28.1% 감소 (반응형 대비)

- MemBench에서 SOTA 반영 정확도(reflective accuracy) 달성

🎯 왜 이것이 게임 체인저인가? : 유저가 물어봐야 반응하는 수동형 에이전트 → 유휴 시간에 미래 필요를 예측·준비하는 능동형 에이전트

🔗 https://arxiv.org/abs/2605.25971

🏛️ 소속: NVIDIA

🏷️ 핵심 키워드: Parallel Box Decoding, Visual Grounding, VLM Detection

💭 이런 질문을 해본 적 있나요?

* VLM이 바운딩 박스를 찍을 때 왜 이렇게 느린 걸까?

* 좌표 토큰을 하나씩 순차 디코딩하는 건 비효율 아닌가?

* 속도와 정밀도를 동시에 잡을 순 없을까?

기존 VLM은 바운딩 박스 하나를 찍으려면 좌표 토큰을 한 땀 한 땀 순차적으로 생성해야 했습니다. 마치 주소를 한 글자씩 불러주는 것처럼요. LocateAnything는 이 관행을 뒤집습니다. Parallel Box Decoding(PBD)으로 바운딩 박스와 포인트를 원자 단위로 한 스텝에 디코딩합니다. 여기에 1.38억 개 훈련 샘플을 담은 대규모 데이터 엔진까지 구축해서, 정밀도와 속도 두 마리 토끼를 모두 잡았습니다.

특히 주목할 점:

- 디코딩 처리량이 기존 대비 수 배 향상 (순차 → 병렬)

- 높은 IoU 기준에서도 localization 정확도가 일관되게 상승

- 138M+ 규모의 LocateAnything-Data로 데이터 다양성 확보

🎯 왜 이것이 게임 체인저인가? : 좌표를 토큰 단위로 하나씩 생성 → 박스를 원자 단위로 한 번에 병렬 디코딩하는 패러다임 전환

🔗 https://arxiv.org/abs/2605.27365

🏛️ 소속: Microsoft, ETH Zurich, Monash University

🏷️ 핵심 키워드: Feed-Forward 3D, Triangle Primitives, Simulation-Ready Mesh

💭 이런 질문을 해본 적 있나요?

* 가우시안 스플래팅은 예쁜데 물리 시뮬레이션에 바로 넣을 수 있나?

* 피드포워드 3D 복원인데 메시 추출까지 한 번에 안 되나?

* 포즈 추정 없이 sparse view만으로 시뮬레이션급 메시를 얻을 수 있나?

3D 복원의 대세인 가우시안 스플래팅은 렌더링은 훌륭하지만, 물리 엔진에 넣으려면 메시로 변환하는 값비싼 후처리가 필수였습니다. 마치 예쁜 그림을 그려놓고 건축 도면으로 다시 그리는 격이죠. TriSplat는 렌더링 프리미티브 자체를 삼각형으로 바꿔버립니다. 한 번의 포워드 패스로 물리 엔진·충돌 감지기·렌더링 파이프라인에 바로 들어가는 메시가 나옵니다.

특히 주목할 점:

- RealEstate10K, DL3DV에서 가우시안 피드포워드 베이스라인 대비 기하 충실도 우위

- 렌더링 품질은 경쟁력 유지하면서 메시 직접 추출 가능

- 포즈 프리(pose-free) 세팅에서도 카메라 파라미터 동시 추정

🎯 왜 이것이 게임 체인저인가? : 가우시안으로 렌더링 → 후처리로 메시 추출 → 삼각형 프리미티브로 렌더링과 물리 시뮬레이션을 단일 패스에 통합

🔗 https://arxiv.org/abs/2605.26115

🏛️ 소속: NTU

🏷️ 핵심 키워드: Spatial Foundation Model, Cross-Paradigm Benchmark, Depth Estimation

💭 이런 질문을 해본 적 있나요?

* 우리가 쓰는 depth 모델, 다른 도메인에서도 잘 될까?

* 546개 장면에서 41개 모델을 동시에 비교하면 결과가 어떨까?

* 풀 어텐션과 바운디드 메모리 전략, 어떤 게 나을까?

올림픽에 비유하면, 지금까지 공간 파운데이션 모델들은 자기 종목 기록만 자랑했습니다. SpatialBench는 19개 데이터셋, 546개 장면, 5개 도메인에서 41개 모델을 6개 패러다임으로 십종경기시킵니다. 결과는 냉혹합니다 — 진정한 올라운더는 없었습니다. 풀 어텐션이 정확도를 극대화하지만 바운디드 메모리가 긴 시퀀스에서 유리하고, 데이터 규모보다 도메인 정합성과 데이터 품질이 더 중요하다는 사실이 드러났습니다.

특히 주목할 점:

- 41개 모델 × 6 패러다임 × 4 입력 밀도 설정의 대규모 체계적 평가

- DA-Next-5M 데이터셋 + DA-Next 베이스라인 모델 신규 공개

- "단순 스케일링 < 도메인 정합 + 데이터 품질" 결론 도출

🎯 왜 이것이 게임 체인저인가? : 자기 도메인에서만 평가 → 19개 데이터셋 교차 평가로 모델의 진짜 일반화 능력 진단

🔗 https://arxiv.org/abs/2605.27367

🏛️ 소속: MiniMax

🏷️ 핵심 키워드: Mixture-of-Experts, Agentic RL, Self-Evolution

💭 이런 질문을 해본 적 있나요?

* 230B 모델을 10B 활성화만으로 프론티어급에 올릴 수 있을까?

* 에이전트 코딩 성능을 위해 특화 설계된 RL 시스템이 있을까?

* 모델이 자기 자신의 학습 과정을 개선할 수 있을까?

엔진은 거대하지만 실제로 불 붙는 실린더는 소수인 레이싱카를 상상해 보세요. MiniMax-M2는 229.9B 파라미터 중 9.8B만 활성화하면서 프론티어급 성능을 달성합니다. 에이전트 코딩/코워크에 특화된 검증 가능 데이터 파이프라인, 장기 에이전트 궤적에 최적화된 Forge RL 시스템, 그리고 가장 놀라운 것은 — 최신 M2.7 체크포인트가 자기 훈련 실행의 버그를 자율적으로 디버깅하고 스캐폴드를 수정하는 자기 진화 단계를 밟고 있다는 점입니다.

특히 주목할 점:

- 229.9B 전체 파라미터, 토큰당 9.8B만 활성화하는 MoE 아키텍처

- Forge: windowed-FIFO 스케줄링 + prefix-tree 병합으로 장기 에이전트 궤적 처리

- M2.7이 자기 훈련 런을 자율 디버깅 + 스캐폴드 수정 (자기 진화 초기 단계)

🎯 왜 이것이 게임 체인저인가? : 대형 모델 = 대형 활성화 + 인간이 관리하는 학습 → 미니 활성화 + 모델이 자기 학습을 자율 개선하는 패러다임

🔗 https://arxiv.org/abs/2605.26494

🏛️ 소속: Google

🏷️ 핵심 키워드: Multimodal Embedding, Unified Representation, RAG

💭 이런 질문을 해본 적 있나요?

* 텍스트·이미지·비디오·오디오를 하나의 벡터 공간에서 검색할 수 있을까?

* 도메인별 특화 임베딩 모델 없이 천문학에서 요리까지 커버할 수 있을까?

* RAG 파이프라인에서 모달리티마다 별도 인코더를 써야 하나?

지금까지 임베딩은 각 모달리티마다 전문 모델이 필요했습니다. 텍스트 검색용 하나, 이미지용 하나, 비디오용 하나... Gemini Embedding 2는 비디오·오디오·이미지·텍스트를 하나의 통합 표현 공간에서 임베딩합니다. 임의의 모달리티 조합을 인터리브 입력으로 받아 처리하며, 대규모 멀티태스크·멀티스테이지 대조 학습으로 특화 모델 수준 이상의 성능을 냅니다.

특히 주목할 점:

- MSCOCO R@1 62.9, Vatex NDCG@10 68.8, MTEB multilingual 69.9, MTEB Code 84.0

- 천문학·바이오·요리 등 전문 도메인에서도 강력한 제로샷 성능

- RAG, 추천, 검색 파이프라인의 인코더를 단일 모델로 통합 가능

🎯 왜 이것이 게임 체인저인가? : 모달리티별 전용 임베딩 모델 N개 → 비디오·오디오·이미지·텍스트 통합 임베딩 1개

🔗 https://arxiv.org/abs/2605.27295

🏛️ 소속: Snap Research, KAUST

🏷️ 핵심 키워드: 4D Mesh Generation, Topology Change, Video-to-4D

💭 이런 질문을 해본 적 있나요?

* 비디오에서 시간에 따라 변하는 3D 메시를 추출할 수 있을까?

* 투명한 유리잔이나 얇은 구조물도 4D로 생성 가능할까?

* Trellis2의 3D 품질을 4D로 확장할 방법이 있을까?

기존 video-to-4D 방법들은 토폴로지 변화, 투명 재질, 얇은 구조 앞에서 무너졌습니다. Helix4D는 Trellis2의 표현력을 계승하면서 비디오 조건부 4D 생성으로 확장합니다. 슬라이딩 윈도우 크로스 프레임 어텐션으로 프레임 간 정보를 공유하고, 3D RoPE의 저주파 대역을 시간축으로 재활용하는 4D 시간 인코딩을 도입했습니다. 파라미터 추가 없이 3D에서 4D로 확장한 것이 핵심입니다.

특히 주목할 점:

- 투명 재질, 내부 표면, 토폴로지 변화 등 기존 난제 처리 가능

- 첫 프레임을 Trellis2로 생성 후 크로스 프레임 어텐션으로 품질 계승

- 추가 파라미터 없이 기존 3D RoPE 대역을 시간 인코딩으로 전용

🎯 왜 이것이 게임 체인저인가? : 단순 형태만 가능한 video-to-4D → 투명체·토폴로지 변화·내부 표면까지 고품질 동적 메시 생성

🔗 https://arxiv.org/abs/2605.26109

🏛️ 소속: Meituan, NUS

🏷️ 핵심 키워드: Personalized Agent, Proactive Interaction, Long-Term Memory

💭 이런 질문을 해본 적 있나요?

* AI 에이전트가 장기간 대화에서 내 취향을 학습할 수 있을까?

* 프론티어 모델도 실제 개인화 시나리오에서 잘할까?

* 에이전트가 부족한 정보를 스스로 찾아 나설 수 있을까?

추론과 도구 사용은 이제 에이전트의 기본기가 됐습니다. 하지만 진짜 유용한 에이전트라면 "나"를 알아야 합니다. VitaBench 2.0은 시간순으로 배열된 일상 상호작용에서 유저 선호를 추출·활용·업데이트하는 능력을 테스트합니다. 500개 비디오와 1만+ 사실 기반 QA를 포함하며, 정보가 부족할 때 능동적으로 수집하는 능력까지 평가합니다. 결과는? 프론티어 모델들도 실제 개인화 과제 앞에선 현재 능력과 실용 요구 사이에 상당한 격차를 보입니다.

특히 주목할 점:

- 시간순 상호작용에서 파편화된 유저 선호를 지속 추출·업데이트하는 능력 평가

- 프론티어 모델도 현실 개인화 과제에서 실용 수준에 미달

- 확장 가능한 메모리 인터페이스로 다양한 메모리 아키텍처 비교 지원

🎯 왜 이것이 게임 체인저인가? : 추론·도구 사용 벤치마크 → 장기 상호작용 기반 개인화·능동성까지 평가하는 벤치마크

🔗 https://arxiv.org/abs/2605.27141

매주 목요일 오전 8시,
바쁜 당신을 기술 발전에 뒤쳐지지 않게 만들어줄
최신 AI 트렌드 요약본이 전달됩니다! 🚀