needhelp
← Back to blog

Aprofundamento da AI Frontier Research: da simulação de mil cartas aos modelos mundiais

by needhelp
Pesquisa de IA
PrismaLLM
FísicaBrain
Elástico DiT
IVGT

Data: 19/05/2026 | Fonte: AI News Daily | Tempo de leitura: ~15 min

AI Research Banner

1. PrismLLM: Simulando um cluster de 10K GPU com algumas placas

1.1 Contexto e problema da pesquisa

O treinamento de grandes modelos de linguagem (LLMs) requer dezenas de milhares de GPUs/TPUs trabalhando em coordenação – uma infraestrutura enorme com enormes custos operacionais e de construção. Para a maioria das instituições de pesquisa e pequenas e médias empresas, a “escassez de cartões” é o maior gargalo na pesquisa de treinamento de grandes modelos.

A estrutura PrismLLM propõe uma tecnologia de simulação de alta fidelidade, cujo objetivo central pode ser descrito pelo problema de otimização abaixo:

min⁡θL(fsim(x;θ),freal(x))+λ⋅Ω(θ)\min_{\theta} \mathcal{L}\left( f_{\text{sim}}(x; \theta), f_{\text{real}}(x) \right) + \lambda \cdot \Omega(\theta)

onde fsimf_{\text{sim}} é o modelo de simulação, frealf_{\text{real}} é o comportamento de um cluster real de 10K-GPU e Ω(θ)\Omega(\theta) é o termo de regularização.

1.2 Princípios Técnicos Fundamentais

A principal inovação do PrismLLM é a capacidade de simular o comportamento de treinamento de um cluster enorme usando apenas algumas GPUs, com erro extremamente baixo (abaixo de 1%).

真实万卡集群Real 10K-GPU Cluster行为采集模块Behavior Profiler通信模式分析Communication Pattern计算特性建模Compute Characterization内存访问追踪Memory Access Trace高保真仿真引擎PrismLLM Engine小规模硬件Few GPUs训练行为预测Training Simulation超参数调优Hyperparameter Search故障预测Failure Prediction成本估算Cost Estimation

1.3 Principais recursos técnicos

Recurso Descrição Vantagem
Erro de simulação < 1% Deviation from real 10K-GPU cluster training results kept within 1% Extremely high prediction accuracy
Communication topology simulation Accurately simulates collective communication patterns like all-reduce, all-gather No real network environment needed
Hybrid parallel strategy Supports combined simulation of data parallelism, model parallelism, pipeline parallelism Covers mainstream training schemes
Dynamic load modeling Accounts for dynamic factors like GPU utilization fluctuation, memory pressure Closer to real-world scenarios

1.4 Application Scenarios

Research Debugging Cost Reduction=Creal−CsimCreal×100%≈95%\text{Research Debugging Cost Reduction} = \frac{C_{\text{real}} - C_{\text{sim}}}{C_{\text{real}}} \times 100% \approx 95%

  • Hyperparameter search: Pre-screen optimal configurations on small-scale hardware
  • Failure prediction: Identify potential issues in distributed training early
  • Cost estimation: Accurately estimate resource requirements for different training scales

Vídeo: Introdução técnica ao PrismLLM

2. PhysBrain: Aprendendo Física com Vídeo

2.1 Conceito Central

PhysBrain é um modelo básico de senso comum da física que aprende as leis do mundo físico (como gravidade, colisão, atrito, etc.) assistindo a vídeos, melhorando significativamente as capacidades de controle do robô.

a^t=arg⁡max⁡aP(a∣st,Kfıˊsica)\hat{a}t = \arg\max_a P(a | s_t, \mathcal{K}{\text{física}})

onde Kphysics\mathcal{K}_{\text{physics}} representa a base de conhecimento de senso comum da física aprendida pelo modelo a partir do vídeo.

2.2 Arquitetura do Modelo

PhysBrain 核心输出视频输入动力学预测器Dynamics Predictor$\phi_d$视觉编码器Visual Encoder $\phi_v$物理规则Physical Laws物体属性Object Properties控制策略Control Policy $\pi$物理推理模块Physics Reasoner $\phi_p$机器人执行Robot Action视频帧序列$V = (v_1, v_2, ..., v_T)$

2.3 Matriz de Capacidades Chave

\mathbf{Capacidade} = \begin{bmatriz} \text{重力感知} & \text{碰撞预测} & \text{摩擦力建模} \ \text{流体动力学} & \text{刚体运动} & \text{材料属性} \ \text{因果关系} & \text{状态转移} & \text{环境交互} \end{bmatriz}

2.4 Desempenho em benchmarks de inteligência incorporada

25%20%18%15%12%10%物体抓取推拉操作投掷预测堆叠稳定性工具使用导航避障PhysBrain 具身智能测试夺冠领域

Ambientes de teste:

Plataforma Tipo de tarefa Classificação PhysBrain
SAPIEN Manipulação de Objetos Articulados #1
MuJoCo Controle Contínuo #1
Habitat Navegação Visual #1
Isaac Sim Montagem Industrial #1

Robotics Vision

3. Elastic DiT: um novo avanço na geração de imagens móveis em tempo real

3.1 Definição do Problema

Os modelos de difusão tradicionais (como Flux, Stable Diffusion) enfrentam uma severa compensação entre qualidade e latência em dispositivos móveis:

Qualidade∝1Lateˆncia×Computac¸a˜o\text{Qualidade} \propto \frac{1}{\text{Latência} \times \text{Computação}}

Elastic DiT (Elastic Diffusion Transformer) quebra essa restrição por meio do ajuste dinâmico de parâmetros.

3.2 Mecanismo de agendamento de parâmetros dinâmicos

弹性调度器DiT 核心输入层注意力稀疏化Sparse Attn配置 A: 极速模式Lat: < 50ms配置 B: 均衡模式Lat: 200-500ms配置 C: 画质模式Lat: 1-2s设备信息Device Info动态深度$d \in [4, 32]$动态宽度$w \in [256, 1024]$生成图像Generated Image质量偏好Quality Pref弹性调度器Elastic Scheduler用户请求User Request

3.3 Formulação Matemática

A passagem direta do Elastic DiT pode ser expressa como:

xt−1=αtxt+σt⋅E(xt,t,c;θ(d,w))\mathbf{x}_{t-1} = \alpha_t \mathbf{x}_t + \sigma_t \cdot \mathcal{E}(\mathbf{x}_t, t, c; \theta(d, w))

onde os parâmetros de agendamento (d,w)(d, w) são determinados dinamicamente pelas condições do dispositivo e requisitos de qualidade:

(d∗,w∗)=arg⁡min⁡d,wL(θ(d,w))+μ⋅T(d,w,dispositivo)(d^, w^) = \arg\min_{d,w} \mathcal{L}(\theta(d,w)) + \mu \cdot T(d,w, \text{dispositivo})

3.4 Comparação de desempenho

Modelo Dispositivo Latência FID Resolução
Fluxo-desenvolvedor RTX4090 2,1s 5.2 1024x1024
SDXL RTX4090 3,5s 6.1 1024x1024
Elástico DiT (Velocidade) iPhone 16 < 50ms 6.8 512x512
Elastic DiT (Balanced) iPhone 16 300ms 5.0 1024x1024
Elastic DiT (Quality) iPhone 16 1.2s 4.3 1024x1024

O modo de velocidade atinge qualidade de imagem superando os modelos Flux no celular!

Mobile AI

4. IVGT: Estrutura de reconstrução 3D implícita

4.1 Visão Geral Técnica

IVGT (Implicit Volume Geometry Transformer) é uma estrutura inovadora de reconstrução 3D implícita que pode construir automaticamente geometria 3D contínua a partir de imagens 2D comuns e obter renderização de alta precisão.

4.2 Pipeline Técnico

多视角/单张图片深度特征图NeRF/隐式SDF场体积渲染优化Marching Cubes提取三角网格 +PBR材质交互式3D模型图像编码器特征提取隐式场构建网格生成渲染输出用户输入用户输入图像编码器特征提取隐式场构建网格生成渲染输出

4.3 Representação Implícita

IVGT usa uma função de distância sinalizada implícita (SDF) para representar a geometria 3D:

f(x;θ):R3→Rf(\mathbf{x}; \theta): \mathbb{R}^3 \rightarrow \mathbb{R}

  • f(x)=0f(\mathbf{x}) = 0 representa a superfície do objeto
  • f(x)>0f(\mathbf{x}) > 0 representa fora do objeto
  • f(x)<0f(\mathbf{x}) < 0 represents inside the object

The implicit field is converted to an image via the volume rendering equation:

C^(r)=∫tntfT(t)⋅σ(r(t))⋅c(r(t),d) dt\hat{C}(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \cdot \sigma(\mathbf{r}(t)) \cdot \mathbf{c}(\mathbf{r}(t), \mathbf{d}) , dt

where transmittance:

T(t)=exp⁡(−∫tntσ(r(s)) ds)T(t) = \exp\left( -\int_{t_n}^{t} \sigma(\mathbf{r}(s)) , ds \right)

4.4 Performance on Mesh Reconstruction Tasks

Method Chamfer-L1 ↓ F-Score ↑ Training Time Input Requirement
NeRF 0.085 0.72 12h Multi-view
NeuS 0.062 0.81 8h Multi-view
VolSDF 0.058 0.84 10h Multi-view
IVGT 0.031 0.93 2h Single/Multi-view

5. Comprehensive Comparison and Trend Outlook

5.1 Four-Technology Comparison Overview

%%CB6%%

5.2 Development Trend Quantitative Analysis

%%CB7%%

5.3 Key Formula Summary

Technique Core Formula Purpose
PrismLLM min⁡L(fsim,freal)+λΩ\min \mathcal{L}(f_{\text{sim}}, f_{\text{real}}) + \lambda\Omega Training behavior simulation
PhysBrain a^t=arg⁡max⁡P(a∣st,K)\hat{a}_t = \arg\max P(a | s_t, \mathcal{K}) Physics-aware decision making
Elastic DiT xt−1=αtxt+σtE(⋅;θ(d,w))\mathbf{x}_{t-1} = \alpha_t \mathbf{x}_t + \sigma_t \mathcal{E}(\cdot; \theta(d,w)) Dynamic inference
IVGT C^(r)=∫T(t)σ(r(t))c(⋅) dt\hat{C}(\mathbf{r}) = \int T(t)\sigma(\mathbf{r}(t))\mathbf{c}(\cdot)\,dt Volume rendering

5.4 Future Outlook

PrismLLM reduzirá o custo de pesquisa do treinamento de modelos grandes em 95% ou mais, permitindo que a academia participe de pesquisas de modelos de ponta.

PhysBrain abre caminho para robôs de uso geral, com robôs domésticos verdadeiramente de “senso comum” esperados dentro de 3 a 5 anos.

Elastic DiT marca a chegada da geração prática de imagens de IA móvel – a criação de IA em tempo real em telefones se tornará padrão.

A capacidade de reconstrução 3D de imagem única do IVGT revolucionará os fluxos de trabalho de desenvolvimento de jogos e criação de conteúdo AR/VR.

Referências

Artigos

Recursos de vídeo

Projetos de código aberto

Este documento foi compilado pelo AI News Daily em 19/05/2026, acompanhando continuamente os desenvolvimentos de pesquisa de ponta em IA.

Share this page