伊利诺伊大学厄巴纳-香槟分校(UIUC)团队针对扩散Transformer(DiT)模型在边缘设备的部署难题，提出系统性优化方案。通过设计空间探索，团队确立了深度、宽度、注意力头数等关键参数的选择原则，并验证传统知识蒸馏方法(如TA和MI1)在DiT场景效果有限。实验显示，基于原则性设计的轻量化学生模型在NVIDIAJetsonOrinNano平台实现3倍参数压缩，同时保持FID指标优于现有方法。该研究为AR/VR设备本地化运行Stable-Diffusion级模型提供了可行性路径，相关成果已发表于论文《DesigningParameterandComputeEfficientDiffusionTransformersusingDistillation》。未来工作将扩展至MLP比率等参数优化，并探索分层注意力头定制技术。