端侧推理的收益很直接：不联网、低延迟、隐私友好。随着蒸馏与低比特量化方案成熟，手机本地运行数十亿参数模型已经可以做到秒级响应，适合输入法、摘要、翻译等高频轻量场景。