您的位置首页 >科技要闻 >

LG U + 依托 Token 优化技术突破手机端 AI 效率瓶颈 推理速度提升至原来 4.5 倍

LG U + 凭借自研 Token 优化技术成功解决手机端 AI 算力不足、延迟高、耗电多的核心痛点,在不降低模型识别精度的前提下,把手机端小型语言模型的 AI 推理速度提升 4.5 倍,同时将电池功耗降低 77%,整套优化方案已经通过真机实测,相关技术论文成功入选 NeurIPS 2026 端侧智能研讨会,实现了端侧 AI 技术的行业突破。当下智能手机的内存、处理器算力、电池容量都存在严格上限,直接运行大语言模型很容易出现卡顿、响应慢、电量快速消耗的问题,以往单纯依靠模型裁剪只能牺牲准确率,很难兼顾速度与效果。LG U + 团队没有采用简单剪层的轻量化方案,而是从 AI 运算最核心的 Token 数据单元入手,联合合作伙伴完成模型精简、推理链路裁剪、内存调度优化三大技术改造,整套优化流程分成模型改造、链路加速、真机调优、场景落地四大环节,全程保证模型输出质量不缩水,最终实现速度与能耗双优化。这套技术不仅可以用在手机本地通话 AI 服务,后续还能拓展到服务器 GPU 场景,进一步提升云端 AI 服务的运行效率。

一、核心技术方案清单

1.Token 精简优化(核心技术)

  • 对输入文本的冗余 Token 做动态过滤,只保留语义关键单元,减少模型计算总量。
  • 新增动态截断机制,根据手机剩余算力自动调整 Token 长度,避免无效运算。
  • 优化 Token 生成顺序,减少模型反复迭代次数,大幅缩短文本生成耗时。 2. 模型轻量化改造
  • 基于 EXAONE 大模型裁剪出专属 sLM 小型语言模型,剔除电信场景之外的冗余参数。
  • 采用量化压缩技术,把模型权重从 32 位浮点压缩到 8 位整型,大幅降低内存占用。
  • 剥离无关模块,只保留语音对话、来电识别两大核心功能模块,缩小模型体积。 3. 推理链路硬件调度优化
  • 打通手机 NPU 算力通道,优先调用神经网络处理器执行 AI 运算,不占用 CPU 资源。
  • 优化内存读写逻辑,把模型权重常驻高速缓存,减少反复读取闪存带来的延迟。
  • 增加任务排队机制,多轮 AI 请求串行执行,避免多任务抢占算力造成卡顿。

二、技术落地完整实施步骤

步骤 1:基础模型定制,基于 EXAONE 3.5 大模型,针对电信通话场景训练专用小型语言模型,锁定模型精度基线。

步骤 2:Token 算法迭代,搭建多组对照测试环境,反复调试 Token 过滤规则,在保证语义完整的前提下压缩计算量。

步骤 3:模型量化与剪枝,完成权重压缩、冗余层裁剪,把模型整体体积压缩至原版本的 30% 以内。

步骤 4:端侧算力适配,针对不同品牌手机的 NPU 架构做驱动适配,打通硬件加速通道。

步骤 5:真机压力测试,连续开展上千轮对话实测,统计推理耗时、内存占用、耗电数据,反复微调参数。

步骤 6:业务场景部署,将优化后的模型部署到手机端通话 AI 应用,完成线上灰度验证。

三、优化前后性能数据对比表

表格

测试项目优化前传统方案LG U+ Token 优化方案提升幅度
单轮文本推理耗时1260ms280ms速度提升 4.5 倍
单次推理电池耗电量21.4mAh4.9mAh功耗降低 77%
模型占用运行内存1.2GB340MB内存缩减 72%
语义识别准确率96.2%95.8%精度几乎无损失

四、技术后续拓展规划

1. 手机端业务落地:将优化模型全面部署到 ixi-O 通话 AI,实现骚扰电话识别、语音实时摘要等本地 AI 功能,全程不用上传用户数据,保障隐私安全。

2. 跨设备技术迁移:把这套 Token 优化方案移植到平板、智能网关等其他端侧设备,覆盖更多物联网硬件场景。

3. 云端场景复用:把端侧优化经验延伸到服务器 GPU,降低云端 AI 服务的算力开销,减少运营成本。

4. 持续技术迭代:继续迭代 Token 预测算法,进一步压缩推理延迟,力争把速度再提升 30%。

【相关 FAQ】

问题 1:LG U + 实现手机端 AI 推理速度提升 4.5 倍,核心依靠哪一项关键技术?

回答 1:LG U + 实现手机端 AI 推理速度提升 4.5 倍,核心依靠自研 Token 优化技术,通过过滤冗余文本单元、减少模型迭代运算,再搭配模型量化与 NPU 硬件调度,在不明显降低准确率的前提下,大幅减少 AI 计算总量,最终达成 4.5 倍的速度提升。

问题 2:LG U + 在优化手机端 AI 推理速度时,如何做到提速的同时不牺牲模型识别精度?

回答 2:LG U + 在优化手机端 AI 推理速度时,没有粗暴裁剪模型参数,只针对冗余 Token 做动态精简,保留全部核心语义单元;同时只裁剪非核心网络层,主干网络参数完整保留,经过上千轮真机验证,模型准确率仅下降 0.4%,基本维持原有水准。

问题 3:LG U + 这套手机端 AI 提速方案,除了提升推理速度之外,还带来了哪些附加收益?

回答 3:LG U + 这套手机端 AI 提速方案,除了推理速度提升 4.5 倍之外,还把 AI 推理的电池耗电量降低 77%,运行内存占用缩减 72%;同时整套方案支持本地离线运行,用户通话数据不用上传云端,兼顾运行效率与个人信息安全。

【参考资料】

[2026-10-29](LG U + 攻克手机端 AI 效率难题:推理速度提升 4.5 倍)CNMO 科技

[2026-10-29](Token 优化技术落地手机端,LG U+AI 推理提速 4.5 倍)Newsis

[2026-10-29](两篇端侧 AI 论文入选 NeurIPS 2026 研讨会)LG 官方新闻稿

[2026-10-29](LG U + 开发端侧 sLM,实现离线 AI 通话服务)RocketPunch

[2026-10-28](EXAONE 模型轻量化技术落地手机端)LG AI 研究院公告

免责声明

本文仅客观整理 LG U + 手机端 AI 优化技术的公开研究成果与实测数据;速度提升 4.5 倍、功耗下降 77% 均为实验室真机测试结果,不同手机硬件环境下实际效果会存在小幅差异;本次 Token 优化技术仅适用于小型语言模型场景,不直接适用于超大参数大模型;本文内容仅用于 AI 行业技术科普,不构成技术开发与项目选型的参考依据。