北大彭宇新团队在 ICML 2026 放出开源项目 AesFormer,和普通滤镜、美颜工具不一样,它不只是调颜色和光影,而是直接做美学照片重构,能修正旅游照片里构图歪、视角不好、人物姿态僵硬这类结构性问题,在保住人物长相、场景不变的前提下,把随手拍的普通旅游照片优化成观感更好的片子,适合不会拍照、出门旅游容易拍出废片的用户,项目代码已经公开在 GitHub,配套还有专门构建的 AesRecon 评测数据集,目前属于科研开源版本,还没有面向普通用户的成品 App。
一、AesFormer 和传统修图工具对比
| 对比项 | 普通滤镜 / 美颜修图 | 北大 AesFormer |
|---|---|---|
| 修改范围 | 调色、磨皮、亮度、滤镜,只改表层像素 | 构图、拍摄视角、主体位置、人物姿态等画面结构修改 |
| 约束条件 | 容易改变场景、人物特征 | 保留人物身份、场景语义不变 |
| 核心逻辑 | 直接对图像做像素美化 | 先诊断照片问题,输出摄影优化方案,再执行编辑 |
| 使用门槛 | 手机 App 直接上手 | 需要本地部署代码,有显卡环境要求 |
| 适用场景 | 日常快速调色美颜 | 旅游废片、构图翻车照片的结构性修复 |
二、AesFormer 两阶段工作框架
- AesThinker 美学规划模块
- AesEditor 条件编辑模块
它会从 7 个摄影维度分析照片,找出构图、视角、姿态的问题,输出一套可执行的编辑方案;先用监督微调打好基础,再用 GRPO-A 美学优化策略,生成多种合理的修图思路,不是只有单一固定改法。
拿到前面的美学方案之后,再做像素级的结构重构,按照方案改动画面布局,完成照片美化。
- 配套数据集:团队从摄影教程视频里挖掘语料,搭建 AesRecon 数据集,一共 9071 组 “差原图 - 优化后” 配对照片,专门用来训练、评测这类美学重构任务。
三、AesFormer 本地部署使用步骤
- 拉取 GitHub 开源代码仓库,核对 ICML2026 对应的版本。
- 准备好符合要求的 GPU 环境,配置依赖库。
- 上传旅游随手拍原图,输入模型。
- 模型自动诊断画面结构问题,输出美学优化方案。
- 执行图像重构,生成优化后的成片,对比原图看构图、姿态变化。
- 按需调整参数,重新生成不同风格的优化版本。
四、最终结论
北大 AesFormer 在 ICML'26 开源,最大亮点是跳出单纯调色,实现照片结构层面的美学重构,很适合拯救旅游时构图、视角翻车的随手拍;但它是科研开源项目,没有手机端成品,上手门槛高,和商用一键修图 App 定位不同,后续能不能做成轻量化工具给普通游客使用,还要看后续开发。
【相关 FAQ】
问题 1:ICML'26 北大 AesFormer 开源,它和普通修图滤镜有什么不一样?
回答 1:普通滤镜只能调光影、颜色,北大 AesFormer 可以做美学照片重构,直接修改构图、拍摄视角、人物姿态这类结构性问题,同时保留人物和场景不变,适合修复旅游随手拍的废片。
问题 2:北大 AesFormer 已经开源,普通用户旅游拍照可以直接拿来用吗?
回答 2:暂时不行,AesFormer 只是科研代码开源,没有手机 App,需要有合适显卡、会部署代码才能跑,不适合没有技术基础的游客直接一键使用。
问题 3:北大 AesFormer 是 ICML'26 的工作,它配套的 AesRecon 数据集是干嘛的?
回答 3:AesRecon 是专门给美学照片重构搭建的评测数据集,一共有 9071 组好坏对照照片,用来训练、测试 AesFormer 判断照片美感、优化构图的能力。
【参考资料】
[2026-06-08](废片也能变大片,北大开源首个「美学照片重构」模型)36 氪
[2026-05-26](北大 AesFormer:ICML2026 美学照片重构论文开源)北京大学多媒体信息处理研究室
[2026-05-01](AesFormer:Transform Everyday Photos into Beautiful Memories)北京大学多媒体信息处理研究室
[2026-05-01](AesFormer: Transform Everyday Photos into Beautiful Memories)arXiv
[2026-04-28](ICML 2026 接收论文:北大 AesFormer 做美学照片重构)新智元
【免责声明】
本文内容基于北大公开科研论文、开源项目资讯整理,AesFormer 属于学术研究模型,美化效果受原图质量、硬件环境影响;该项目无官方商用版本,不承诺稳定一键出片,旅游照片美化效果仅供参考,不构成商用修图方案。
