腾讯开源人像生成器 PhotoMaker:只需上传一张或以上照片,无需额外LoRA训练,就能快速生成多种风格的肖像

324次阅读
没有评论

共计 1254 个字符,预计需要花费 4 分钟才能阅读完成。

来自南开大学、腾讯、东京大学等机构的研究团队开源了人像生成器 PhotoMaker,目前应用 Demo 已免费开放体验,只需上传一张或以上照片,无需额外 LoRA 训练,就能快速生成多种风格的肖像,还能保持人脸一致。开发者给了两个体验版本:官方原版以及风格化版本。其中风格化版,要想实现更好的效果,仅需要更改基础模型并添加 LoRA 模块。

项目主页:https://photo-maker.github.io

GitHub 地址:https://github.com/TencentARC/PhotoMaker

官方写实风格的 Demo 地址:https://huggingface.co/spaces/TencentARC/PhotoMaker

风格化版本的 Demo 地址:https://huggingface.co/spaces/TencentARC/PhotoMaker-Style

腾讯开源人像生成器 PhotoMaker:只需上传一张或以上照片,无需额外 LoRA 训练,就能快速生成多种风格的肖像

PhotoMaker

PhotoMaker 是一种高效的个性化文本到图像生成方法,它将任意数量的输入 ID 图像编码为堆栈 ID 嵌入,以保存 ID 信息。通过将艺术绘画、雕塑或人物的老照片作为输入,PhotoMaker 可以将艺术品 / 老照片中的人物带入现实、在保留 ID 属性的同时进行风格化、改变年龄或性别、混合不同人像的特征并以一定的比例输出新特征的人像等。简单来说,PhotoMaker 采用了一种简单而有效的表示方法——堆叠 ID 嵌入。它可将多个身份证明(ID)图像的信息合并成统一的数据结构,这样能更好保存单个 ID 信息的同时,还能整合多个不同 ID 特征。

如何使用 PhotoMaker?

1️⃣ 上传您想要定制的某人的图片。一张图片就足够了,但越多越好。尽管我们不执行面部检测,但上传图片中的脸部应该占据图片的大部分。
2️⃣ 输入一个文本提示,确保使用您想要定制的类别词跟随触发词:img,例如:man img 或 woman img 或 girl img。
3️⃣ 选择您喜欢的风格模板。
4️⃣ 点击提交按钮开始定制。

腾讯开源人像生成器 PhotoMaker:只需上传一张或以上照片,无需额外 LoRA 训练,就能快速生成多种风格的肖像

目前已有开发者将 PhotoMaker 迁移到 ComfyUI,不过对于显卡显存的要求比较高,要求显存 >16G(20G 左右),如果你的显存满足要求可以在 ComfyUI 里安装试试。

ComfyUI PhotoMaker:https://github.com/ZHO-ZHO-ZHO/ComfyUI-PhotoMaker

Comfyui-Mine-PhotoMaker:https://github.com/StartHua/Comfyui-Mine-PhotoMaker

网友利用 PhotoMaker 反向操作,把动漫角色还原为真实人物

试用地址:https://replicate.com/jd7h/photomaker/versions/ec21add1fbbe49f58c1bff41de81c8bd0aa4267eb74019e6a67b5ed871cf86c9

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-17发表,共计1254字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。