共计 2255 个字符,预计需要花费 6 分钟才能阅读完成。
由清华大学与上海人工智能实验室联合打造的多功能图像局部重绘模型 PowerPaint 正式公布,支持的功能包括文本引导的对象修复、上下文感知图像修复、形状引导的对象修复以及超出画布的填充,此模型的功能与之前小编介绍过的 <免费开源 AI 图片修复工具「Lama Cleaner」> 部分功能相似,目前该模型已经上架 GitHub 和 Hugging Face,大家可以在本地安装来体验此模型。
PowerPaint
多功能图像局部重绘模型 PowerPaint 支持ControlNet,图像重绘是基于 Stable Diffusion1.5 模型,通过正向提示词与反向提示词来控制图像生成品质,不过依照官方 GitHub 页面给出的安装方法,会出现模型加载错误,无法启动应用,目前已经有开发者给出了解决方法,一起来看看如何在本地安装 PowerPaint 吧!
项目主页:https://powerpaint.github.io
GitHub 地址:https://github.com/open-mmlab/mmagic/tree/main/projects/powerpaint
如何安装在本地安装 PowerPaint?
1、前面已经说了官方项目有问题,安装会出问题,因此建议大家使用 B 站 UP 主 ” 青龙圣者 ” 修改后的版本,也可以下载青龙圣版本中的 gradio_PowerPaint.py 和 requirements-windows.txt 替换掉官方版本对应文件即可
2、选择一个安装位置,记住安装路径不要有中文,使用 命令提示符(CMD)或者 终端 进行下载及安装,右键单击即可选择 终端 打开或者在地址栏输入 CMD 打开 命令提示符
3、使用以下命令下载 PowerPaint,如果你无法访问 GitHub,可参考 <Github 无法访问?这些方法可以帮你解决问题>
git clone https://github.com/sdbds/powerpaint-for-windows.git
4、接着就是为需要为 PowerPaint 安装及激活 python
环境,使用以下命令
cd powerpaint-for-windows
python -m venv venv
.\venv\Scripts\activate
5、接下来就需要安装第三方依赖,目前国内网络环境安装都是调用清华的源进行下载
pip install -U -r requirements-windows.txt
如果想更换源,可以直接在后面加 -i,如
pip install -U -r requirements-windows.txt
-i https://mirror.baidu.com/pypi/simple
6、依照上面的步骤其实此项目就已经安装完了,但还需要模型才能正常启动,模型可以使用命令行下载也可手动下载
(1)命令行
mkdir models
git lfs install
git lfs clone https://huggingface.co/JunhaoZhuang/PowerPaint-v1/ ./models
(2)手动
在 powerpaint-for-windows 文件夹下新建文件夹并重命名 models,从 Hugging Face 上下载模型并放入 models 文件夹下
模型地址:https://huggingface.co/JunhaoZhuang/PowerPaint-v1/tree/main
7、模型安装完毕后就可以使用以下命令启动 PowerPaint
python gradio_PowerPaint.py
不过在启动 PowerPaint 时会下载 Stable Diffusion1.5 和ControlNet模型,此模型会下载到 C:\Users\Windows 用户名 \.cache\huggingface\hub
目录下
👇加载完模型后即出现下面地址,使用 Ctrl+ 单击鼠标左键即可打开
8、在 powerpaint-for-windows 文件夹下新建一个文本文档,输入以下命令行,然后将文件名从.txt 改为.bat,之后点击该.bat 文件即可快速启动应用
@echo off
call venv\Scripts\activate
python gradio_PowerPaint.py
pause >nul
如何使用 PowerPaint?
使用 PowerPaint 其实非常简单,上传图片后,使用画笔涂出蒙版区域,填写正向提示词 / 反向提示词后,点击 run 即可生成图片,完成区域重绘。
视频教程:
结语
由 PowerPaint 的重绘是基于 Stable Diffusion1.5,因此重绘区域生成的图片质量并不高,尤其是人物生成方面,期待后续支持第三方模型或者 SDXL 模型。本人已将此项目下载上传到国内网盘,如果自己安装不好,可以进去网盘进行下载:
123 网盘:https://www.123pan.com/s/I1oZVv-ymUGA.html 提取码:U0hH