清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

252次阅读
没有评论

共计 2255 个字符,预计需要花费 6 分钟才能阅读完成。

由清华大学与上海人工智能实验室联合打造的多功能图像局部重绘模型 PowerPaint 正式公布,支持的功能包括文本引导的对象修复、上下文感知图像修复、形状引导的对象修复以及超出画布的填充,此模型的功能与之前小编介绍过的 <免费开源 AI 图片修复工具「Lama Cleaner」> 部分功能相似,目前该模型已经上架 GitHub 和 Hugging Face,大家可以在本地安装来体验此模型。

PowerPaint

多功能图像局部重绘模型 PowerPaint 支持ControlNet,图像重绘是基于 Stable Diffusion1.5 模型,通过正向提示词与反向提示词来控制图像生成品质,不过依照官方 GitHub 页面给出的安装方法,会出现模型加载错误,无法启动应用,目前已经有开发者给出了解决方法,一起来看看如何在本地安装 PowerPaint 吧!

项目主页:https://powerpaint.github.io

GitHub 地址:https://github.com/open-mmlab/mmagic/tree/main/projects/powerpaint

模型地址:https://huggingface.co/JunhaoZhuang/PowerPaint-v1

如何安装在本地安装 PowerPaint?

1、前面已经说了官方项目有问题,安装会出问题,因此建议大家使用 B 站 UP 主 "青龙圣者" 修改后的版本,也可以下载青龙圣版本中的 gradio_PowerPaint.py 和 requirements-windows.txt 替换掉官方版本对应文件即可

GitHub 地址:https://github.com/sdbds/powerpaint-for-windows

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

2、选择一个安装位置,记住安装路径不要有中文,使用 命令提示符(CMD)或者 终端 进行下载及安装,右键单击即可选择 终端 打开或者在地址栏输入 CMD 打开 命令提示符

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

3、使用以下命令下载 PowerPaint,如果你无法访问 GitHub,可参考 <Github 无法访问?这些方法可以帮你解决问题>

git clone https://github.com/sdbds/powerpaint-for-windows.git

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

4、接着就是为需要为 PowerPaint 安装及激活 python 环境,使用以下命令

cd powerpaint-for-windows
python -m venv venv
.\venv\Scripts\activate

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

5、接下来就需要安装第三方依赖,目前国内网络环境安装都是调用清华的源进行下载

pip install -U -r requirements-windows.txt

如果想更换源,可以直接在后面加 -i,如

pip install -U -r requirements-windows.txt -i https://mirror.baidu.com/pypi/simple

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

6、依照上面的步骤其实此项目就已经安装完了,但还需要模型才能正常启动,模型可以使用命令行下载也可手动下载

(1)命令行

mkdir models
git lfs install
git lfs clone https://huggingface.co/JunhaoZhuang/PowerPaint-v1/ ./models

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

(2)手动

在 powerpaint-for-windows 文件夹下新建文件夹并重命名 models,从 Hugging Face 上下载模型并放入 models 文件夹下

模型地址:https://huggingface.co/JunhaoZhuang/PowerPaint-v1/tree/main

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

7、模型安装完毕后就可以使用以下命令启动 PowerPaint

python gradio_PowerPaint.py

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

不过在启动 PowerPaint 时会下载 Stable Diffusion1.5ControlNet模型,此模型会下载到 C:\Users\Windows 用户名 \.cache\huggingface\hub 目录下
清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

👇加载完模型后即出现下面地址,使用 Ctrl+ 单击鼠标左键即可打开

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

8、在 powerpaint-for-windows 文件夹下新建一个文本文档,输入以下命令行,然后将文件名从.txt 改为.bat,之后点击该.bat 文件即可快速启动应用

@echo off
call venv\Scripts\activate
python gradio_PowerPaint.py
pause >nul

如何使用 PowerPaint?

使用 PowerPaint 其实非常简单,上传图片后,使用画笔涂出蒙版区域,填写正向提示词 / 反向提示词后,点击 run 即可生成图片,完成区域重绘。

清华大学与上海人工智能实验室联合打造多功能图像局部重绘模型「PowerPaint」,如何在本地安装?

视频教程:

结语

由 PowerPaint 的重绘是基于 Stable Diffusion1.5,因此重绘区域生成的图片质量并不高,尤其是人物生成方面,期待后续支持第三方模型或者 SDXL 模型。本人已将此项目下载上传到国内网盘,如果自己安装不好,可以进去网盘进行下载:

123 网盘:https://www.123pan.com/s/I1oZVv-ymUGA.html 提取码:U0hH

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-12-13发表,共计2255字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。