【免费开源】实时换脸工具,一共两版,根据需求自取

本站资源仅用于防诈科普和安全测试技术人员使用,禁止商用或传播

还在DeepFace架构找那种傻瓜图片一键换脸的,请看完这篇文章后再来阅读此帖

图片[1]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

DeepFace生态的工具和相关的技术资料在自媒体平台、社区论坛上早就已经开源,基础的操作教程也随处可见,基础的常识和原理去白嫖就行了。很多时候相信DeepFace架构还能一键换脸实现高特征还原的,根本原因就是急于求成,信息也主要来自夸大效果的营销频道、营销号,这种地方是白嫖不到什么有价值的信息的,与其反复被喂信息,不如主动去一点一点的了解底层逻辑,不然只会让你在被洗脑,被割的路上越走越远,所以远离这些夸大效果的营销号就行了。

功底扎实的没人会把一些基础的入门操作当商品售卖,有过经验的都清楚,服务新手客户不是在扯皮、就是在扯皮的路上,除非他干的是一锤子买卖,俗称“割现”,围绕自身技能建立稳固的小生态,打磨一件事到细分领域,赚圈子持续送上门的钱,肯定比贩卖技术更长久。

总结来说,能换≠能用≠能过审,你比我清楚用这个东西准备拿来干嘛

本站上架的工具和科普也都是基于能过审为最终目来筛选与讲解,和我们合作几个友商有一半的人是自己钻研,都是花了大量的时间和精力在各种论坛也包括本站持续的白嫖经验,毕竟做高客单复购赛道,基础功底扎实是第一门槛,功底扎实心态稳,可扩展的方向就越多,解决的需求也就越多,但这类人也只在少数,如果你对自己的炼丹效果有自信,完全可以加我们的炼丹小群互相交流,没有什么SB门槛费,简单审核就能一起玩,也增加了一起合作的机会。
如果有人觉的这块繁琐、麻烦,这里难那里不好突破、不想死磕,那么站长好言奉劝这类想一步登天的朋友,尽早放弃,高客单的行业并不适合你,去其他走量的赛道。

大道理不讲,我们进入正题:

DeepFaceLive原版项目;GitHub:

 https://github.com/iperov/DeepFaceLive

DeepFaceLive汉化二开版本:

链接:https://pan.baidu.com/s/1YbRoD0xkPTOAHXnmaxGuwA?pwd=chbx
提取码:chbx

Rope直播版:

https://mega.nz/file/CN1XUQyT#GBf1Jms42_g_sbKWz8Uz2H3R5CN9fQ441_zpt5HhbN0

特别注意:
一、Rope直播版可以理解为DeepFace系列的轻量化版本,对比DeepFaceLive资源优化会好一些,同样的显卡较DeepFaceLive延迟会比较低,但仅限于动作幅度小的KYC场景,如果涉及直播涩播等大幅度动作的处理上会很拉跨,容易出现面皮乱飞的情况,所以直播场景还是老老实实用DeepFaceLive
(所有的AI工具都是这样,一分算力一分效果,所有打着“优化”“资源占用少”旗号的工具基本都是阉割版,有得必有损,所以尽量折腾满血版本的)

二、两版都有适配50系显卡的版本(分享的为40系一下的稳定版),但50系不建议用,受限于50系Blackwell除了帧率,其他方面的优化并没有很明显,实测SAEHT/DFD的处理上甚至不如40系,主要是因为 50 系的发布是SD和ComfyUI崛起的阶段,大多以个人开发者和独立玩家为主,SD崛起后这些工具基本上都开源了,所以也就没有经过足够规模的商用测试,稳定性也就对比40系稍差,如果你不差预算,50系无脑入也没啥问题。

三、手里有AMD显卡的建议也换掉,不管是ComfyUI还是DFL,稳定性对比N卡差的太远了,排错修补浪费掉的时间不如一步到位N卡,目前的主流AI项目都是基于N卡的 CUDA 生态

四、和SD生态不同,运行DFL生态的工具CPU也要跟得上,如i5无AVX512,解码延迟、帧率也可能会掉的很严重。

主要来说说DeepFaceLive【大部分论坛和贴子简称DFlive】的安装和使用:

对有预算的团队来说买显卡比租要节省成本,只要60系还没出,显卡不用就可以转售或零售,租则是真金白银的每日固定损耗。

DFlive具体性能要求和你摄像头分辨率、模型分辨率有关。基础的3090显卡,跑1080p摄像头实时换脸,模型分辨率256,可以做到每秒30帧的输出,这种KYC也就足够了(3090跑DeepFacelab时间会很长,DeepFaceLab可以用云显,目前是性价比比较高的投入方案)

如果你是直播团队,准备长期订购日抛周抛模型,消费级显卡就一步到位4090 48G,批量的话建议考虑我们小店的显卡坞方案:https://shop.saiface.xyz/?cid=72 更具性价比。

软件使用
1. 调整中文界面

软件是开源免费的,我分享的第二个是自带中文版本,中文部分是旧开发团队汉化的。所以不要听信有些黑商打着XX自研的旗号,卖套壳付费汉化版本。
默认打开是英文界面,按下图所示,在菜单栏language中选择汉语,即可切换到熟悉的中文界面

图片[2]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

2. 基本流程
软件基本流程就3个,选择输入,设置AI换脸运行参数,选择输出。完整流程和界面分区内容如下图所示
其中有2个模块比较特别,就是有个带Insight字样的人脸交换器,和人脸照片驱动器。这两个可以一开始忽略,后面遇到再说。这两个模块实际是其他的换脸算法,实现一张图换脸和让一张图跟随你表情变化的功能。
我们主要先了解deepfacelive正统流程,即如何用deepfacelab训练好导出的DFM格式模型,来实现实时换脸效果

图片[3]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网
图片[4]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

3. 输入设置
dflive支持本地文件输入或本地摄像头输入,通过切换左上角的开关来进行切换
本地文件支持图片文件夹或视频文件作为输入,前者方便你使用dfl切好的序列帧

图片[5]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

摄像机有3个选项
驱动根据你实际情况选,没什么技巧,就看选了哪个更流畅就用哪个
设备序号就是选摄像头
分辨率按需选择,如果画面方向倒了,在选择摄像头后,有旋转按钮可以调节

图片[6]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

3. 人脸检测器设置

图片[7]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

各个参数意思如下
检测器:选择人脸检测算法,yoloV5和S3FD两个最常用。前者速度快但不准,后者速度略慢但精准
设备:选择什么硬件设备来运算。一般就选你的显卡。如果你有多个显卡,可以分配不同显卡做不同的模块计算工作。其他节点模块的设备选择方式一样,不再重复描述
检测器窗口大小:这个值越大,能识别到人脸尺寸约宽容,但速度越慢。一般200-300足够。如果画面有人脸却检测不到,增大这个值
检测置信阈值:一般默认值就行。高了可以过滤一些非人脸物件
最大人脸数:选择需要同时换画面上几个人脸。一般为1
排序:选择多个人脸中目标人脸的方法,比如选最大、最左、最中等等
时间维度上平滑:减少每帧之间人脸检测的尺寸波动。一般1就行,开太大会导致音画延迟增加

4. 人脸对齐器

图片[8]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

这里参数只需要调节人脸覆盖范围和分辨率两个值,其他值基本用不到
分辨率调整成和你加载的换脸模型一致。一般加载模型后会自动调整这个值,不需要手动改。如果没自动变,就手动改一下
人脸覆盖范围保持默认值不变就行,只有当特殊情况,比如人脸特别肥大,或特别瘦的时候(相机焦距超出寻常范围),可以微调下这个值适配下。

4. 人脸标记器

图片[9]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

这里参数默认选Google Facemesh就行,又快又准

5. 人脸交换器

这里模型就是选择已经做好的dfm格式模型
dfm格式模型实际就是deepfacelab的模型,但需要通过deepfacelab自带的这两个脚本来转化格式
通常大家说 DF架构和liae架构都是属于SAEHD模型,用“export SAEHD as dfm.bat”来转格式
如果你训练的是AMP模型,就用另一个脚本来转

转化得到的dfm格式模型,会在deepfacelab的workspace/model目录下,手动移动到deepfacelive目录下userdata/dfm_models中,即可在dflive软件里可见
软件模型有一堆英文名字的模型列表,这些模型并不是本地已安装的,使用后会自动开始从官方仓库进行下载。但由于科学上网原因,国内下载会失败。

图片[10]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

至于dfm模型自己怎么去训练制作,就移步到B站或youtube参考各路妖魔鬼怪的教程慢慢吸收练习,此栏目的相关内容也自然能看懂了。

6.人脸融合器

图片[11]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

人脸XY方向偏移:基本用不到,除非你的五官位置异于常人,需要调节下换上去的脸的坐标位置
人脸缩放:挺有用,如果你脸庞太大,可以适当用这个参数放大换上去的脸,显得更匹配
人脸遮罩类型:使用dst还是src的遮罩信息。默认勾选前2个就好
遮罩内向缩边:同deepfacelab合成参数里的向内缩边erode,一般开15
遮罩边缘羽化:同deepfacelab合成参数里的边缘羽化blur,一般开15-25
色彩迁移:一般用rct做色彩迁移。如果模dfm模型本身光影效果好,这个可以选none
插值:图像缩放用的插值计算法,保持默认bilinear

7.视频流输出

图片[12]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

源:选择窗口显示的画面,可以选择很多模式。最常用是“合成后画面”与“合成后画面否则原帧”,前者遇到画面没有人脸时,画面会卡住不动;后者画面没检测到人脸时,输出原始画面
窗口显示:把输出画面用单独一个窗口来显示
音画延迟:本地使用用不到,填0。只有当你用udp方式直接推流直播端口时,需要用到此参数。国内直播基本用不着,可以通过obs、直播伴侣等软件来实现推流
保存序列帧:如果需要把输出画面逐帧保存,可以在这里设置一个保存路径。如果不需要,就留空。注意保存图片是很费时的,开启后基本实现不了实时直播
补帧:换脸速度跟不上时,使用用补帧方式来生成未计算出来的画面帧,开启补帧显卡算力要跟得上,低于4090 48G都不建议开,不然会更卡。

8.预览区

图片[13]-【免费开源】实时换脸工具,一共两版,根据需求自取-老萬资源网

这个没什么好说的,就是看效果的

软件操作属于比较简单的,基本默认参数就可以用,选一个模型就行。
对很多刚入门的朋友来说,最让人头疼的其实是 DFM 模型的制作。也不用被那些看似高大上的新名词吓到,大部分的新名词指的是环境和依赖的配置,这种东西你只要配置好了是永久在你的电脑上稳定使用的。
配置确实需要花点时间,但如果研究明白,ComfyUI生态基本上就可以做到手到拈来,这是理解整个体系的第一步。

前文提到过,图片换脸之所以高效,是因为它只替是不计效果的替换局部五官区域;而 DFM 的逻辑则完全不同,它会对整张脸部面皮特征进行拟合。
结构上看DFM 模型的生成过程,其实就是将多角度的视频素材逐帧拆解,再通过合成、重构生成模型,这样说可能就会更好的理解了吧。

对于初学者来说,最合理的路径并不是一上来就纠结参数或特征细化,操作步骤和流程都是固定的,所以先把基础流程玩明白,
素材准备、帧数据处理、模型生成,这些环节都跑通之后,再去深入研究特征还原、数据集参数优化等问题
这才是一个正常的钻研路径

禁止违规使用或商用,下载本站资源即视为同意本站所有协议,请下载后一小时内删除
© 版权声明
THE END
下载或阅读本站资源即同意用户协议