PaddleGAN 中的 Pixel2Style2Pixel 实战指南：基于 StyleGAN V2 的人像编码、重建与卡通化

人工智能深度学习计算机视觉媒体生成视频处理图像处理【免费下载链接】PaddleGANPaddlePaddle GAN library, including lots of interesting applications like First-Order motion transfer, Wav2Lip, picture repair, image editing, photo2cartoon, image style transfer, GPEN, and so on.项目地址https://gitcode.com/gh_mirrors/pa/PaddleGAN点击查看免费下载导读Pixel2Style2PixelpSp是一类「图像编码Image Encoding」方法它用一个规模较大的编码器把输入图像映射到 StyleGAN V2 的风格向量空间再借助 StyleGAN V2 生成器作为解码器还原图像从而让编码前与解码后的图像保持强关联。本文基于 PaddleGAN 仓库中的 docs/en_US/tutorials/pixel2style2pixel.md 编写结合 applications/tools/pixel2style2pixel.py、ppgan/apps/pixel2style2pixel_predictor.py 与 ppgan/models/generators/generator_pixel2style2pixel.py 的源码实现完整讲解其原理、命令行用法、全部参数含义与底层推理链路。读完本文你将掌握如何用一条命令完成人像重建与卡通化推理并能理解 pSp 的渐进式风格编码器Gradual Style Encoder与 StyleGAN V2 解码器的协作机制。Pixel2Style2Pixel 原理Pixel2Style2Pixel 的核心任务可以概括为Image Encoding图像编码。它不同于传统的「直接生成」式 GAN 任务pSp 首先训练一个规模相当大的编码器把输入图像整体编码为 StyleGAN V2 的风格向量style vector然后将风格向量送入 StyleGAN V2 生成器完成解码。由于编码与解码发生在同一个风格空间中编码前的输入图像与解码后的输出图像之间存在强关联模型天然具备图像到图像image-to-image翻译的能力。pSp 编码器输出的是一个W 空间的风格码序列对于 1024×1024 分辨率的 StyleGAN V2 生成器其n_latent log2(size) * 2 - 2 18即解码过程需要 18 个 512 维的风格码分别控制生成网络不同层级的特征粗糙结构、中等结构、精细纹理。编码器要做的就是从一张人脸图像中回归出这一组 18×512 的风格码。主要功能从原文档的定位出发Pixel2Style2Pixel 可用于以下四类任务将图像转成隐藏编码Convert image to hidden codes得到输入图像对应的 18 个风格码可用于后续编辑、融合等操作将人脸转正Turn face to face对侧脸、偏转姿态的人像进行重建输出正视化的人脸根据草图或分割结果生成图像Generate images based on sketches or segmentation results在风格空间内完成条件式图像合成将低分辨率图像转成高清图像Convert low-resolution images to high-definition images借助 StyleGAN V2 的先验完成超分式的重建。PaddleGAN 中已实现的模型目前 PaddleGAN 开放了两种可直接使用的预训练模型类型对应 pixel2style2pixel_predictor.py 中model_cfgs字典的配置model_type用途内置模型配置ffhq-inversion人像重建Portrait reconstruction输入 Resize 至 256×256、归一化至 [-1, 1]size1024style_dim512n_mlp8channel_multiplier2ffhq-toonify人像卡通化Portrait cartoonization与ffhq-inversion相同的结构与预处理配置使用卡通化权重两种模型的预训练权重均由 PaddleGAN 官方模型仓库提供当命令行传入上述model_type且未指定weight_path时predictor 会自动下载对应权重并按其内置配置覆盖 size、style_dim、n_mlp、channel_multiplier 等模型参数。使用方法一行命令完成推理进入仓库的applications/目录选择一张本地图像作为输入运行cd applications/ python -u tools/pixel2style2pixel.py \ --input_image YOUR INPUT IMAGE \ --output_path DIRECTORY TO STORE OUTPUT IMAGE \ --weight_path YOUR PRETRAINED MODEL PATH \ --model_type ffhq-inversion \ --seed 233 \ --size 1024 \ --style_dim 512 \ --n_mlp 8 \ --channel_multiplier 2 \ --cpu提示若在仓库根目录执行等价命令为python -u applications/tools/pixel2style2pixel.py ...。命令末尾的--cpu表示使用 CPU 推理若在 GPU 环境运行则删去该参数。模型推理依赖 PaddlePaddle 环境安装方式见仓库的 docs/en_US/install.md 与根目录 requirements.txt。参数详解含源码默认值入口脚本 applications/tools/pixel2style2pixel.py 使用argparse解析参数各参数的作用、默认值如下表参数含义源码默认值--input_image输入图像的文件路径必填无--output_path生成图片存放的文件夹output_dir--weight_path预训练模型路径若指定了内置model_type该参数失效None--model_typePaddleGAN 内置模型类型当前可用ffhq-inversion、ffhq-toonify未指定时按default处理None--seed随机数种子用于固定推理过程中的随机噪声None--size模型参数输出图像分辨率1024--style_dim模型参数风格 z 的维度512--n_mlp模型参数风格 z 经过的多层感知机MLP层数8--channel_multiplier模型参数通道乘积影响模型大小与生成图片质量2--cpu是否使用 CPU 推理若不用请从命令中去除False从源码看各模型参数的真实默认值与命令行默认值保持一致--size决定输出分辨率对应 StyleGAN V2 生成器的输出尺寸--style_dim决定风格码维度二者在 predictor 构造生成器时直接传给Pixel2Style2Pixel(opts)。--n_mlp控制风格 MLP 的层数style_mlp由NormStyleCode n_mlp 层 LinearLeakyReLU组成见 stylegan2_clean_arch.py。--channel_multiplier通过生成器内部的channels字典决定各分辨率层级的通道数如 64×64 层为256 * channel_multiplier、1024×1024 层为16 * channel_multiplier见 stylegan2_clean_arch.py因此它直接影响模型体积与生成质量。--seed传入 predictor 后会同时执行paddle.seed(seed)、random.seed(seed)与np.random.seed(seed)见 predictor用于固定噪声注入保证多次推理结果可复现。--model_type与--weight_path的优先级当weight_path is None且model_type命中内置配置时predictor 自动下载权重并读取内置超参否则直接加载weight_path指向的权重文件见 predictor。源码级推理流程解析命令行只是外壳完整的推理链路位于 ppgan/apps/pixel2style2pixel_predictor.py。其run()方法依次完成四件事人脸对齐 → 图像预处理 → 编码与解码 → 结果落盘。第一步人脸对齐run_alignmentrun_alignment(image_path)predictor是 pSp 推理的前置步骤直接决定重建质量人脸检测与关键点提取使用ppgan.faceutils.dlib检测人脸并提取 68 点 landmarks若未检测到人脸会抛出Could not find a face in the given image.异常predictor。定向裁剪基于左右眼中心、嘴部中心计算眼睛-眼睛向量与眼睛-嘴部向量构造一个按人脸姿态定向的四边形裁剪框quad并对图像做缩放、裁剪、边界 padding。反射填充与模糊在边缘 padding 区域使用reflect反射填充配合高斯模糊与中值平滑使裁剪区域边界自然过渡predictor。透视变换最终将裁剪结果变换到 4096×4096transform_size的四边形投影空间为后续缩放到 256×256 做准备predictor。第二步图像预处理对齐后的图像会经过model_cfgs[model_type][transform]的标准化流水线predictorT.Resize((256, 256)) # 缩放到 256×256 T.Transpose() # HWC - CHW T.Normalize([127.5]*3, [127.5]*3) # 归一化到 [-1, 1]也就是说尽管最终输出是 1024×1024编码器实际接收的是 256×256 的输入。第三步编码-解码与结果保存predictor 调用生成器前向dst_img, latents self.generator(paddle.to_tensor(transformed_image[None, ...]), resizeFalse, return_latentsTrue)resizeFalse表示不解码后不做 256×256 的平均池化直接保留 1024×1024 输出return_latentsTrue同时返回编码器输出的 18 个风格码latents输出图像经(dst_img * 0.5 0.5) * 255反归一化到 [0, 255] 像素范围。结果保存到--output_path目录predictor输出文件内容src.png对齐裁剪后的人脸图像dst.png重建/卡通化后的 1024×1024 结果图dst.npy编码器输出的风格码latents形状约 [18, 512]可用于后续编辑这也是「将图像转成隐藏编码」能力的直接体现dst.npy就是输入图像在 StyleGAN V2 风格空间中的表示。编码器与解码器架构从源码看实现模型主体 generator_pixel2style2pixel.py 以GENERATORS.register()注册为 PaddleGAN 生成器由两部分组成self.encoder self.set_encoder() # 编码器 self.decoder StyleGANv2Generator(opts.size, opts.style_dim, opts.n_mlp, opts.channel_multiplier) # 解码器编码器GradualStyleEncoder渐进式风格编码器默认encoder_type为GradualStyleEncodergenerator_pixel2style2pixel.py要点如下主干网络50 层的 ResNet 变体modeir_se由BottleneckIRSE残差块堆叠而成generator_pixel2style2pixel.py每个残差块内嵌 SE 注意力模块。18 路风格输出style_count 18与 StyleGAN V2 生成器所需的风格码数量一一对应。其中前 3 个coarse_ind 3来自最粗糙的特征层16×16 空间分辨率中间 4 个middle_ind 7来自中等层32×32后 11 个来自精细层64×64。特征融合通过_upsample_add双线性上采样 逐元素相加把深层特征逐步回拼到浅层保证粗糙到精细的多尺度信息都被编码进对应层级的风格码。代码中还提供了BackboneEncoderUsingLastLayerIntoW、BackboneEncoderUsingLastLayerIntoWPlus两种备选编码器generator_pixel2style2pixel.py分别将最后一层特征池化后映射为单个 512 维码或 18×512 码。前向时若启用start_from_latent_avg编码器输出的风格码还会加上latent_avg平均人脸风格中心进行归一化generator_pixel2style2pixel.py使解码起点落在合理的人脸先验区域内。解码器StyleGAN V2 生成器解码端直接复用 PaddleGAN 的StyleGANv2Generatorgenerator_styleganv2.py。生成器把 18 个风格码按层级注入到从 4×4 常量输入开始的逐级上采样卷积中风格码先经style_mlpn_mlp层 MLP映射每一级StyleConv通过调制卷积Modulated Convolution与解调Demodulate将风格作用于特征图并叠加随机噪声见 stylegan2_clean_arch.pyToRGB模块逐级生成 RGB 分支并累加为最终图像skip 连接最终输出size×size的结果见 stylegan2_clean_arch.py。正是「ResNet 编码器回归 18×512 风格码 StyleGAN V2 逐级解码」的组合让 pSp 在重建人像的同时保留了 StyleGAN V2 的生成质量与编辑能力。生成结果展示以下结果来自仓库 docs/imgs 目录直观展示 pSp 的典型输出形态输入人像裁剪对齐人像、重建人像、卡通化人像依次如下可以看到ffhq-inversion忠实重建输入人像保持身份与姿态而ffhq-toonify将重建结果进一步卡通化——两者共享同一套编码器架构区别仅在于训练目标与预训练权重。训练TODOpSp 编码器的训练需要成对/非成对的人脸数据集与精心设计的损失函数重建损失、感知损失、身份损失等训练链路较为复杂。当前 PaddleGAN 仅提供推理能力官方文档中标注了训练部分为 TODO见 docs/en_US/tutorials/pixel2style2pixel.md后续将补充训练脚本便于用户训练更多类型的 Pixel2Style2Pixel 图像编码器。在训练脚本开放前用户可通过ffhq-inversion/ffhq-toonify预训练模型直接完成推理并将dst.npy导出的风格码用于下游任务。参考资料本文所述原理与论文出处为 Richardson 等人提出的 Pixel2Style2PixelEncoding in Stylearticle{richardson2020encoding, title{Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation}, author{Richardson, Elad and Alaluf, Yuval and Patashnik, Or and Nitzan, Yotam and Azar, Yaniv and Shapiro, Stav and Cohen-Or, Daniel}, journal{arXiv preprint arXiv:2008.00951}, year{2020} }PaddleGAN 中的实现位于 ppgan/models/generators/generator_pixel2style2pixel.py推理入口与配置见 ppgan/apps/pixel2style2pixel_predictor.py 与 applications/tools/pixel2style2pixel.py中文文档可参考 docs/zh_CN/tutorials/pixel2style2pixel.md。赞分享人工智能深度学习计算机视觉媒体生成视频处理图像处理【免费下载链接】PaddleGANPaddlePaddle GAN library, including lots of interesting applications like First-Order motion transfer, Wav2Lip, picture repair, image editing, photo2cartoon, image style transfer, GPEN, and so on.项目地址https://gitcode.com/gh_mirrors/pa/PaddleGAN点击查看免费下载相关推荐PaddleGAN 人像重建与卡通化实战Pixel2Style2Pixel 图像编码器原理与推理指南PaddleGAN 人像重建与卡通化实战Pixel2Style2Pixel 图像编码器原理与推理指南 本文以 PaddleGAN 中的人像重建ffhq in人工智能深度学习计算机视觉媒体生成视频处理图像处理PaddleGAN StyleGAN V2 Editing 实战指南基于属性方向向量的生成图像语义编辑PaddleGAN StyleGAN V2 Editing 实战指南基于属性方向向量的生成图像语义编辑 导读 StyleGAN V2 擅长以风格向量late人工智能深度学习计算机视觉媒体生成视频处理图像处理PaddleGAN图像生成艺术StyleGAN V2实战指南PaddleGAN图像生成艺术StyleGAN V2实战指南 本文详细介绍了PaddleGAN框架中StyleGAN V2的完整实战指南包括架构改进、FFH人工智能深度学习计算机视觉媒体生成视频处理图像处理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考