【论文】Fair diffusion-Instructing Text-to-Image Generation Models on Fairness
2024-04-21 16:33:15

概述

Introduction

  • Stable Diffusion作为一种Diffusion Models是目前广泛使用的图像合成模型的变体，它基于文本输入生成逼真的高质量图像
  • 我们的工作
    • 审核生成模型的当前偏差的来源: stable diffusion的底层大规模数据集，和他的预训练模块
      • 创建LAION-5B的子集：包含超过1.8M张图片，描绘了150多个职业，以接近目前的性别职业偏见
    • 评估其缓解措施：data-processing, in-process approaches
      • 提出了Fair Diffusion：在生成模型的部署阶段缓解偏差，利用一个（文本）界面来指导模型从而实现公平
    • 讨论Fair Diffusion的未来路径，如何融入社会促进公平
  • 意义
    • 首次为DM的公平性提供了一种实用的方法
    • 用户可以重新获得对模型输出的控制权

Fair Diffusion

公平性的定义

  1. 概括
    1. 粗略地说，公平可以概括为由于某种属性而没有任何有利于一个人的倾向。
    2. 公平也是非常主观的Fair Diffusion的公平性定义为：数据集和模型的 算法公平性。
    3. 作用：公平的定义用来评价数据集和生成模型的公平性
    4. 存在的问题，在多个非二元属性可能相互干扰的情况下，同时满足它们变得更加具有挑战性。这种公平性定义要求所有属性都是已知的、可定义的、可测量的和可分离的
  2. 具体
    1. y表示对应于x的label（firefighter），a表示一个保护的属性（gender），P是一个概率
    2. 要求是二进制的属性
    3. 用同样的概率随机选择引导的方向，形成了一个统一的概率分布，为每个属性的表达赋予相同的概率

策略：在文本指导下实现公平性

  1. 在部署阶段指导预训练模型的公平性

  2. Fair Diffusion可以作为指导界面实现很多操作，如用文本改变图像的生成过程

  3. 这里用SEGA做测试https://arxiv.org/abs/2301.12247，可以通过文本高度灵活地编辑图像细节。比如基于检测到的偏见，将其作为指令存储在lookup table中来引导模型
    SEGA语义引导（SEGA）允许进行细微而广泛的编辑、改变构图和风格，以及优化整体艺术构思

  4. Fair Diffusion继承了无分类器引导https://arxiv.org/abs/2207.12598，增加了一个公平引导项γ来生成图像x。这样生成器η就变成了一个关于输入prompt p和引导项γ组成的函数，其中γ通过附加的属性文本描述ei,和程度控制来获得

  5. 为了实现Fair Diffusion属性的不同表示，用期望概率分布P中随机采样来控制引导方向。也就是说属性的增加和抑制通过ei的增加和减少来控制

  6. 评价：再次用分类器对得到的属性比例验证，理想情况下，用户定义的比例和测量比例匹配
    classifier-free guidanceSOTA：SOTA model：state-of-the-art model，并不是特指某个具体的模型，而是指在该项研究任务中，目前最好/最先进的模型。
    SOTA result：state-of-the-art result，指的是在该项研究任务中，目前最好的模型的结果/性能/表现
    Classifier-Guidance：直接复用别人训练好的无条件扩散模型，用一个分类器来调整生成过程以实现控制生成
    Classifier-Free：而对于“财大气粗”的Google、OpenAI等公司来说，它们不缺数据和算力，所以更倾向于往扩散模型的训练过程中就加入条件信号，达到更好的生成效果

具体实现方法

Diffusion model 介绍

  1. 大模型工作应用广泛，但存在偏见
  2. 其基本的原理：从随机噪声z开始，模型预测该噪声的估计。把输入减去估计的噪声最终得到一张图片。同时引入了step，prompt p的编码

公平性模型的常见方法

  1. 在学习之前对训练数据进行预处理以消除偏差
  2. 在训练过程中通过引入对学习目标的约束来增强公平性
  3. 在部署阶段[ 48、49 ]的后处理方法来修改模型结果

当前扩散模型存在的问题：单纯的数据预处理不能促进公平

  1. 对数据进行过滤依旧使模型存在偏差，同时泛化变差
  2. 公平的定义是主观的，不同的公平定义都需要一个专门的数据集和对应的模型，不适合大规模训练。不够泛化于下游任务
  3. Schramowski等人[ 48 ]证明了在预训练过程中学习到的表征可以被利用和利用，以抑制下游任务中不需要的和不适当的行为。我们使用了类似的方法来获得公平的结果，将权力交给了个人用户。

具体实现：主要针对DM的(post-process)部署阶段

  1. 文本接口：即文本条件化，通过无分类器的指导实现（当前扩散模型的标准技术）
  2. 图像编辑方法：SEGA，因为有强大的界面来进行图像编辑。提供p和ei，通过输入z和cp到输入z，cp，ce拓展了噪声估计
    1. 最初的无条件图像生成额外地受制于输入提示(无分类器指导)和用户指令(如公平引导γ)。
    2. 多个概念任意组合，可增加或者减少
  3. Sega以技术的方式（例如否定和条件）在句子中实现了，通过在输入提示中插入性别相关的单词来改变性别外观，确定编辑单词的正确位置是具有挑战性的，特别是如果提示中的偏见只隐式地存在

在扩散模型的组成部分中测量公平性

  1. datasets：检查数据集与目标属性（如gender）的共生性。查看是否符合公平性定义，这个比例也可以作为放大减轻偏差的参考。
    1. 如何创建属性：采用能够计算文本-图像相似性的多模态模型。计算相关图像R与目标概念的文本描述p的相似性
    2. 通过经验确定的阈值ρ过滤来选择与描述p一致的图像，i表示数据集中的图片
    3. pre-trained classifier κ（FairFacehttps://arxiv.org/abs/1908.04913）来决定是否给图片标签，获得这个label，r表示图片集中的图片
  2. representation
    1. 使用了image Embedding Association Test (iEAT)，可以测试表示（如encoded images）之间的关联
      1. iEAT组成：两个属性集A（职业）和B（家庭），两个目标集K（男）和L（女），如偏见模型可能会把K和A联系起来
      2. 计算编码目标图像与属性的差异关联，s计算编码图像w和属性a,b的关联
      3. 我们通过计算单侧 p 值以及效应大小 d 来评估统计显著性，σ表示标准差
  3. Outcome：评估了stable diffusion生成的图像
    1. 与数据集评测类似，创建一个合成图像数据集，计算属性相关性，从而根据定义1评估公平性
    2. 研究训练数据和结果之间潜在的偏见偏移，使用和搜索数据集同样的promt生成图片，也使用相同的分类器 κ来确定图像g对于保护属性的标签

实验方案

  1. 数据：为了进行检查，我们创建了LAION-5B的新子集，其中包含超过180万张图像，显示具有可识别面孔和可识别职业的人类，并分别生成了超过37,000张具有SD和Fair Diffusion的图像。我们总共评估了超过200万张图像的性别职业偏见。
  2. 指令工具：SEGA，用于编辑图像并指导图像生成以获得更公平的结果
  3. 对属性分类：FairFace，作为κ对受保护属性进行分类，即面部（性别）属性
  4. prompt设计：使用CLIP来识别LAION-5B的相关图像（描绘可识别的职业），计算图像与prompt之间的相似性（阈值0.27）。prompt模板p = “A photo of the face of a {occ}”，该模板还用于生成带有SD的图像，此时occ ∈ {“firefighter”, “teacher”, “aide”, …}整个列表包含 150 多个不同的职业15，我们为每个职业提示生成了 250 张图像
  5. 公平假设：假设需要相同比例的女性和男性图像，如Def.1所示。评估受分类器限制，只能促进二进制的性别分类（当然是非二元的），但原则上可以应用与非二元
  6. 统计措施：计算了每组数据（二进制的男女的脸）进一步了解每个组成部分的整体性别职业偏见。因此，我们将职业列表分为f和m，其中f组表示更多偏向女性的职业，而m组则表示其他。如果LAION中女性出现的比率>0.5，我们分别使用f和其他m。随后，我们评估每个组件的这些列表并生成相应的箱形图。如果没有这种组区分，平均偏差位于公平边界内（尽管箱形图显示高方差），因为两个方向都存在很强的偏差，这些偏差在总体均值计算中相互抵消。

实验

  1. 目标：调查偏见来源，使用Fair Diffusion在结果中展示缓解作用
  2. 模型选择：扩散模型选用Stable Diffusion 1.5，对应底层大规模数据集LAION-5B，预训练模型CLIP
  3. 生成使用的prompt模版：p = “A photo of the face of a {occ}”，where occ ∈ {“firefighter”, “teacher”, “aide”, …}.
  4. 实验内容：男女比例
  5. 结果：效果对比如下，上排都是白人男性
  6. 结论：SD每个部分都存在偏差和不公平性

Stable Diffusion中数据、模型建立不公平的现象

  1. 在四个职业领域(science, arts, engineering, and caregiving).的子集上评估LAION-5B
  2. 用κ来对各职业领域的性别进行分类
    1. 在艺术或护理等职业领域，女性出现的比例更高。另一方面，科学或工程的比率较低
  3. 对CLIP进行偏差关联测试 3.5.b，检查不同概念的编码图像之间的相似性，结果如下
    1. 男性样子的编码图像比女性样人的编码图像更接近工程相关图像，而女性形象又更接近与护理相关的图像
    2. 当性别职业偏见的关联测试被种族属性修改时，我们发现偏见放大。在这种情况下，男性形象由欧美人外表表示，女性形象由非裔美国人外表表示。

outcome（下游任务和结果）中的偏差

  1. 评估了从SD生成的图像，图4描绘了六个示范职业的女性出现率及其每组中位数
    1. SD生成的图像（蓝线）也包含各种职业的明显性别偏见

LAION-5B和stable diffution的结果之间是否存在偏差

  1. LAION-5B在生成的图像中的性别偏见被放大了56%，反映了22%，缓解了22%
  2. 进行了数据统计（了解每个组成部分的整体性别偏见）SD生成的图像和检查的LAION-5B图像的中位数（橙色线）明显超出了公平边界。这意味着LAION-5B和SD生成的图像根据定义1是不公平的。
    1. 总的来说，在150种职业中，有64种更偏向于女性，而86种更偏向于男性。更重要的是，与LAION - 5B相比，( f和m)的SD生成图像的中值距离公平边界(中间)更远。
    2. 这种偏差的转变是由于训练数据和目标之间复杂的相互作用，以及CLIP固有的有偏表示，而这些又受到不同训练集的影响。

Fair Diffusion之后的变化

  1. 建立公平的fair diffusion：用FD对SD用fair guidance γ进行引导，e1-朝向女性，e2-远离男性；并以50 %的概率随机切换朝向男性出现和远离女性出现的方向，从而实现比例均分
  2. 缓解outcome中的偏见：箱型图中有调整后的结果。下图显示对各个职业调整后的结果
  3. 超越性别的趋近偏向

讨论

  1. 转移偏差范式：更公平的模型需要能够自动检测不公平性，如果预先知道可能会产生偏差的概念可以预先填写
  2. 模型最终是否公平：公平是不完整的，只实现了outcome的公平是不够的。要实现完全公平需要每个步骤都增加公平性。用户可以设置不均匀的概率控制输出0.4/0.6
  3. 二元性别标签：本研究中性别代表性有限，缺乏超越二元性别分类的工具。提倡将性别编码为非二元
  4. 技术限制：LAION-5B不具有现实代表性，clip本身也有偏见，只能通过选定阈值来控制。性别分类FairFace可能也有偏见，在当前已经是最优了。使用了SEGA也要承受他的约束，即改变必须可表述
  5. 超越文本引导的公平性：获取编码的方式可以超越自然语言。可以通过别的多模态的方法实现
  6. 用户交互的挑战：恶意用户会滥用它

结论

  1. Fair Diffusion：可以生成公平的结果
  2. 衡量公平性：探索了 LAION-5B，并把iEAT应用于预训练表示编码器( CLIP )，发现性别和种族歧视在下游扩散模型中存在
  3. 文本界面控制：控制了公平性，展示了如何在任意方向上改变生成图像中的偏见，从而产生任意比例的图像。可以防止扩散模型隐式和无意地反映甚至放大偏差
  4. 建议：谨慎使用这些模型
  5. 未来工作：对组件拆解，确定偏差来源，比较不同模型的公平性也很有意思
Prev
2024-04-21 16:33:15
Next