Thinking Note during Reading SSL

SSL Survey

监督学习分类中的限制

  • 需要足够的标签
  • 学习到的分类器只能区分, 被训练数据覆盖了的实例

为了解决上面的问题已经有了的一些方案

  • open set recognition methods

    这种方法的分类器不能决定出,没有见过的实例属于什么类别。

  • 这些方法的缺陷

    如果测试实例, 是没有标签的,在模型学习中没有见过的类别, 学习到的分类器不能决定这些测试实例的类别标签。

一些流行的应用场景

(那些需要分类器拥有决定测试实例的类别标签的能力的情况。 )

  • 目标类别庞大的情景
  • 目标类别稀疏的情景
  • 目标类别随着时间变化
  • 在一些特殊性的任务中, 需要花费昂贵代价得到带标签的实例

为了解决这个问题, ZSL 被提出了

ZSL (zero-shot learning)

  • 目标: 区分出没有标签的实例。
  • 应用范围:
  • 计算机视觉
  • 自然语言处理
  • 普适计算

Overview

图1

  • 它的特征空间由两部分组成: 带标签的训练实例 + 不带标签的测试实例
    • 每一个实例通常由一个向量vector代表它。
    • 每一个实例假设只属于一个类别。

定义

$S$ 是Seen Classes 可见类别的数据集合。
$U$ 是Unseen Classes 不可见类别的数据集合。

上面两个集合不相交。

$X$ 是D维特征空间。
$D^{tr}$ 是带标签的可见类别训练集合,它等于特征空间X×可见类别数据集S 的乘积集合。
$X^{te}$ 是测试集合, 它是特征空间中的元素。

特征空间

图2

  • 特征空间分类两部分: 带标签的训练实例 + 不带标签的测试实例
    • 带标签的训练实例集,由 $D^{tr}$ 表示, 元素代表已知类
    • 不带标签的测试实例集,由$X^{te}$ 表示, 元素代表了未知类

ZSL的定义

  • Zero-Shot Learning
    • 给出已知类$S$ 的带标签训练实例集$D^{tr}$ ,ZSL的目标是学习出一个分类器$f$ D维特征空间到未知类U 的映射,这样就可以用来分类未知分类集合$U$中的测试实例$X^{te}$(可以预测$Y^{te}$)
    • ZSL是一种迁移学习
    • 迁移学习可以分为:同类迁移学习(homogenneous),和异类迁移学习(heterogeneous)
      图3
      • 同类迁移学习: 源和目标的特征空间及标签空间是相同的
      • 异类迁移学习: 源和目标的特征空间和标签空间是不同的
    • ZSL中,源和目标的特征空间相同,但是标签空间是不相同的,分为S和U,已知类和未知类。
      图4
    • 所以ZSL属于迁移学习中的异类迁移学习,
    • ZSL和不同标签空间的异类迁移学习(HTL-DLS)很类似,但是区别在于
    • 区别在于 , HTL-DLS 的target label space 有带标签的实例,而ZSL没有。

辅助信息 Auxiliary information

这些辅助信息应该包含所有的 未知类(Unseen Classes),同时, 辅助信息应该对应特征空间的实例。
现有的ZSL方法中包含的辅助信息同上是一些语义信息(Semantic Information)
辅助信息构造了一个包含已知类(Seen)和未知类(Unseen)的空间

  • 我们假设$\Gamma$ 是这个语义空间,是M维的。

    • $t_i^s\in \Gamma$ 是已知类$c_i^s$的原型
    • $t_i^u\in \Gamma$ 是未知类$c_i^u$的原型

    • $T^s$

    • $T^u$

    • $\pi$ 是已知类S和未知类U的并集到语义空间T的映射, 这个函数的输入是一种类别标签, 输出对应的类别原型
      图5

      • 在特征空间之外,构造了一个语义空间,
      • 语义空间中,包含了 已知类的原型(seen class prototype)和未知类的原型。
      • 语义空间中的每种类别有对应的向量表示(vector representation)
      • 特征空间中的每一个实例由对应的向量表示。

表1本文使用的数学符号。

Learning Settings

  • 三种学习设置:
    • CIII 类别归纳实例归纳设置 (Class-Inductive Instance-Inductive Setting):
      • 只有带标签的实例$D^{tr}$ 和已知类原型$T^s$ 用在模型学习中。
    • CTII 类别转换实例归纳设置 (Class-Transductive Instance-Inductive (CTII) Setting):
      • 带标签的训练实例$D^tr$ 、已知类原型$T^s$ 、未知类原型$T^u$ 被用在模型训练中。
    • CTIT 类别转换实例转换设置 (Class-Transductive Instance-Transductive (CTIT) Setting):
      • 带标签的训练实例$D^tr$、已知类原型$T^s$ 、未知类原型$T^u$、不带标签的测试实例$X^{te}$

Domain shift 域转换现象

- 在ZSL学习中,在接受了测试实例之后, 使用训练实例的模型的性能将会下降的现象。 

本文的贡献

  • 将ZSL方法分为三类:
    • One-Order transformation
    • Two-Order transformation
    • high-Order transformation
  • 本文的重点是对现有的ZSL方法给出了评估。
    • 我们整理了ZSL中不同的语义空间和方法
      图6
      • 语义空间分为, 设计语义空间,和习得语义空间
        • 设计语义空间分为, 属性空间、字典空间、关键词空间。
        • 习得语义空间分为, 标签嵌入空间、文本嵌入空间、图像代表空间。
      • 零向量学习方法分为: 基于分类器的方法、基于实例的方法。
        • 基于分类器的方法分为: 通信方法、关系方法、组合方法
        • 基于实例的方法分为: 规划方法、 实例借入方法、重组方法