复审请求审查决定(第1694596号)

案件编号 第 1F397311 号

决定日 2024 年 07 月 23 日

发明创造名称 用于处理图像的方法和装置

国际主分类号 G06T 7/73

复审请求人 北京字节跳动网络技术有限公司

申请号 201810734681.2

优先权日

申请日 2018 年 07 月 06 日

公开日 2018 年 12 月 11 日

复审请求日 2021 年 06 月 16 日

审查决定是否在修改文本的基础上作出

是 否

法律依据 专利法第二十二条第三款

决定要点：如果一项权利要求的技术方案与最接近的现有技术相比存在区别技术特征，现有技术未给出采用该区别技术特征的技术启示，且尚无证据证明该区别技术特征属于本领域公知常识，采用该区别技术特征的技术方案还取得了有益的技术效果，则该权利要求的技术方案相对于上述现有技术和本领域公知常识具备创造性。

本复审请求审查决定涉及申请号为201810734681.2，名称为“用于处理图像的方法和装置”的专利申请（下称本申请）。申请人为北京字节跳动网络技术有限公司。本申请的申请日为2018年07月06日，公开日为 2018 年 12 月 11 日。

经实质审查，国家知识产权局审查部门于2021年03月02日发出驳回决定，驳回了本申请，驳回决定所针对的文本为：申请日 2018 年 07月 06 日提交的说明书第 1-91 段、说明书附图图 1-图 6、说明书摘要及摘要附图，2020 年 11月 25 日提交的权利要求第 1-10项。

驳回决定所引用的对比文件如下：

对比文件 1：CN107679490A，公开日为 2018 年 02 月 09 日；

对比文件 2：CN107590807A，公开日为 2018 年 01 月 16 日。

驳回理由是：权利要求1-10相对于对比文件1、对比文件2与本领域公知常识的结合不具备专利法第二

十二条第三款规定的创造性。

驳回决定所针对的权利要求书如下：

“1.一种用于处理图像的方法，包括：

获取目标对象的拍摄图像；

将所述拍摄图像输入至预先训练的、与所述目标对象对应的关键点检测模型，得到位置信息集合，其中，

位置信息包括位置坐标，位置坐标用于表示关键点信息集合中的关键点信息指示的关键点对应在所述拍摄图像中的位置，关键点是预先确定的、所述目标对象上的点，不同的目标对象对应不同的关键点检测模型；

其中，位置信息还包括可见性信息，其中，可见性信息用于表示关键点信息集合中的关键点信息指示的关键点显示在所述拍摄图像中的概率。

2.根据权利要求1所述的方法，其中，所述关键点检测模型通过如下步骤训练得到：

获取训练样本集合，其中，训练样本包括目标对象的拍摄图像和拍摄图像对应的位置信息集合；

利用机器学习的方法，将所述训练样本集合中的训练样本中的目标对象的拍摄图像作为输入，将与输入的拍摄图像对应的位置信息集合作为期望输出，训练得到所述关键点检测模型。

3.根据权利要求1所述的方法，其中，所述可见性信息用零和一之间的数值来表示，包括零和一。

4.根据权利要求1所述的方法，其中，所述方法还包括：

针对得到的位置信息集合中的位置信息，响应于确定该位置信息包括的可见性信息大于预设的可见性阈值，将该位置信息包括的位置坐标与对应的关键点信息关联存储。

5.一种用于处理图像的装置，包括：

获取单元，被配置成获取目标对象的拍摄图像；

处理单元，被配置成将所述拍摄图像输入至预先训练的、与所述目标对象对应的关键点检测模型，得到位置信息集合，其中，位置信息包括位置坐标，位置坐标用于表示关键点信息集合中的关键点信息指示的关键点对应在所述拍摄图像中的位置，关键点是预先确定的、所述目标对象上的点，不同的目标对象对应不同的关键点检测模型；

其中，位置信息还包括可见性信息，其中，可见性信息用于表示关键点信息集合中的关键点信息指示的关键点显示在所述拍摄图像中的概率。

6.根据权利要求5所述的装置，其中，所述关键点检测模型通过如下步骤训练得到：

获取训练样本集合，其中，训练样本包括目标对象的拍摄图像和拍摄图像对应的位置信息集合；

利用机器学习的方法，将所述训练样本集合中的训练样本中的目标对象的拍摄图像作为输入，将与输入的拍摄图像对应的位置信息集合作为期望输出，训练得到所述关键点检测模型。

7.根据权利要求5所述的装置，其中，所述可见性信息用零和一之间的数值来表示，包括零和一。

8.根据权利要求5所述的装置，其中，所述装置还包括：

存储单元，被配置成针对得到的位置信息集合中的位置信息，响应于确定该位置信息包括的可见性信息大于预设的可见性阈值，将该位置信息包括的位置坐标与对应的关键点信息关联存储。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求 1-4

中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。”

申请人（下称复审请求人）对上述驳回决定不服，于2021年06月16日向国家知识产权局提出复审请求，

未修改申请文件。复审请求人认为：本申请与对比文件1在输入模型的图像、采用的模型工作方式上均不同，

权利要求1与对比文件1相比的区别特征包括：（1）获取目标对象的拍摄图像，不同的目标对象对应不同的关键点检测模型；（2）位置信息还包括可见性信息，其中，可见性信息用于表示关键点信息集合中的关键点信息指示的关键点显示在所述拍摄图像中的概率。对于上述区别特征（1），本申请的目标对象特指拍摄图像中所拍摄的对象，为某一具体的个体，而非与对象同种类的多个个体，进一步地，不同目标对象对应不同关键点检测模型意味着针对每一个个体均训练一个关键点检测模型，例如人物 A 与人物B 是两个不同的目标对象，人物A与人物B分别对应不同的关键点检测模型；对于上述区别特征（2），该特征在本申请与对比文件

2 中的作用不同，在本申请中作用是为了确定预设关键点是否被拍摄到，从而可以筛选出拍摄到的关键点并确定对应的位置，在对比文件 2 中的作用是确定人脸图像哪些关键点被遮挡，从而了解人脸图像质量。因此权利要求1-10具备创造性。

经形式审查合格，国家知识产权局于2021年06月22日依法受理该复审请求，并对其进行前置审查。

前置审查意见坚持驳回决定。

国家知识产权局成立合议组对本案进行审理。

复审请求人先后于 2024年 05月 22日和 2024 年 07月 03日提交权利要求书修改替换页，相较于驳回决定所针对的权利要求，在独立权利要求1、5中增加了说明书中的部分特征，即“所述目标对象包括指定的对象和/或预设时间段内拍摄设备所拍摄到的对象，所述目标对象包括球场”，以及“所述关键点检测模型是基于所述目标对象的拍摄图像和拍摄图像对应的位置信息集合训练得到的”。复审请求人2024年07月03日提交权利要求书如下：

“1.一种用于处理图像的方法，包括：

获取目标对象的拍摄图像，其中，所述目标对象包括指定的对象和/或预设时间段内拍摄设备所拍摄到的对象，所述目标对象包括球场；

将所述拍摄图像输入至预先训练的、与所述目标对象对应的关键点检测模型，得到位置信息集合，其中，

位置信息包括位置坐标，位置坐标用于表示关键点信息集合中的关键点信息指示的关键点对应在所述拍摄图像中的位置，关键点是预先确定的、所述目标对象上的点，不同的目标对象对应不同的关键点检测模型，所述关键点检测模型是基于所述目标对象的拍摄图像和拍摄图像对应的位置信息集合训练得到的；

其中，位置信息还包括可见性信息，其中，可见性信息用于表示关键点信息集合中的关键点信息指示的关键点显示在所述拍摄图像中的概率。

2.根据权利要求1所述的方法，其中，所述关键点检测模型通过如下步骤训练得到：

获取训练样本集合，其中，训练样本包括目标对象的拍摄图像和拍摄图像对应的位置信息集合；

利用机器学习的方法，将所述训练样本集合中的训练样本中的目标对象的拍摄图像作为输入，将与输入的拍摄图像对应的位置信息集合作为期望输出，训练得到所述关键点检测模型。

3.根据权利要求1所述的方法，其中，所述可见性信息用零和一之间的数值来表示，包括零和一。

4.根据权利要求1所述的方法，其中，所述方法还包括：

针对得到的位置信息集合中的位置信息，响应于确定该位置信息包括的可见性信息大于预设的可见性阈值，将该位置信息包括的位置坐标与对应的关键点信息关联存储。

5.一种用于处理图像的装置，包括：

获取单元，被配置成获取目标对象的拍摄图像，其中，所述目标对象包括指定的对象和/或预设时间段内拍摄设备所拍摄到的对象，所述目标对象包括球场；

处理单元，被配置成将所述拍摄图像输入至预先训练的、与所述目标对象对应的关键点检测模型，得到位置信息集合，其中，位置信息包括位置坐标，位置坐标用于表示关键点信息集合中的关键点信息指示的关键点对应在所述拍摄图像中的位置，关键点是预先确定的、所述目标对象上的点，不同的目标对象对应不同的关键点检测模型，所述关键点检测模型是基于所述目标对象的拍摄图像和拍摄图像对应的位置信息集合训练得到的；

其中，位置信息还包括可见性信息，其中，可见性信息用于表示关键点信息集合中的关键点信息指示的关键点显示在所述拍摄图像中的概率。

6.根据权利要求5所述的装置，其中，所述关键点检测模型通过如下步骤训练得到：

获取训练样本集合，其中，训练样本包括目标对象的拍摄图像和拍摄图像对应的位置信息集合；

利用机器学习的方法，将所述训练样本集合中的训练样本中的目标对象的拍摄图像作为输入，将与输入的拍摄图像对应的位置信息集合作为期望输出，训练得到所述关键点检测模型。

7.根据权利要求5所述的装置，其中，所述可见性信息用零和一之间的数值来表示，包括零和一。

8.根据权利要求5所述的装置，其中，所述装置还包括：

存储单元，被配置成针对得到的位置信息集合中的位置信息，响应于确定该位置信息包括的可见性信息大于预设的可见性阈值，将该位置信息包括的位置坐标与对应的关键点信息关联存储。

9.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求 1-4

中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-4中任一所述的方法。”

合议组认为本案事实已经清楚，可以作出审查决定。

1、审查文本的认定

复审请求人于2024年07月03日提交了修改的权利要求书，经审查，上述权利要求书的修改符合专利法第三十三条的规定和专利法实施细则第六十六条的规定。本复审请求审查决定所针对的文本是：申请日2018

年 07 月 06日提交的说明书第1-91 段、说明书附图 1-6、说明书摘要及摘要附图，2024 年 07月 03 日提交的权利要求第 1-10 项。

2、关于创造性

专利法第二十二条第三款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。

本复审请求审查决定所引用的对比文件同驳回决定，即：

对比文件 1：CN107679490A，公开日为 2018 年 02 月 09 日；

对比文件 2：CN107590807A，公开日为 2018 年 01 月 16 日。

2.1 权利要求 1

权利要求1 请求保护一种用于处理图像的方法。对比文件 1 公开了一种用于检测图像质量的方法，并具体公开如下特征（参见对比文件1说明书第2-68段）：在人脸识别过程中，如果包括人脸的图像质量不合格

（例如人脸的多个部位被遮挡等），则可能会导致识别出错，或系统崩溃等异常情况的出现，因此提出一种检测图像质量的方法，包括：步骤 201，获取待检测图像（相当于获取图像）和预先对待检测图像进行人脸检测后所得的、用于指示待检测图像中的人脸区域的人脸区域信息；步骤 202，基于人脸区域信息，从待检测图像中提取人脸图像；步骤 203，将人脸图像输入预先训练的卷积神经网络，得到人脸图像所包括的各个像素点归属于预设的类别标识集合中的每个类别标识所指示的类别的概率；步骤 204，将人脸图像输入预先训练的人脸关键点定位模型，得到人脸图像所包括的各个人脸关键点的坐标（相当于将所述图像输入至预先训练的关键点检测模型，得到位置信息集合，其中，位置信息包括位置坐标，位置坐标用于表示关键点信息集合中的关键点信息指示的关键点对应在人脸图像中的位置），其中，该人脸关键点定位模型可以用于表征包括人脸的图像和各个人脸关键点的坐标的对应关系，人脸关键点可以是预先指定的、人脸中的具有较强语义信息的点（相当于关键点是预先确定的、所述目标对象上的点），例如眼角、嘴角、鼻翼位置、轮廓中的点等，人脸关键点的数量可以是72个；步骤205，基于上述概率和上述坐标，确定人脸图像被遮挡的概率。

权利要求1 与对比文件1 相比，区别特征为：获取目标对象的拍摄图像，其中，所述目标对象包括指定的对象和/或预设时间段内拍摄设备所拍摄到的对象，所述目标对象包括球场，将所述拍摄图像输入至与所述目标对象对应的关键点检测模型，不同的目标对象对应不同的关键点检测模型，所述关键点检测模型是基于所述目标对象的拍摄图像和拍摄图像对应的位置信息集合训练得到的；位置信息还包括可见性信息，其中，

可见性信息用于表示关键点信息集合中的关键点信息指示的关键点显示在所述拍摄图像中的概率。

基于上述区别特征，权利要求 1 实际解决的技术问题是：如何确定同一目标对象在不同拍摄图像中的对应关系。

合议组认为，上述区别特征限定了权利要求 1 中目标对象为指定的或拍摄到的特定球场对象，并且针对每一特定球场对象，使用该特定球场对象自身的拍摄图像及位置信息集合训练得到与该特定球场对象一一对应的关键点检测模型，在将该特定球场对象的多帧图像（如不同角度或不同时刻的拍摄图像）输入对应的关键点检测模型时，通过模型输出该球场对象的关键点在不同拍摄图像中的不同位置坐标和可见性信息，进而可确定同一球场对象的关键点在不同拍摄图像中的几何变换关系，可以实现基于多帧球场图像的比赛数据分析。而对比文件 1 应用于人脸识别场景下，使用人脸关键点定位模型确定输入的任意一张人脸图像中的人脸关键点坐标，通过判断该关键点坐标所属的人脸部位与基于图像内容划分的人脸部位是否一致，来确定该任意一张人脸图像被遮挡的概率，最终实现该人脸图像的质量评价，其中人脸关键点定位模型通常是基于不同年龄、种族、性别的大规模人脸图像数据集训练得到。

由此可见，对比文件1虽然提及关键点定位模型，但其处理的目标对象仅为人脸图像而不涉及球场图像；

对比文件 1 所有人脸图像通常对应同一人脸关键点定位模型，该模型没有与特定目标对象一一对应，对比文件 1 涉及的人脸识别功能亦无此需求，因此本领域技术人员也无法从中获得针对每一目标对象设置一一对应的关键点定位模型的技术启示；对比文件 1 中该人脸关键点定位模型所针对的仅是单帧人脸图像的关键点及其图像质量，不涉及同一目标对象在多帧图像中关键点的对应关系。因此，对比文件1未公开上述区别特征，

也未给出采用上述区别特征来解决如何确定同一目标对象在不同拍摄图像中对应关系的技术问题的启示。

对比文件2 公开了一种用于检测图像质量的方法和装置，并具体公开如下特征（参见对比文件 2 说明书第 2-71 段）：用于检测图像质量的方法的流程 200，包括以下步骤：步骤 201，获取待检测图像和预先对待检测图像进行人脸检测后所得的、用于指示待检测图像中的人脸区域的人脸区域信息。步骤 202，基于人脸区域信息，从待检测图像中提取人脸图像。步骤 203，将人脸图像输入预先训练的卷积神经网络，得到图像特征信息。步骤 204，对图像特征信息进行解析，确定人脸关键点信息。上述电子设备在得到上述人脸图像的图像特征信息后，上述电子设备可以对该图像特征信息进行解析，确定人脸关键点信息。这里该人脸关键点信息例如可以包括上述人脸图像中的各个人脸关键点被遮挡的概率或坐标。步骤 205，基于人脸关键点信息，确定人脸图像的质量合格的概率。步骤 206，基于人脸图像的质量合格的概率，确定人脸图像的质量是否合格。

合议组认为，与对比文件 1类似，对比文件2 也应用于人脸识别场景下，针对输入的任意一张人脸图像确定图像中的人脸关键点信息，进而根据该人脸关键点信息评价人脸图像的质量；虽然对比文件 2 采用了不同于对比文件 1 的确定人脸关键点信息的手段，即：将人脸图像输入至卷积神经网络得到图像特征信息，并解析图像特征信息得到人脸关键点被遮挡的概率或坐标，但可以看出，对比文件 2 处理对象也不涉及前述区别特征所限定的球场拍摄图像，未给出前述区别特征中建立与目标对象一一对应的关键点检测模型的技术启示，更不会面临确定同一球场对象的关键点在不同拍摄图像中的对应关系的技术问题。此外，对比文件 2 虽然提及确定人脸关键点被遮挡的概率，但其作用为基于人脸遮挡程度来评价人脸图像质量，与权利要求 1 中确定关键点显示在拍摄图像中的概率所起的筛选可见关键点的作用并不相同，故对比文件 2 也未公开前述区别特征中的“关键点显示在拍摄图像中的概率”。因此，对比文件 2 未公开前述区别特征，也未给出结合对比文件1并应用于球场对象以解决如何确定同一目标对象在不同拍摄图像中对应关系的技术问题的启示。

因此，对比文件1和对比文件2公开的技术方案中均未公开上述区别特征，没有给出相应的技术启示，

且尚无证据表明上述区别特征属于本领域公知常识。通过上述区别特征的运用，权利要求1可获得确定同一目标对象在不同拍摄图像中的对应关系的有益效果。因此，权利要求1相对于对比文件1、对比文件2和本领域公知常识的结合具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。

2.2、权利要求 2-4

权利要求 2-4为权利要求 1 的从属权利要求，在权利要求 1 相对于对比文件 1、对比文件 2 和本领域公知常识的结合具备创造性的基础上，权利要求2-4也具备专利法第二十二条第三款规定的创造性。

2.3、权利要求 5-10

权利要求 5-8 请求保护一种用于处理图像的装置，是与方法权利要求 1-4 一一对应的产品权利要求；基于与权利要求1-4相同的理由，权利要求5-8也具备专利法第二十二条第三款规定的创造性。

权利要求9 请求保护一种电子设备，其中处理器和存储装置配合执行权利要求 1-4 任一项所述的方法；

在权利要求1-4具备创造性的基础上，权利要求9也具备专利法第二十二条第三款规定的创造性。

权利要求10请求保护一种计算机可读介质，其上存储的程序执行时实现权利要求1-4任一项所述的方法；

在权利要求1-4具备创造性的基础上，权利要求10也具备专利法第二十二条第三款规定的创造性。

基于上述理由，合议组做出如下决定。

撤销国家知识产权局于2021年03月02日对本申请作出的驳回决定。由国家知识产权局实质审查部门在本复审请求审查决定所针对的文本的基础上对本申请继续进行审查。

如对本复审请求审查决定不服，根据专利法第四十一条第二款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉