中国专利搜索 世界专利搜索 专利分类查询 专利引用检索 专利族检索
登陆 | |

基于多级条件影响的卷积神经网络的细粒度动作检测方法
审中-实审

Fine-grained action detection method of convolutional neural network based on multistage condition influence

申请号:202010362830.4 申请日:2020-04-30
CN202010362830
CN111444889A
微信扫码查看/分享专利
摘要:基于多级条件影响的卷积神经网络的细粒度动作检测方法,建立一个多级条件影响的卷积神经网络,将视觉场景中附加的显性知识与多级视觉特征融合,所述多级条件影响的卷积神经网络MLCNet以条件影响的多分支卷积神经网络结构为主干,生成多级视觉特征,同时将人体结构和物体语境信息的附加空间语义信息作为条件进行编码,通过仿射变换和注意机制动态影响CNN的特征提取,最后融合调制多模特征以区分各种交互动作;对多级条件影响的卷积神经网络进行模型训练,得到的模型输出细粒度动作检测结果。本发明在HICO‑DET和V‑COCO这两个最常用的基准上对所提出的方法进行评估,实验结果表明,本发明方法优于现有的方法。
Abstract: The invention discloses a fine-grained action detection method of a convolutional neural network based on multistage condition influence. The method comprises the steps of: establishing a convolutional neural network influenced by multistage conditions; fusing the explicit knowledge added in the visual scene with the multi-level visual features; enabling the multi-level conditional influence convolutional neural network MLCNet to take a conditional influence multi-branch convolutional neural network structure as a main trunk, generating multi-level visual features, encoding additional spatialsemantic information of human body structure and object context information as a condition, dynamically influencing feature extraction of a CNN through affine transformation and an attention mechanism, and finally fusing and modulating multi-mode features to distinguish various interactive actions; and carrying out model training on the convolutional neural network influenced by the multi-level condition, and outputting a fine-grained action detection result by the obtained model. According to the method, the proposed method is evaluated on the basis of two most common references, namely HICO-DET and V-COCO, and experimental results show that the method is superior to the existing method.
申请人: 南京大学
Applicant: UNIV NANJING
地址: 210093 江苏省南京市鼓楼区********(隐藏)
发明(设计)人: 任桐炜 武港山 孙旭 胡鑫雯
Inventor: REN TONGWEI; WU GANGSHAN; SUN XU; HU XINWEN
主分类号: G06K9/00(20060101)
分类号: G06K9/00(20060101) G06K9/62(20060101) G06N3/04(20060101) G06N3/08(20060101)
  • 法律状态
2020-08-18  实质审查的生效IPC(主分类):G06K9/00
2020-07-24  公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
  • 其他信息
主权项  1.一种基于多级条件影响的卷积神经网络的细粒度动作检测方法,其特征是建立一个多级条件影响的卷积神经网络MLCNet,将从视觉场景中获得的外部知识与多级视觉特征融合,所述多级条件影响的卷积神经网络MLCNet以条件影响的多分支卷积神经网络结构为主干,条件影响的多分支卷积神经网络包括条件影响的卷积神经网络和多分支结构,条件影响的卷积神经网络用于生成多级视觉特征,同时将人体结构和物体上下文所提供的空间语义信息作为条件进行编码,通过仿射变换和注意机制动态影响卷积神经网络的特征提取,所得视觉特征由多分支结构分别编码后输出,最后,融合多模态特征以区分各种交互动作,所述多模态特征包括多分支结构产生的多级视觉特征、人-物相对位置特征和物体上下文特征;对多级条件影响的卷积神经网络进行训练,得到的模型输出细粒度动作检测结果。/n
公开号  111444889A
公开日  2020-07-24
专利代理机构  32112 南京天翼专利代理有限责任公司
代理人  奚铭
颁证日  
优先权  
 
国别 优先权号 优先权日 类型
CN  202010362830  20200430 
国际申请  
国际公布  
进入国家日期  
  • 专利对比文献
类型 阶段 文献号 公开日期 涉及权利要求项 相关页数
注:不保证该信息的有效性、完整性、准确性,以上信息也不具有任何效力,仅供参考。使用前请另行委托专业机构进一步查核,使用该信息的一切后果由用户自行负责。
X:单独影响权利要求的新颖性或创造性的文件;
Y:与检索报告中其他 Y类文件组合后影响权利要求的创造性的文件;
A:背景技术文件,即反映权利要求的部分技术特征或者有关的现有技术的文件;
R:任何单位或个人在申请日向专利局提交的、属于同样的发明创造的专利或专利申请文件;
P:中间文件,其公开日在申请的申请日与所要求的优先权日之间的文件,或会导致需核实该申请优先权的文件;
E:单独影响权利要求新颖性的抵触申请文件。
  • 期刊对比文献
类型 阶段 期刊文摘名称 作者 标题 涉及权利要求项 相关页数
  • 书籍对比文献
类型 阶段 书名 作者 标题 涉及权利要求项 相关页数
  • 附加信息
同族专利
 
引用文献
 
被引用文献
CN112330685ACN112381164ACN112861848A
CN112905832ACN113130014ACN113240046A
CN114495285A