搜索 分析 新世界 法规 图书 网址导航 更多
高级用户登录 | 登录 | |

基于相机阵列合成孔径成像的遮挡背景估计方法
审中-实审

申请号:201610043867.4 申请日:2016-01-22
摘要:本发明公开了一种基于相机阵列合成孔径成像的遮挡背景估计方法,用于解决现有背景估计方法精度差的技术问题。技术方案是充分利用多视角信息,通过相机阵列合成孔径成像聚焦任意不同深度的能力,将聚焦平面移置背景平面,解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题,最后利用Graph?cuts结合像素标记方法,实现前景与遮挡像素点标记,进而去除遮挡。本发明通过相机阵列合成孔径成像聚焦任意不同深度,将聚焦平面移置背景平面;充分利用相机阵列多视角信息的优势,从不同视角的图像片段选取适当的像素值进行计算,实现了前景与遮挡像素点标记,能够去除遮挡,同时提高了背景估计的精度。
申请人: 陕西师范大学
地址: 710119 陕西省西安市长安区西长安街620号
发明(设计)人: 裴炤 张艳宁 陈希达 马苗 孙莉 张秀伟
主分类号: G06T7/40(2006.01)I
分类号: G06T7/40(2006.01)I
  • 法律状态
2016-07-27  实质审查的生效IPC(主分类):G06T 7/40申请日:20160122
2016-06-29  公开
注:本法律状态信息仅供参考,即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
  • 其他信息
主权项  一种基于相机阵列合成孔径成像的遮挡背景估计方法,其特征在于包括以下步骤:步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机,πr为参考平面,πb表示背景深度为b的焦平面,其中b∈R.定义Wkr为相机阵列中不同视角图像投影至πr的图像。应用公式(1)求得WkrWkr=Hk·gk,?????????????????????(1)式中,gk表示相机Ck采集的图像序列中的一帧图像,Hk,k=1,…,N.表示从gk到参考相机Cr在平面πr上的投影矩阵;当聚焦于背景平面πb时,计算出该平面与参考相机Cr的相对深度dd=(b?r)·b.????????????(2)式中,r表示参考平面πr的深度,πb表示背景深度为b的焦平面,其中b∈R.再应用公式(3)求得深度b处的视差ΔpΔp=ΔX·d.???????????(3)式中,ΔX表示相机间相对位置,深度范围表示为R=[0,s]。根据以上结果并应用公式(4)求得相机Ck投影至深度b的投影图像Wkb的像素;Wkb(m)=Wkr(m+Δp).???????????????????(4)式中,m为图像中任意像素;步骤二、设L={1,…,k,…,N}为标签集,其中k对应相机Ck视角的投影图像;令fm为像素m的标记,其中fm∈L;将背景透视估计问题等同于标记问题并利用能量最小化来方法解决;寻找最优背景将通过计算最小代价的标记fm获得;应用公式(5)定义能量函数E(f)=Ed+Es.?????????(5)式中,E(f)为能量函数,Ed为数据项,Es为平滑项;数据项包括稳定项和预测项,应用公式(6)定义数据项Ed=Σm∈βDm(fm),???????(6)其中<mrow><msub><mi>D</mi><mi>m</mi></msub><mrow><mo>(</mo><msub><mi>f</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><msubsup><mi>D</mi><mi>m</mi><mi>s</mi></msubsup><mrow><mo>(</mo><msub><mi>f</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>+</mo><msubsup><mi>D</mi><mi>m</mi><mi>p</mi></msubsup><mrow><mo>(</mo><msub><mi>f</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>Dm(fm)包括用来度量像素m分配标签fm的代价;其中表示稳定项,表示预测项;步骤三、稳定项基于色彩相似性应用公式(8)进行定义<mrow><msubsup><mi>D</mi><mi>m</mi><mi>s</mi></msubsup><mrow><mo>(</mo><msub><mi>f</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><msubsup><mi>&Sigma;</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></msubsup><mo>|</mo><msub><mi>W</mi><mrow><msub><mi>f</mi><mi>m</mi></msub><mi>b</mi></mrow></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>W</mi><mrow><mi>k</mi><mi>b</mi></mrow></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>|</mo><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>式中,表示相机投影至深度b的投影图像中的像素m;判断像素m是否为稳定像素<mrow><mover><mi>&delta;</mi><mo>~</mo></mover><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>=</mo><mfenced open="{" close=""><mtable><mtr><mtd><mn>1</mn></mtd><mtd><mrow><mi>i</mi><mi>f</mi><mo>|</mo><msub><mi>W</mi><mrow><mi>k</mi><mi>b</mi></mrow></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>W</mi><mrow><mi>r</mi><mi>b</mi></mrow></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>|</mo><mo>&lt;</mo><msub><mi>t</mi><mi>H</mi></msub></mrow></mtd><mtd><mrow><mo>&ForAll;</mo><mi>k</mi><mo>=</mo><mn>1</mn><mo>,</mo><mo>...</mo><mi>N</mi><mo>,</mo><mi>k</mi><mo>&NotEqual;</mo><mi>r</mi></mrow></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mrow></mrow></mtd><mtd><mrow><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi></mrow></mtd></mtr></mtable></mfenced><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>9</mn><mo>)</mo></mrow></mrow>式中,是用来标识稳定区域的稳定性标记,表示该区域不会被遮挡;稳定区域由背景像素组成,这些像素非常相似且在该区域多次出现;另一方面,不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素;若像素m属于稳定区域,则m被设置为Wrb(m),否则m为0,表示其为不稳定像素;tH表示一个阈值;步骤四、基于不稳定像素对预测项应用公式(10)进行定义<mrow><msubsup><mi>D</mi><mi>m</mi><mi>p</mi></msubsup><mrow><mo>(</mo><msub><mi>f</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><mfenced open="{" close=""><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mrow><mi>i</mi><mi>f</mi></mrow></mtd><mtd><mrow><mover><mi>&delta;</mi><mo>~</mo></mover><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>&gt;</mo><mn>0</mn></mrow></mtd></mtr><mtr><mtd><mrow><mi>|</mi><msub><mi>W</mi><mrow><msub><mi>f</mi><mi>m</mi></msub><mi>b</mi></mrow></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>-</mo><msup><mi>W</mi><mi>&gamma;</mi></msup><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mi>|</mi></mrow></mtd><mtd><mrow><mi>i</mi><mi>f</mi></mrow></mtd><mtd><mrow><mover><mi>&delta;</mi><mo>~</mo></mover><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>=</mo><mn>0</mn></mrow></mtd></mtr></mtable></mfenced><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>10</mn><mo>)</mo></mrow></mrow>其中<mrow><msup><mi>W</mi><mi>&gamma;</mi></msup><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msub><mi>&Sigma;</mi><mrow><msup><mi>m</mi><mo>&prime;</mo></msup><mo>&Element;</mo><mover><mi>S</mi><mo>~</mo></mover></mrow></msub><msub><mi>W</mi><mrow><mi>r</mi><mi>b</mi></mrow></msub><mrow><mo>(</mo><msup><mi>m</mi><mo>&prime;</mo></msup><mo>)</mo></mrow><mo>&times;</mo><mover><mi>&delta;</mi><mo>~</mo></mover><mrow><mo>(</mo><msup><mi>m</mi><mo>&prime;</mo></msup><mo>)</mo></mrow><mo>&times;</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mfrac><mrow><mo>|</mo><mi>m</mi><mo>-</mo><msup><mi>m</mi><mo>&prime;</mo></msup><mo>|</mo></mrow><mrow><mo>|</mo><mi>&Theta;</mi><mo>|</mo></mrow></mfrac><mo>)</mo></mrow></mrow><mrow><msub><mi>&Sigma;</mi><mrow><msup><mi>m</mi><mo>&prime;</mo></msup><mo>&Element;</mo><mover><mi>S</mi><mo>~</mo></mover></mrow></msub><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mfrac><mrow><mo>|</mo><mi>m</mi><mo>-</mo><msup><mi>m</mi><mo>&prime;</mo></msup><mo>|</mo></mrow><mrow><mo>|</mo><mi>&Theta;</mi><mo>|</mo></mrow></mfrac><mo>)</mo></mrow></mrow></mfrac><mo>,</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>11</mn><mo>)</mo></mrow></mrow>以及<mrow><mo>|</mo><mi>&Theta;</mi><mo>|</mo><mo>=</mo><mfenced open="{" close=""><mtable><mtr><mtd><mrow><mo>|</mo><mover><mi>W</mi><mo>^</mo></mover><mo>|</mo></mrow></mtd><mtd><mrow><mi>i</mi><mi>f</mi><mi></mi><mi>t</mi><mi>h</mi><mi>e</mi><mi></mi><mi>n</mi><mi>u</mi><mi>m</mi><mi>b</mi><mi>e</mi><mi>r</mi><mi></mi><mi>o</mi><mi>f</mi><mi></mi><mi>s</mi><mi>t</mi><mi>a</mi><mi>b</mi><mi>l</mi><mi>e</mi><mi></mi><mi>p</mi><mi>i</mi><mi>x</mi><mi>e</mi><mi>l</mi><mi>s</mi><mi></mi><mi>i</mi><mi>n</mi><mi>s</mi><mi>i</mi><mi>d</mi><mi>e</mi><mover><mi>W</mi><mo>^</mo></mover><mo>&lt;</mo><mn>50</mn><mi>%</mi></mrow></mtd></mtr><mtr><mtd><mrow><mo>|</mo><mi>W</mi><mo>|</mo></mrow></mtd><mtd><mrow><mi>o</mi><mi>t</mi><mi>h</mi><mi>e</mi><mi>r</mi><mi>w</mi><mi>i</mi><mi>s</mi><mi>e</mi></mrow></mtd></mtr></mtable></mfenced><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>13</mn><mo>)</mo></mrow></mrow>式中,Wγ(m)表示利用图像修补技术对像素m进行预测得到的像素值;表示用来估计预测像素值的采样像素集;表示以像素m为中心的窗口,用来检查不稳定像素,|Θ|为窗口大小;|m?m′|表示m和m′之间的距离;对于每一个像素m,当其被标记为不稳定时,则放置一个以m为中心,大小为的窗口;当稳定像素的数量小于窗口中像素数量的50%,则该窗口需被设置为|W|;预测像素值由该窗口内所有稳定像素加权平均计算得到;步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算,应用公式(14)进行定义,Es=Σm,n∈WVm,n(fm,fm),???????(14)其中<mrow><msub><mi>V</mi><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow></msub><mrow><mo>(</mo><msub><mi>f</mi><mi>m</mi></msub><mo>,</mo><msub><mi>f</mi><mi>m</mi></msub><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mo>|</mo><mo>|</mo><msub><mi>W</mi><msub><mi>f</mi><mi>m</mi></msub></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>W</mi><msub><mi>f</mi><mi>n</mi></msub></msub><mrow><mo>(</mo><mi>n</mi><mo>)</mo></mrow><mo>|</mo><msub><mo>|</mo><mn>2</mn></msub><mo>+</mo><mo>|</mo><mo>|</mo><msub><mi>W</mi><msub><mi>f</mi><mi>n</mi></msub></msub><mrow><mo>(</mo><mi>m</mi><mo>)</mo></mrow><mo>-</mo><msub><mi>W</mi><msub><mi>f</mi><mi>n</mi></msub></msub><mrow><mo>(</mo><mi>n</mi><mo>)</mo></mrow><mo>|</mo><msub><mo>|</mo><mn>2</mn></msub></mrow><mn>2</mn></mfrac><mo>.</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>15</mn><mo>)</mo></mrow></mrow>式中,m,n是临近像素,若匹配度较高,则平滑项小;反之,平滑项大;步骤六、使用图割方法对能量函数进行优化,最终获得一个清晰背景的透视区域。
公开号  105719317A
公开日  2016-06-29
专利代理机构  西北工业大学专利中心 61204
代理人  王鲜凯
颁证日  
优先权  
国际申请  
国际公布  
进入国家日期