步態(tài)是一種獨(dú)特的生物特征，可以在一定距離內(nèi)被識(shí)別;因此，它在犯罪預(yù)防、司法鑒定、社會(huì)保障等方面有著廣泛的應(yīng)用。為了描述步態(tài)，現(xiàn)有的步態(tài)識(shí)別方法要么使用難以保存時(shí)間信息的步態(tài)模板，要么使用保留不必要的序列約束從而喪失步態(tài)識(shí)別靈活性的步態(tài)序列。在本文中,作者提出一個(gè)新穎的視角,采用步態(tài)作為一套深,這意味著一套步態(tài)框架由一個(gè)全球性的本土集成融合深度網(wǎng)絡(luò)受左,右半球處理信息的方式學(xué)習(xí)信息,可用于識(shí)別。基于這種深集視角，作者的方法不受幀排列的影響，可以很自然地將不同場(chǎng)景下獲取的不同視頻幀進(jìn)行整合，比如不同的觀(guān)看角度，不同的衣服，或者不同的攜帶物品的情況。實(shí)驗(yàn)表明，在正常步行條件下，作者的單模型方法在CASIA-B步態(tài)數(shù)據(jù)集上的平均秩1精度達(dá)到96.1%，在OU-MVLP步態(tài)數(shù)據(jù)集上的平均秩1精度達(dá)到87.9%。在各種復(fù)雜的場(chǎng)景下，作者的模型也表現(xiàn)出高度的健壯性。在提包行走和穿大衣行走條件下，CASIA-B的準(zhǔn)確率分別達(dá)到90.8%和70.3%，顯著優(yōu)于現(xiàn)有的最佳方法。此外，該方法即使在測(cè)試樣本中幀數(shù)較少的情況下也能保持令人滿(mǎn)意的精度;例如，在CASIA-B上，即使只使用7幀，它也能達(dá)到85.0%。

代碼鏈接：https://github.com/AbnerHqC/GaitSet

作者提出了一種端到端的深度學(xué)習(xí)模型，稱(chēng)為Gaitset，從步態(tài)框架集提取特征來(lái)識(shí)別步態(tài)。圖2為Gaitset的總體方案。作者模型的輸入是一組步態(tài)輪廓。首先，使用CNN從每個(gè)輪廓獨(dú)立提取幀級(jí)特征(局部信息)。其次，一個(gè)稱(chēng)為集池的操作用于將幀級(jí)特性聚合為單個(gè)集級(jí)特性(全局信息)。由于該操作使用的是高級(jí)特征圖而不是原始輪廓，它比步態(tài)模板更好地保存了空間和時(shí)間信息;這方面在第4.5節(jié)中得到了實(shí)驗(yàn)驗(yàn)證。全局-局部融合深度網(wǎng)絡(luò)類(lèi)似于作者的大腦處理[11]信息的方式。第三，應(yīng)用水平金字塔映射(HPM)結(jié)構(gòu)將集-水平特征投影到一個(gè)更具判別性的空間，以獲得最終的深集表示。本文所提出的方法的優(yōu)越性可以概括為以下三個(gè)方面:

• 靈活:作者的模型非常靈活，因?yàn)槌溯喞拇笮?，它沒(méi)有對(duì)輸入施加任何限制。這意味著輸入集合可以包含任意數(shù)量的非連續(xù)輪廓，這些輪廓是在不同的視點(diǎn)和不同的行走條件下拍攝的。

• 快速:作者的模型直接學(xué)習(xí)步態(tài)的深層步態(tài)表征，而不是測(cè)量一對(duì)步態(tài)模板或序列之間的相似性。這樣，每個(gè)樣本的表示只需計(jì)算一次，通過(guò)比較不同樣本表示之間的歐氏距離即可進(jìn)行識(shí)別。

• 有效:作者的模型顯著提高了CASIA-B[12]和OU-MVLP[13]數(shù)據(jù)集的最新性能，顯示出對(duì)觀(guān)察和行走條件變化的強(qiáng)大魯棒性和對(duì)大數(shù)據(jù)集的高泛化能力。

GaitSet的框架。SP表示集合池。梯形表示卷積和池塊，在同一列中的那些具有相同的配置，如大寫(xiě)字母的矩形所示。注意，盡管MGP中的塊與主管道中的塊具有相同的配置，但參數(shù)只在主管道中的塊之間共享，而不與MGP中的塊共享。HPP表示水平金字塔池化。

七個(gè)不同的集合池(SP)實(shí)例化。1_1C和cat分別表示1×1卷積層和連接操作。其中，n表示集合中特征映射的數(shù)量，c、h、w分別表示通道數(shù)量、特征映射的高度和寬度。a.三個(gè)基本統(tǒng)計(jì)關(guān)注和兩個(gè)聯(lián)合關(guān)注，b.像素關(guān)注和c.幀關(guān)注。

水平金字塔的結(jié)構(gòu)映射

在這篇論文中，作者提出了一個(gè)新的觀(guān)點(diǎn)，將步態(tài)視為一個(gè)深度集，稱(chēng)為步態(tài)集。與現(xiàn)有的將步態(tài)視為模板或序列的方法相比，本文提出的步態(tài)提取方法能更有效地提取空間和時(shí)間信息。與其他現(xiàn)有的步態(tài)識(shí)別方法不同，GaitSet方法還提供了一種創(chuàng)新的方法，可以從不同序列中聚合有價(jià)值的時(shí)空信息，以提高跨視角步態(tài)識(shí)別的準(zhǔn)確性。在兩個(gè)基準(zhǔn)步態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)表明，與其他最先進(jìn)的算法相比，GaitSet實(shí)現(xiàn)了最高的識(shí)別精度，結(jié)果表明，GaitSet在應(yīng)用于各種復(fù)雜環(huán)境時(shí)表現(xiàn)出廣泛的靈活性和魯棒性，顯示了實(shí)際應(yīng)用的巨大潛力。此外，由于set假設(shè)可以適用于各種其他生物特征識(shí)別任務(wù)，包括人的再識(shí)別和基于視頻的人臉識(shí)別，GaitSet的結(jié)構(gòu)可以在未來(lái)應(yīng)用于這些任務(wù)，很少有微小的變化。

論文鏈接：https:///pdf/2102.03247.pdf

每日?qǐng)?jiān)持論文分享不易，如果喜歡我們的內(nèi)容，希望可以推薦或者轉(zhuǎn)發(fā)給周?chē)耐瑢W(xué)。

- END -