計算機視覺的一大研究熱點是人體姿態估計，還有很多問題急需解決，比如遮擋，交互等等。在最近的CVPR2020里邊也有很多這方面的工作。本文站長主要是想談談基于深度學習的實時多人姿態估計。

人體姿態估計要干嘛？

關于人類活動規律的研究，必定是計算機視覺領域首要關注的內容。其中，人體姿態估計便是計算機視覺領域現有的熱點問題，其主要任務是讓機器自動地檢測場景中的人“在哪里”和理解人在“干什么”。

隨著信息化時代的迅速發展，人類每時每刻都在通過多種多樣的手段和途徑獲得海量的可視化圖像數據，這使得基于自然場景圖像的人姿態估計研究在現實生活中擁有很多潛在的應用價值。圖1展示了自然場景圖像中人體姿態估計的研究應用。

Fig.1: 自然場景圖像人體姿態估計的研究應用

在信息化的時代，視頻監控正在銀行、超市以及公安機關等關乎人民財產、人身安全的重要場所發揮著舉足輕重的角色。面對海量的視頻圖像序列，為了及時地制止現場事故的進一步發生，工作人員必須長時間且精神高度集中地觀察視頻監控畫面并對異常事件作出處理。

除了工作人員很難長時間地保持高度警惕外，長期投入大量的人力來監測小概率發生的事件也不是單位機構提倡的做法。因此，實現視頻監控的智能化成為一種互聯網時代的必然趨勢。但是，實現智能視頻監控的前提條件是讓機器自動地識別視頻圖像序列中的人體姿態，從而進一步分析視頻圖像中人類的行為活動。

這就涉及到了我們下面所要說的人體行為分析了。

人體行為分析又為那般？

人體行為分析理解成為了近幾年研究的熱點之一。在人體行為分析理解的發展過程中，研究人員攻克了很多技術上的難關，并形成了一些經典算法，但仍有很多尚未解決的問題。從研究的發展趨勢來看，人體行為分析的研究正由采用單一特征、單一傳感器向采用多特征、多傳感器的方向發展。而人體姿態估計作為人體行為識別的一個重要特征，是進行人體行為分析的基礎，是人體行為分析領域備受關注的研究方向之一。

人體姿態估計是指從圖像中檢測人體各部分的位置并計算其方向和尺度信息。人體行為分析是基于多幀圖像的前后關系進行分析理解，而人體姿態識別是針對單幀靜態圖像進行處理。正確識別出多幀連續的靜態圖像的姿態信息，為實現正確的行為分析理解提供了可能。因此，人體姿態估計的準確性與實時性直接影響人體行為分析的準確性和實時性，確保實時準確的姿態識別是進行下一步行為分析的基礎。

現在，我們的人體姿態估計課題的發展已越來越貼近實際，例如在步態分析、人機交互以及視頻監控等領域，人體姿態估計均具有廣泛的應用前景。所以呢，研究人體姿態估計還是蠻有意思的，好玩 !

當前姿態估計算法有哪些？

目前主流的人體姿態估計算法可以劃分為傳統方法和基于深度學習的方法。

基于傳統方法的人體姿態估計

傳統方法一般是基于圖結構和形變部件模型，設計2D人體部件檢測器，使用圖模型建立各部件的連通性，并結合人體運動學的相關約束不斷優化圖結構模型來估計人體姿態。

其缺點是什么？

First，傳統方法雖然擁有較高的時間效率，但是由于其提取的特征主要是人工設定的HOG和SHIFT特征，無法充分利用圖像信息，導致算法受制于圖像中的不同外觀、視角、遮擋和固有的幾何模糊性。同時，由于部件模型的結構單一，當人體姿態變化較大時，部件模型不能精確地刻畫和表達這種形變，同一數據存在多個可行的解，即姿態估計的結果不唯一，導致傳統方法適用范圍受到很大限制。
Second，另一方面，傳統方法很多是基于深度圖等數字圖像提取姿態特征的算法，但是由于采集深度圖像需要使用專業的采集設備，成本較高，所以很難適用于所有的應用場景，而且采集過程需要同步多個視角的深度攝像頭以減小遮擋問題帶來的影響，導致人體姿態數據的獲取過程復雜困難。因此這種傳統的基于手工提取特征，并利用部件模型建立特征之間聯系的方法大多數是昂貴和低效的。
基于深度學習的人體姿態估計算法

隨著大數據時代的到來，深度學習在計算機視覺領域得到了成功的應用。因此，考慮如何將深度學習用于解決人體姿態估計問題，是人體姿態估計領域的學者們繼圖結構模型后所要探索的另一個重點。早期利用深度學習估計人體姿態的方法，都是通過深度學習網絡直接回歸出輸入圖像中關節點的坐標。

總結

六階段雙分支網絡結構在關節點預測精度上略高于現有傳統的的人體姿態估計算法。本次站長采用的算法利用自底向上的思想，首先預測出所有骨點位置，并將骨點連接形成圖結構，通過圖優化實現多人體姿態估計。算法運行效率方面，由于網絡同時預測出關節點位置和關節點之間的空間關系，為多人姿態估計算法提供更加稀疏的二分圖，降低二分圖優化復雜度而達到了實時的效果。