手機上的姿態偵測模型，本質上是三個東西穿著一件大衣。一張相機畫面被轉成張量；張量丟進一個小型神經網路，輸出大約二十個身體關鍵點的機率熱圖；第二段把熱圖再轉成 App 可以拿來畫骨架的座標。每一層都有自己的故障模式。光線太差會毀掉第一層的畫面；寬鬆衣物會讓模型混淆；背景太雜會讓追蹤斷掉。
系統
行動裝置上的姿態偵測，是拿即時影片串流，在每一幀裡定位解剖標誌——肩膀、手肘、手腕、髖、膝、腳踝。它不懂人在做什麼，只估計這些點在二維像素空間裡的位置。輸出通常是一組附信心分數的 (x, y) 座標，每秒更新三十次。這串座標流，就是驅動計次健身 App、把虛擬物件掛在手腕上的 AR 濾鏡、或深蹲時檢查膝蓋對位的物理治療工具的基礎。系統是一條管線：影像取得、模型推論、座標解碼，每一段有自己的限制。
每一層
感應層是手機相機。它提供模型預期解析度的 RGB 畫面，通常比相機原生解析度低。縮小發生在擷取管線裡，為了壓低延遲。如果畫面送來時太暗或動態模糊，再聰明的模型也救不回遺失的訊號。模型層是卷積神經網路，常採用輕量骨幹如 MobileNet，就像專為行動與邊緣裝置設計的 MovePose 架構所見。骨幹在多尺度下提取特徵圖，一系列上採樣與預測頭產出熱圖——每個關鍵點一張——每個像素值編碼某個關節中心落在該處的機率。有些架構會為被遮蔽的關鍵點另加分支，訓練網路明確表示關節被遮住的狀態，這能改善擁擠場景下的強健性。應用層對每張熱圖取 argmax 得到座標，再選擇性套用時間濾波器來平滑抖動。接著就用這座標疊上骨架或觸發計數器。
邊界案例
有趣的行為發生在模型被推到訓練分佈之外的時候。在擁擠場景中，多人產生重疊的熱圖；argmax 操作每個關鍵點只挑一個峰值，可能導致骨架混雜不同人的身體部位。有遮蔽分支的網路可以標記這些情況，但 App 仍須決定如何運用這資訊。高速運動帶來不同問題：事件相機文獻顯示，關鍵點偵測與追蹤可以解耦，由偵測提供初始位置，追蹤帶著它往前。在一般手機相機上，動態模糊會抹開關鍵點，熱圖峰值變平，信心下降。衣物質感也有關係：深色袖子在深色背景前會讓手肘隱形，而高對比條紋則給模型更多可抓的特徵。
什麼會壞
光線讓感應層失效。低光提高雜訊底線，模型看到的是邊緣較不清晰的顆粒狀畫面。熱圖變得更寬、信心更低，argmax 可能跳到背景特徵上。寬鬆衣物讓模型失效。網路是從標註影像中學到關鍵點，那些影像裡關節可見或至少能從體型推斷；蓋住膝蓋的飄逸長裙移除了體型線索，模型只能猜，常把膝蓋放得太高或太低。雜亂背景讓追蹤失效。人身後有圖案的窗簾可能產生假的熱圖峰值，模型一時偏好它勝過真實關節，導致骨架閃爍。這些故障模式不是 bug；它們是一條管線的直接後果，這管線從不宣稱理解，只宣稱從像素估計。知道系統在哪裡失敗，是善用它的第一步，因為設計選擇——骨幹、損失函數、遮蔽分支——全都是對這些特定弱點的回應。
參考資料
- Keypoint-based Dynamic Object 6-DoF Pose Tracking via Event Camera — arxiv.org
- Learning Human Pose Estimation Features with Convolutional Networks — arxiv.org
- Human Pose Estimation for Real-World Crowded Scenarios — ar5iv.labs.arxiv.org
- MovePose: A High-performance Human Pose Estimation Algorithm on Mobile and Edge Devices — arxiv.org
