健康資料管線是一場有四名跑者、卻沒有接力棒的接力賽。感測器產生一個數字。某個東西把那個數字轉成標準形狀。另一個東西把它分組、清理,然後交給一個想知道受試者到底睡得好不好的人。每個跑者對「資料代表什麼」都有不同想法,而它們之間的交接處,正是有趣的工程所在。
系統(它實際上做了什麼)
一條處理數位健康資料的管線做四件事:安全地抓取紀錄、把巢狀結構攤平成列、處理並調和這些列、再匯出到統計學家打得開的地方。Spezi Data Pipeline 這套開源 Python 工具包,正是繞著這個順序打造的——存取、攤平、處理、探索、匯出——而且它倚賴 HL7 FHIR 的表達方式,讓一份問卷回應和一筆感測器觀測能用同一套詞彙抵達。
這套詞彙比聽起來更重要。一筆心率樣本和一個問卷答案不是同一種物件,但兩者在 FHIR 裡都是觀測,都帶著一個主體、一個時間戳、一個值。一旦接受這件事,管線下游就會把它們一視同仁地處理。設計選擇就藏在這種一視同仁裡:它讓管線變得通用,也意味著管線必須替天差地遠的酬載決定「值」到底是什麼。
每一層(感測器/模型/App)
感測器層是物理的那一層,也是最不寬容的一層。腕戴式光學感測器量的是反射回來的綠光,原始訊號很小、很雜,而且很容易被動作干擾。管線很少看得到那個原始訊號;它看到的是一台裝置算好的心率,早就被研究員無法檢視的韌體抹平過了。這是個實實在在的限制,值得直說。
模型層是原始或半原始串流變成「有名字的東西」的地方——一個睡眠階段、一個步數、一個活動分類。手機上或雲端裡的模型把一堆樣本組成的張量變成標籤,而那些標籤再以觀測的形式進入管線。App 層是面向人的那一層:它決定要顯示什麼、要問什麼、要同步什麼。它也是最容易在手機離線、或受試者同步到一半關掉 App 時,悄悄把資料丟掉的那一層。
邊界情況(有趣的地方就在這)
邊界情況是管線設計者花最多時間的地方。受試者戴了九小時、充了三小時的電;那段空缺是關於「未配戴」的真實資料,不是錯誤,管線必須照實呈現,而不是插值補平。一份問卷被回答了兩次,因為 App 重試了一次失敗的上傳;管線需要一套識別碼機制,讓重複項可被偵測出來。
異質的本地代碼是另一個反覆出現的邊界。某個站點用一個代碼記錄一筆檢驗值,另一個站點用不同的代碼記錄同一個概念,管線必須調和它們,又不能假裝這個對映完美無缺。有些框架會學習能捕捉跨站點語意關係的嵌入向量——這是個合理的工程答案,因為它產出的是一個表徵,而不是宣稱兩者完全等價。
哪裡會壞(以及為什麼知道這點很有用)
管線總在可預測的地方壞掉。韌體更新改了某個欄位,結構描述就跟著漂移。時間戳以混雜的時區抵達,而用錯偏移量算出來的睡眠區間,會差上好幾個小時。儲存空間長得比任何人規劃的都快,因為原始感測串流很大,而沒有人想刪掉它們。為某個研究寫的處理步驟被另一個研究沿用,然後悄悄假設了一個早已不成立的取樣率。
知道故障模式不是悲觀,那就是設計審查。一條會記錄自己丟了什麼、標記自己缺了什麼、並保留來源脈絡的管線,才是你能信任它會在不知道某件事時告訴你的管線。那勝過任何「一切就是會正常運作」的保證——而當有人把一份資料集交到你手上時,這正是值得追問的性質。
常見問答
為什麼我不能直接相信手錶回報的心率?
因為你信任的是一段你無法檢視的韌體。光學感測器的原始訊號很小、對動作敏感,而你看到的數字早就被裝置隨附的程式碼抹平過了。管線從頭到尾只看得到那個輸出,所以抹平的決定在你程式碼跑起來之前就已經烙進去了。
資料裡有缺口算是錯誤嗎?
通常不是。戴了九小時、接著充了三小時的電,這是關於「未配戴」的真實資訊,好的管線會把它記成缺口,而不是跨過去插值。插值是在發明資料;標記則保留了實際發生的事。
同一份問卷被回答了兩次,我該怎麼處理?
在需要之前,就先設計一套能讓重複項可被偵測的識別碼機制。同步失敗後重試上傳是例行公事,不是例外,而沒有穩定的 ID,你就分不清那是重複項還是貨真價實的第二次回應。




