訓練進度管理

目前看得到鏡頭在哪一站,看不到模型在哪一站。這份提案補上模型這條軸。

流程已確認 設計稿 · 未實作 2026-07-28
01 · 流程

一個模型版本走一趟長這樣

訓練站 · 版本的 5 個狀態 · 本設計範圍 找有效資料 ISMS 既有 · 含標記 批次標記完成 訓練中 run 結束 待評估 ① 重訓 · 同一版 ② 上版 已上版 查驗 結案 ISMS 既有 · 範圍外 終態 · 版本凍結 ③ 退回 已退回 終態 · 有後續 鏡頭回「找有效資料」,補完後開新版本 ④ 終止 終止 終態 · 沒後續,必填原因 四選一

觸發後不一定要人:配方沿用上一版就自動開訓,配方要變才等人決定(見「進入」)。

「已上版」是凍結點 —— 之前可以往復,之後不回頭。有問題不是把舊版退回訓練,而是開新版。

鏡頭掛的是「版本」,不是「模型」 —— 所以某支鏡頭已驗證完成、模型卻要重訓時,它停在舊版不動,不會被拖回去。

02 · 為什麼

鏡頭軸把 7 件事攤成 136 列

136
支鏡頭在「查驗」
7
其實只有 7 個模型版本

其中三個模型就吃掉 115 支。看到 136 個點,實際只有 7 件事在進行 —— 壓縮比接近 20 倍。

其他站也一樣:訓練 38 支鏡頭 = 5 個模型;找有效資料 56 支 = 6 個模型。
所以「哪些模型訓練中、哪些結束需查驗」現在只能人工去對,模型一多就對不完。

03 · 你要做的

三個決定,其餘全自動

#決定什麼何時
1配方變更 —— 這一版怎麼訓要改超參/架構,或新模型
2訓練去向 —— 上版/重訓/退回/終止該版跑完(含失敗)
3換版 —— 哪些鏡頭換過去新版上線後

例行重訓不佔你的時間:配方沿用就自動跑,因為閘門在上版、不在啟動。訓練跑了不上版沒有傷害,只花 GPU。

自動的部分:登記、狀態變更、心跳與死亡偵測(含 OOM killer、機器重開)、門檻計算、退回路由建議、涵蓋鏡頭清單、通知、部署執行。

不遺漏的四道保險

結束即指派沒有「待認領」狀態,不會有無主的東西
每日摘要即時推播漏看了,隔天還會出現
逾時升級停太久提醒本人,再久升上層
心跳偵測訓練靜默死掉也會被抓到,不會無聲消失

目前最大的漏洞正是最後一條:現行做法只認 log 印出來的錯誤,被 OOM killer 砍掉的訓練會永遠卡著沒人發現。

04 · 規則

四條

上版前可以往復
待評估 → 重訓 → 訓練中,仍然是同一版。資料變了才算新版本,只調超參不算。
上版後凍結,不回頭
版本被鏡頭掛住就固定了。有問題不是把舊版退回訓練,而是開新版。
鏡頭掛版本,不能超前
鏡頭階段 ≤ 它掛的那個版本。版本推進會解鎖鏡頭往前,鏡頭卡住不影響版本。換版是獨立動作。
配方沿用有終止條件
同一配方連續跑 N 版、或指標連續沒進步 → 停止自動、通知人改配方
沒有這條,泛化問題會讓系統一直餵資料、一直重訓、一直沒改善 —— 空轉但看起來很忙。
05 · 範圍

訓練站內部 + 進出兩個介面

在範圍內

  • 訓練啟動與執行記錄
  • 訓練完成/失敗偵測
  • 版本狀態與負責人
  • 上版門檻(可自動檢查的下限)
  • 交接給查驗:這版動了什麼、該盯哪裡

不在範圍內

  • 查驗階段內部怎麼跑
  • 驗收人力與排程
  • 誤報回報量的規劃
  • 鏡頭層級的交付管理(ISMS 既有)

誤報驗收仍然需要人工,這是前提不是待改進項。VLM 只負責讓客戶端不看到過多誤報,不參與驗收判斷。

06 · 需要決定

兩件事

  1. ISMS 能不能寫入 —— 決定是在 ISMS 加一張表,還是外掛一套。兩者工作量差很多
  2. 同時在跑的版本數上限 —— 目前約 15–20 個未結案,要不要設天花板

其餘都是參數(門檻數值、逾時天數、終止條件的 N),不影響流程成立,可邊做邊調。

我方處理中

訓練快照與 ISMS 的鏡頭名稱對應 —— 兩套命名獨立,目前無共同識別碼。不解就算不出「這版該驗哪幾支鏡頭」。已知問題,不需在此討論。