邊緣推理與雲端:產線質檢時延決定了模型必須住在哪裡

發布時間: 2022-10-22 來源: 许愿牛科技

產線節拍以毫秒計,質檢模型若每次問雲,堵的是傳送帶。時延決定推理放邊緣還是雲端,而不是模型誰更大。

視覺模型在雲上很準,產線等一次推理要幾百毫秒外加抖動。節拍不允許排隊。時延預算決定模型住在工位旁還是住在機房。邊緣負責放行,雲端負責訓練、抽檢和版本。位置選錯,準確率再高也是停線源。

模型住哪裡,不是架構偏好。是傳送帶還等不等得起。

先寫時延再選位置

測量拍照到放行的允許時間。超預算必須邊緣化或減輸入。斷網時邊緣仍能按末版模型放行並緩存。雲端更新要可回滾,不得在高峰靜默推送。

  • 在線學習不要直接寫進放行路徑。
  • 抽檢與疑難件可以上雲,節拍件必須本地。
  • 邊緣設備有健康檢查,風扇和磁碟與產線同級維護。
產線因雲端推理延遲造成工件堆積
準在雲上,晚在線上。節拍不等人,模型就必須搬到工位旁。

邊緣放行,雲端進化

XYN 數智化系統把質檢結果寫回工單,推理位置按工位時延配置。住對地方,智能才是節拍的一部分;住錯地方,智能是節拍的對手。

用秒表量一次拍照到放行。超預算,先搬邊緣,再談換更大的雲端模型。

工位旁邊緣設備在毫秒級給出質檢結果
放行在邊緣。進化在雲端。位置由時延決定,不由參數量決定。