边缘推理与云端:产线质检时延决定了模型必须住在哪里

게시일: 2022-10-22 출처: 许愿牛科技

产线节拍以毫秒计,质检模型若每次问云,堵的是传送带。时延决定推理放边缘还是云端,而不是模型谁更大。

视觉模型在云上很准,产线等一次推理要几百毫秒外加抖动。节拍不允许排队。时延预算决定模型住在工位旁还是住在机房。边缘负责放行,云端负责训练、抽检和版本。位置选错,准确率再高也是停线源。

模型住哪里,不是架构偏好。是传送带还等不等得起。

先写时延再选位置

测量拍照到放行的允许时间。超预算必须边缘化或减输入。断网时边缘仍能按末版模型放行并缓存。云端更新要可回滚,不得在高峰静默推送。

  • 在线学习不要直接写进放行路径。
  • 抽检与疑难件可以上云,节拍件必须本地。
  • 边缘设备有健康检查,风扇和磁盘与产线同级维护。
产线因云端推理延迟造成工件堆积
准在云上,晚在线上。节拍不等人,模型就必须搬到工位旁。

边缘放行,云端进化

XYN 数智化系统把质检结果写回工单,推理位置按工位时延配置。住对地方,智能才是节拍的一部分;住错地方,智能是节拍的对手。

用秒表量一次拍照到放行。超预算,先搬边缘,再谈换更大的云端模型。

工位旁边缘设备在毫秒级给出质检结果
放行在边缘。进化在云端。位置由时延决定,不由参数量决定。