单张图片跑得快，不等于产线持续运行时不堵塞。工业视觉质检推理节点选型要同时看批处理带来的吞吐变化、并发任务的资源争用，以及高分位时延是否满足工位节拍。检测表面划痕、识别字符或判断装配状态时，图像尺寸、模型和到图节奏都会改变结果，不能只拿设备标称值作决定。
先把节拍和时延目标拆开
吞吐量表示单位时间内完成的图像数；时延则是单张图从提交推理到返回结果所用时间。两者并不等价：增加批量可能提高平均吞吐，却让批次中的首张图等待更久。节点选型前，先记录正常节拍、短时峰值、每个工件的图像张数，以及从推理结果到控制决策允许的最长时间。
还要区分平均时延与尾时延。平均值看起来合格，不代表偶发排队不会拖慢工位；可同时观察中位数、P95（95%的请求不超过该时长）和最大值。时延目标应由现场节拍和允许的等待时间确定，而非套用统一毫秒数。
批处理与并发：收益和代价都要测
批量推理适合输入可汇集的负载
把多张图合成一批执行，通常能减少重复调度开销、提高单位时间处理量。但批次越大，往往越占用内存，也可能增加等待凑批的时间；若图像按工件顺序到达，等待本身就会进入结果时延。可从批量1开始，逐步试测2、4等规模，并为动态凑批设置短等待上限。比如将2—5毫秒作为初始测试档位，而不是固定配置；低流量、严格时限的任务应优先减小批量或关闭等待。
并发流适合多个请求同时到达
并发流可让节点在一项任务等待执行时处理其他请求，但并发数不是越高越好。过多请求会争抢计算资源、内存带宽和数据搬运能力，导致P95上升，甚至出现超时。按实际部署的推理运行时和模型逐档增加并发，例如从1、2、4路开始记录吞吐、时延及资源占用；若吞吐几乎不再增加而尾时延明显变差，就应回退到前一档。
用同一套负载比较候选节点
工业视觉质检推理节点选型应在相同模型、输入分辨率、精度设置和软件版本下比较。ONNX Runtime、OpenVINO等推理运行时的支持算子和优化路径不同，同一模型在不同节点上的表现不能直接由单次演示推断。测试图像应覆盖正常品、缺陷样本和复杂背景，并保持预处理、后处理逻辑一致。
- 准备固定测试集与持续到图的回放负载，记录图像尺寸、到达间隔及每件产品的图像数量。
- 分别测试批量1和递增批量，再逐档增加并发；每档运行足够时间，使资源升温、队列积压等情况显现。
- 记录吞吐量、P50与P95时延、超时数及内存占用，并注明测试环境和软件版本。
- 用峰值负载复测，检查输入突增后队列能否消退；若只在低负载下达标，不应据此定型。
按现场约束确定配置
批量推理优先看持续吞吐，批次等待必须计入端到端时延；多路任务优先看并发下的P95和资源余量；单件判定时限严格的工位，则应先保证低负载时延，再评估能否并发。比较方案时，也要核对模型是否支持目标运行时、图像预处理是否占用节点资源，以及长期负载下是否稳定。最终的工业视觉质检推理节点选型，应以目标节拍下持续达标且留有余量为准，而非峰值跑分最高者。
常见问题
批量越大，吞吐一定越高吗？
不一定。批量增大可能提升吞吐，也可能因资源饱和、内存开销或等待凑批而收益变小，需按实际模型测试。
并发数该如何设定？
从低并发逐档增加，同时看吞吐和P95；当吞吐增长有限而尾时延恶化时，选择更低的稳定档位。
选型时平均时延够用吗？
不够。还应检查P95、最大时延和超时情况，特别是存在峰值到图或多个任务共用节点时。
