
多目标跟踪是摄像头在智能视觉理解目标运动的关键算法,因为目标识别算法在人员遮挡、目标交叉和镜头变化等场景,容易出现ID跳号、轨迹丢失或者认错人等问题。这类问题大多是通过上传云端GPU进行处理解决,本文基于定昌电子的RK3588主板(DC_EN588)+ RK1828边缘算力硬件组合方案,将Roboflow Trackers部署到端侧视觉链路中,本地化实现从目标画面采集、AI检测到目标跟踪和轨迹输出,不依赖云端推理。可进一步支撑到实时目标计数、区域入侵驻留分析、工业目标跟踪等应用,让多目标跟踪从云端计算走向边缘实时处理。下面简单解析一下这个方案。

Roboflow Trackers简介
Roboflow Trackers 是 Roboflow 开源的一套多目标跟踪库,作用于现有目标检测模型,为目标持续分配和维护Track ID,是检测模型和视觉应用之间的一层跟踪算法模块。简单来说,广泛应用于人员计数、车辆跟踪、区域入侵、越线检测、驻留时间、运动轨迹分析、客流分析等应用,例如:检测算法只能判断当前画面中有3个人,而跟踪算法可以进一步判断“3号目标从入口进入,经过通道后移动至货架区域,并在该区域停留12秒”。

EN588+RK1828边缘多目标跟踪平台
要让多目标跟踪真正落地到边缘设备,核心并不是单独运行一个Roboflow Tracker,而是建立一套完整的端侧视觉计算链路。整体架构大概是:摄像头/视频输入 → RK3588视频采集预处理 → RK1828/RK3588 AI目标检测推理 → Detection → Roboflow Tracker → Track ID → 轨迹与业务分析 → HDMI/网络/本地显示,RK3588负责系统调度、视频处理、数据传输以及应用逻辑,RK1828则可以承担AI推理计算任务。
DC_EN588采用瑞芯微RK3588作为主控,配备4×Cortex-A76+4×Cortex-A55八核CPU、Mali-G610 GPU以及6TOPS NPU,并可通过M.2接口扩展RK182X系列AI算力卡,能提供到26TOPS算力。搭配RK1828算力卡后,可以进一步扩展端侧AI推理能力,使设备更适合运行检测、识别和视觉分析等计算密集型任务。

实时跟踪效果与运行链路
打开摄像头或导入一段视频后,画面中的每个检测目标都会被分配一个独立的 Track ID,例如ID1、ID2、ID3。随着目标移动,ID会持续跟随目标变化,即使人员发生短暂遮挡,Tracker也会根据前后帧的检测结果进行关联,尽可能保持原有ID。目标走出画面再回来,ByteTrack 的高低分两级关联比朴素SORT更稳。需要看路径时,打开轨迹线,走动路线一目了然。

本次方案在EN588+RK1828边缘AI平台上,过程可以直接形成实时处理链路:视频采集 → AI目标检测 → tracker.update(detections) → 叠加检测框、ID和轨迹 → 实时显示。因此现场看到的不只是“检测到了几个人”,而是能够进一步观察每个目标是谁、走了什么路线以及目标之间如何运动,为后续人员计数、区域越界、驻留分析和轨迹统计等功能提供基础。算法侧在MOT17、SportsMOT、SoccerNet、DanceTrack 上都有公开 HOTA 对照,部署前就能对「遮挡、快动、镜头晃」有预期。

Roboflow Trackers采用统一的 update(detections) 接口,但是目标检测与多目标跟踪不是写死在一起的,也就是说新的检测模型(YOLO、RF-DETR还是大部分检测算法)能够输出Tracker需要的检测结果,就可以继续使用原来的跟踪模块,无论前端使用,只要将检测结果按照统一格式传递给Tracker,就可以继续完成轨迹跟踪。项目开发时可以先使用板端已有的检测模型验证完整流程,后续再根据项目需求替换为自研YOLO模型、RF-DETR或其他兼容模型,而采集、显示以及跟踪逻辑不需要全部推倒重来。
典型应用场景
1. 安防与智慧园区
在园区出入口、厂区、停车区域等位置,多目标跟踪可以持续维护人员或车辆ID。进一步支持区域人数统计、目标轨迹分析、驻留时间统计等功能。

2. 工业现场与智能制造
工业现场往往存在人员、AGV、物料车、托盘等多个动态目标。通过EN588+RK1828大算力平台,可以将视觉检测和跟踪能力部署在设备侧,对目标运动过程进行持续分析。
例如可以记录AGV从生产线到仓库的运行轨迹,也可以对物品、人员进入危险区域进行实时判断。
3. 体育运动等动态场景
体育比赛中的人员数量多、移动速度快,而且存在大量交叉和遮挡,因此是典型的多目标跟踪应用。方案选择ByteTrack、BoT-SORT等跟踪算法,持续维护运动目标ID,能满足多人交叉、快速变向的场景,并生成移动轨迹,为AI运动分析、战术分析和视频回放提供参考。

RK3588边缘视觉应用开发板
RK3588边缘视觉应用开发板(DC_EN588)面向工业边缘AI、智能NVR、工业网关、车载工控以及视觉终端等应用打造的综合型平台。存储支持4GB/8GB/16GB LPDDR5,并提供16/32/64/128GB eMMC以及TF卡扩展,可以根据项目的AI模型、系统和应用程序的规模进行配置,支持4路MIPI摄像头输入,结合HDMI IN,适配多种视频采集方式,网络方面提供双千兆RJ45,并支持2.4G/5G双频Wi-Fi、蓝牙5.0,同时可以通过Mini PCIe扩展4G全网通。工业接口方面则提供多路光电隔离串口、RS232、RS485、CAN、GPIO等接口。

技术支持
针对DC_EN588+RK1828边缘AI视觉Roboflow Trackers多目标跟踪方案,定昌电子可提供从硬件选型、系统环境搭建到AI模型部署和应用开发的技术支持。开发阶段可协助完成RK3588系统烧录、RK1828算力扩展、摄像头及视频输入调试,并围绕YOLO、RF-DETR等检测模型与Roboflow Trackers进行适配等。
(免责声明:此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。)