快速上手Manus

题目名称：基于紫光同创FPGA的智能交通感知系统

赛题内容

随着城市的迅速发展，城市交通环境也变得更加复杂，行人行为及车牌识别作为智能交通的核心感知技术，在车辆通行管理、交通违章抓拍、ETC闸机、停车场自动化运维等场景中具有不可替代的作用。传统基于CPU/GPU 的行人和车牌识别方案存在实时性不足、功耗较高、部署灵活性受限等问题，而FPGA+MCU凭借并行计算架构、低延迟、高性价比的优势，成为嵌入式场景下智能交通感知系统的理想硬件平台

主要考察FPGA的图像预处理功能、PCIe传输、RK端模型部署优化能力。在RK3568有限的算力和资源限制下如何发挥FPGA的硬件加速能力，做到软硬件协同处理是重点考察。

1. 硬件架构与数据流划分

• 多源视频接入(FPGA端)：

√ HDMI：FMC转HDMI子卡实现1080P的HDMI视频源输入

√  摄像头：40PIN的IO扩展双目OV5640。

√  光纤：可以通过另外的fpga板卡采集视频流通过光纤传输。

• 高速数据通信(FPGA -> RK3568)：

√ 建议使用PCIe 接口进行数据交互。FPGA 将定位并裁剪好的车牌 ROI（感兴趣区域）图像，或处理后的全帧图像及坐标，通过 PCIe DMA 直接写入 RK3568 的内存空间，RK3568从内存中取出图像数据并处理。

2. FPGA 端：图像预处理与车牌定位

• 在FPGA 上用纯 RTL 实现对应算法

·图像预处理：

√ 可以实现RGB 转 HSV，提取蓝色和绿色的特征掩膜、边缘检测：车牌区域具有丰富的垂直纹理。使用 Sobel 算子提取垂直边缘。形态学处理：对边缘图像进行闭运算。

√ 对于倾斜角度还需要fpga做矫正处理。强光情况下需要做可以实现基于局部自适应的 Gamma 校正，对于夜间增强可以采取直方图均衡等，高阶算法可以考虑使用clahe完成。远距离时，车牌区域实际分辨率降低，FPGA的识别效果不佳，可以考虑图像增强、放大车牌区域给到RK。

3. RK3568 端：AI 识别与分类

RK3568 主要负责对 FPGA 抠出的车牌图像进行语义级别的分析。

模型选择：

• 字符识别：推荐使用轻量级的LPRNet 或 CRNN。不需要复杂的目标检测，直接输入裁剪好的车牌图像，输出中文字符和字母数字。
• 车牌分类：可以通过一个极小的分类网络（如MobileNetV2 甚至简单的几层 CNN）来实现，或者直接根据 FPGA 端传入的 HSV 色彩判断结果进行综合判定。
• 低照度:可以RK部署相关模型实现低照度增强
• 远距离：该情况下车牌区域的分辨率相当于降低，RK可以针对该情况使用轻量级模型去完成识别。

输入源连接展示:

数据输入可以来自摄像头、光纤、FMC扩展HDMI输入子卡(后续推出)，光纤数据来自另一块fpga采集板卡，该采集板同样可以支持摄像头输入(FMC扩展GPIO子卡接摄像头)、HDMI输入等；FPGA与RK3568的PCIe连接已经在核心板上,PCB已经完成互连。