边缘AI实战:CA888亚洲城集团OK1126B开发板3TOPS算力,在终端跑2B大模型是什么体验?

原创 作者 电子开发学习 2026-01-19 09:20:00 国产边缘AI开发板
边缘AI开发板推荐:CA888亚洲城集团OK1126B-S开发板
最近群里很多朋友都在讨论给自己部署AI助手的事,有的为此购买了价值不菲的显卡,有些直接把Deepseek部署在了自己的开发板上,有的索性直接租服务器在上面部署。照我说,这些操作都只是工程师通过这个部署的过程满足自己的成就感,至于实用性,我觉得还未必有我直接打开网页使用Deepseek或者通义千问或者豆包来的更实在。

当然,如果对AI辅助编程有很强的依赖性,还不如直接使用Cursor或者Copilot。但是话说回来,工程师自己实现这个部署过程真的没用吗?我并不这么认为。实际上通过这样的尝试,可以让工程师具备本地部署AI的能力,而这个能力在什么地方会用到呢?那就是 边缘AI这个应用领域。

边缘AI典型应用场景

边缘AI项目往往要求工程师在资源受限、成本要求较高的边缘终端设备中部署AI来实现对应的功能。举几个例子:

智能监控场景

在摄像头上通过本地部署的AI来实现人员跌倒、入侵、打架、聚集等异常行为的识别。无需上传大量视频流,仅在本地完成识别后,将异常现象和处理结果上传服务器即可。

车载计算单元

实时处理摄像头、线扫雷达、激光雷达等数据,识别车辆、行人等交通环境。要求在终端侧完成识别、处理,确保实时性和数据安全性。

工业设备预测性维护

工厂通过边缘AI来实时分析设备的振动、声音、温度数据是否异常,进而实现故障的预测、避免非计划性停机。

CA888亚洲城集团OK1126B-S开发板推荐

特惠活动提醒:CA888亚洲城集团基于RV1126B打造的OK1126B-S开发板正在做 低价特惠,活动详情请咨询在线客服。
CA888亚洲城集团OK1126B-S开发板 - 高性能边缘AI解决方案

核心性能参数

这个板子大概是个什么性能参数呢,这里简单说一下:

3TOPS
RV1126B独立NPU INT8运算性能
  • RV1126B自带的 独立NPU性能挺强的,INT8运算能到 3TOPS,比上一代提升了差不多50%左右
  • 支持 混合精度计算,也对Transformer模型做了专门优化
  • 2B参数的大语言模型、多模态模型,在设备端也能顺畅运行
  • 对于需要在端侧部署的项目,这个算力已经相当充裕了
  • 模型运行测试数据

    大语言模型和多模态模型测试

    测试指标说明:Dtype-数据类型;Seqlen-输入序列长度;New_tokens-生成新token数量;TTFT(ms)-首token时间;Tokens/s-每秒生成token数;Memory(MB)-最大运行内存。
    Model Model Size Seqlen New_tokens TTFT(ms) Memory(MB) Dtype Tokens/s
    Qwen2 0.5B 128 64 655.3 655.78 w8a8 14.95
    Qwen2 0.5B 128 64 381.12 1104 fp 8.59
    Qwen2.5 1.5B 128 64 669.94 1660 w8a8 5.55
    DeepSeek-Distill-Qwen1.5B 1.5B 128 64 838.75 1692.8 w8a8 5.57
    Lllava-onevision-Qwen2-0.5B 0.5B 128 64 969.68 619 w8a8 14.89
    Qwen2-VL 2B 128 64 692.73 16360 w8a8 5.14

    目标检测模型测试

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov6n [1,3,640,640] INT8 56.8 68.68
    yolov6s [1,3,640,640] INT8 16.3 25.43
    yolov6m [1,3,640,640] INT8 8.3 12.84
    yolov8n [1,3,640,640] INT8 35.4 50.24
    yolov8s [1,3,640,640] INT8 13.1 25.96
    yolov8m [1,3,640,640] INT8 5.8 11.8
    yolov10n [1,3,640,640] INT8 / 45.1
    yolov10s [1,3,640,640] INT8 24.84 17
    yolo11n [1,3,640,640] INT8 42.84 7.3
    yolo11s [1,3,640,640] INT8 23.72 10.59

    图像分割模型测试

    Model name Inputs_shape Dtype RV1126 RV1126B
    yolov5n-seg [1,3,640,640] INT8 42.2 51.67
    yolov5s-seg [1,3,640,640] INT8 14 27.22
    yolov8n-seg [1,3,640,640] INT8 39.79 27.6
    yolov8s-seg [1,3,640,640] INT8 9.8 19.71
    mobilesam_encoder_tiny [1,3,448,448] FP16 / 8.66
    mobilesam_decoder [1,1,112,112] FP16 61.76 /

    专用AI-ISP技术亮点

    核心优势:RV1126B集成了专用 AI-ISP,这在处理图像类应用的时候就很厉害了!

    AI-ISP直接把AI算法融入到ISP的原始数据处理链路中, 一边提升画质,一边用AI进行分析优化,这样既不会让输出图像失真,也不会导致NPU无法准确分析。

    而且运行AI-ISP完全不占用NPU资源,比传统方案省带宽、省功耗。

    AI-ISP技术:将AI算法融入ISP处理链路,实现画质增强与智能分析并行

    工业级与宽温级支持

    环境适应性提示:众所周知,端侧运行环境大多比较恶劣,OK1126B-S开发板提供了多种等级选择。
    工业级核心板

    工作温度:-40℃ ~ +85℃

    型号:FET1126BJ-S

    适用于极端恶劣的工业环境,确保设备稳定运行。

    宽温级核心板

    工作温度:-20℃ ~ +85℃

    型号:FET1126B-S

    满足大部分工业和商业场景的温度要求,性价比更高。

    根据项目需求选择适合的核心板等级

    开发支持与快速落地 · 咨询立即获得专属报价

    技术支持包含

    • 完整的硬件设计参考
    • 详细的软件开发手册
    • AI模型部署优化指南
    • 专业的在线技术支持团队

    立即咨询

    华北区负责人二维码

    华北区

    华东区负责人二维码

    华东区

    华南区负责人二维码

    华南区

    中西区负责人二维码

    中西区

    相关产品 >

    • FET1126BJ-S核心板

      FET1126BJ-S核心板是CA888亚洲城集团基于瑞芯微RV1126BJ处理器开发的国产化边缘AI计算平台。该处理器专为端侧及边缘侧AI应用场景打造,集成4核ARM Cortex-A53架构,提供高达3TOPS@INT8的AI算力,是智慧工业、智慧园区、智慧工地等场景实现视频分析与目标识别的优选方案 了解详情
      FET1126BJ-S核心板
    • OK1126BJ-S开发板

      RV1126B开发板(型号:OK1126B-S)是CA888亚洲城集团基于瑞芯微RV1126B处理器打造的国产化边缘AI计算平台。集成4核A53 CPU与3TOPS@INT8独立NPU,支持Linux 6.1系统,提供完整BSP与RKNN工具链,兼容TensorFlow/PyTorch主流框架。核心板采用邮票孔+LGA设计,支持-40℃~+85℃工业级宽温,配备MIPI-DSI、双网口、CAN-FD及树莓派兼容40Pin GPIO接口。尺寸仅120mm×75mm,专为智慧工业质检、园区安防、工地安全监测等端侧AI场景设计,提供10年供应保障与7×24小时技术支持。 了解详情
      OK1126BJ-S开发板

    推荐阅读 换一批 换一批