FPGA实现ISP用于无人车、无人机配送的方案调研

查到一个always 奥唯思公司做的用FPGA实现ISP的方案,采用易灵思钛金16nm的FPGA Ti60F225,通过MIPI CSI RX采集图像传感器的数据,在FPGA内部经过一系列复杂的ISP运算后,再通过MIPI CSI TX将图像数据发送给后端
在这里插入图片描述

一套完整的ISP,在这个方案里有15个环节,见上图最大的红框,具体的环节介绍见下表。
在这里插入图片描述

这个方案选择FPGA而没有选择ASIC,有以下几点考虑:

·针对选定的Sensor,虽然后续是要接到NVIDIA的平台,貌似NVIDIA的ISP ASIC芯片是方便的,但实际上用仍需要大量的调试工作,不见得比FPGA的工作量小; ·NVIDIA的ISP不支持8bit RAW输入模式; ·部分应用工程师,并不熟悉ISP领域; ·部分ISP算法,NVIDIA并没有包含; ·低延时的需求,需要流水线完成ISP。 综合起来是性价比和兼容性的问题

大概查了一下这个公司,深圳奥唯思科技,2021年成立,专注于摄像头采集、显示方案开发,以及FPGA硬件算法加速。有不少FPGA开发板和CMOS模组、USB工业相机的方案,很值得学习参考。

另外对于应用场景做了一些调研:
相机视频的最终目的是接到NVIDIA的Jetson平台,该平台是NVIDIA为新一代自主机器设计的的嵌入式系统, 是一个AI平台。
它可以支持需要各种性能级别和价格的大量应用场合,例如 AI 网络视频录像机 (NVR)、高精度制造领域中的自动光学检查 (AOI) 以及自主移动机器人 (AMR)。
Jetson简单来讲就是一台电脑(看NVIDIA网站的介绍图,就是一个板卡),只不过这台电脑可以直接跑AI的程序,NVIDIA根据需要的不同做个多个版本。
用在类似送货机器人这样的产品上,商用落地的有京东的配送用产品,应该就可以实现这些送货机器人(无人车)、无人机等在路上、轨迹上安全驾驶,自动识别路程和障碍物,真是挺先进的技术呢,向着未来全面无人驾驶的方向落地的产品

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/682333.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LeetCode】53. 最大子数组和(中等)——代码随想录算法训练营Day31

题目链接:53. 最大子数组和 题目描述 代码 测试用例 测试结果 测试结果 53. 最大子数组和 中等 相关标签 相关企业 给你一个整数数组 nums ,请你找出一个具有最大和的连续子数组(子数组最少包含一个元素),返…

uni-app生命周期 不说废话,直击重点 这篇就够了!

一、生命周期说明 uni-app的生命周期分为应用生命周期、页面生命周期、组件生命周期(Vue的生命周期) 二、应用生命周期 应用生命周期函数表: 函数名说明onLaunch初始化完成时触发(全局只触发一次)onShow启动或者从后…

【算法分析与设计】环形链表

📝个人主页:五敷有你 🔥系列专栏:算法分析与设计 ⛺️稳中求进,晒太阳 题目 给你一个链表的头节点 head ,判断链表中是否有环。 如果链表中有某个节点,可以通过连续跟踪 next 指针再次…

实景剧本杀小程序:创新体验,沉浸式推理乐趣

随着科技的飞速发展,人们对于娱乐方式的追求也在不断升级。传统的桌面剧本杀游戏已经不能满足玩家的需求,他们渴望更加真实、刺激的游戏体验。正是这种需求推动下,实景剧本杀小程序应运而生,为玩家带来前所未有的推理乐趣。 实景…

【基础】第K大与第K小数

说明 给定一个长度为N(0< n< 10000)的序列&#xff0c;保证每一个序列中的数字a[i]是正整数 &#xff0c;编程要求求出整个序列中第k大的数字减去第k小的数字的值m&#xff0c;并判断m是否为质数。(0< k< n) 输入数据 第一行为2个数n&#xff0c;k&#xff08;…

ChatGPT高效提问—prompt常见用法(续篇八)

ChatGPT高效提问—prompt常见用法(续篇八) 1.1 对抗 ​ 对抗是一个重要主题,深入探讨了大型语言模型(LLM)的安全风险。它不仅反映了人们对LLM可能出现的风险和安全问题的理解,而且能够帮助我们识别这些潜在的风险,并通过切实可行的技术手段来规避。 ​ 截至目前,网络…

【Android】使用Android Studio打包APK文件

文章目录 1. 新建项目2. 打包生成APK3. 安装APK 1. 新建项目 打包APK之前&#xff0c;首先需要新建项目&#xff0c;有基础的可以跳过。 无基础的可以参考&#xff1a;使用Android Studio运行Hello World项目 2. 打包生成APK 1.找到Build -> Generate Signed Bundle or …

AMD FPGA设计优化宝典笔记(4)复位桥

高亚军老师的这本书《AMD FPGA设计优化宝典》&#xff0c;他主要讲了两个东西&#xff1a; 第一个东西是代码的良好风格&#xff1b; 第二个是设计收敛等的本质。 这个书的结构是一个总论&#xff0c;加上另外的9个优化&#xff0c;包含的有&#xff1a;时钟网络、组合逻辑、触…

机器视觉范例及深入

1.做一个魔法棒吧 获得了物体的坐标后&#xff0c;可以用它来完成一些有趣的事情&#xff0c;例如把物体当作“笔”在图像 上绘制出图样。我们可以选择一种颜色的黏土&#xff0c;将其固定在任意棒状物&#xff08;例如铅笔&#xff09;的一端 并揉成球形&#xff0c;做一个 …

函数求导法则【高数笔记】

【分类】 1. 四则运算求导 2. 复合运算求导 3. 整体思想求导 #整体思想求导本质是运用复合运算求导&#xff0c;只不过是对复合运算求导的一种精炼 #无论是具体函数还是抽象函数求导&#xff0c;方法是一致的 【四则运算求导】 加&#xff0c;减&#xff0c;乘&#xff0c;除&a…

Java基于微信小程序的电子竞技信息交流平台

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…

Promise与async await的作用及应用场景

在Web前端开发中&#xff0c;处理异步操作是非常常见的需求。为了解决这个问题&#xff0c;ES6引入了Promise和后续的async await。本文将介绍Promise和async await的作用&#xff0c;以及在实际开发中的应用场景。 一、Promise的作用及应用场景 Promise是一个表示异步操作最…

【程序设计竞赛】C++与Java的细节优化

必须强调下&#xff0c;以下的任意一种优化&#xff0c;都应该是在本身采用的算法没有任何问题情况下的“锦上添花”&#xff0c;而不是“雪中送炭”。 如果下面的说法存在误导&#xff0c;请专业大佬评论指正 读写优化 C读写优化——解除流绑定 在ACM里&#xff0c;经常出现…

Oracle NLSSORT 拼音排序 笔画排序 部首排序

目录 测试数据 --拼音 --笔划 --部首 测试数据 create table test(name varchar2(20)); insert into test values(中国); insert into test values(美国); insert into test values(日本); insert into test values(德国); insert into test values(法国); insert into t…

代码随想录算法训练营day44 || 52. 完全背包问题,518. 零钱兑换II,377. 组合总和 Ⅳ

视频讲解&#xff1a; 带你学透完全背包问题&#xff01; 和 01背包有什么差别&#xff1f;遍历顺序上有什么讲究&#xff1f;_哔哩哔哩_bilibili 动态规划之完全背包&#xff0c;装满背包有多少种方法&#xff1f;组合与排列有讲究&#xff01;| LeetCode&#xff1a;518.零钱…

C# 读取excel返回dataset

1、读取函数 /// <summary> /// 读取excel数据 /// </summary> public DataSet ReadExcelFiles(string filePath,List<string> lSheetName) { string strConn String.Format("ProviderMicrosoft.Ace.Ole…

Hive调优——合并小文件

目录 一、小文件产生的原因 二、小文件的危害 三、小文件的解决方案 3.1 小文件的预防 3.1.1 减少Map数量 3.1.2 减少Reduce的数量 3.2 已存在的小文件合并 3.2.1 方式一&#xff1a;insert overwrite (推荐) 3.2.2 方式二&#xff1a;concatenate 3.2.3 方式三&#xff…

寒假学习记录15:Node(网络)

net模块 &#xff08;TCP/IP协议&#xff09; 创建客户端 1.引入net const net require("net"); 2.创建客户端 const socket net.createConnection({host:"连接地址的路径",port:80&#xff08;端口号&#xff09;},()>{console.log("连…

支付交易——重试服务

摘要 为了能在最大限度满足顾客要求的前提下尽可能降低成本&#xff0c;老王在开店的过程中想了很多方法。这充分体现出老王作为一个商人的特质:不放过一个订单&#xff0c;不浪费一分钱。 老王就这样在自己的生意上兢兢业业多年&#xff0c;想着应该不会有什么纰漏。但现实很…

常见单例模式详解

单例模式是23种设计模式中应用最广的模式之一&#xff0c;其定义&#xff1a;确保某一个类只有一个实例&#xff0c;而且自行实实例化并向整个系统通过这个实例。其类图如下&#xff1a; 通俗来说&#xff0c;单例模式就是用于创建那些在软件系统中独一无二的对象。在一个软件系…