近日,上海肇觀電子科技有限公司推出了一款內(nèi)嵌智能深度相機---Feynman系列。
Feynman系列基于肇觀電子自主研發(fā)的主控人工智能視覺芯片---NE-D163A,將主要供應(yīng)無感智能門禁、AR/VR、智能交通、物聯(lián)網(wǎng)、機器人、機器視覺和安防等市場。另外,為滿足智能設(shè)備避障、智能分析和定位等需求,肇觀電子還提供Feynman系列的軟件開發(fā)工具包(SDK),使其能夠設(shè)置差異化算法,進行深度定制。
強大的人工智能視覺芯片---NE-D163A
肇觀電子是一家專門從事人工智能芯片和計算機視覺芯片設(shè)計的高新企業(yè),其產(chǎn)品主要應(yīng)用于車載、家用攝像、安防、3D視覺和門禁等芯片需求市場。主控人工智能視覺芯片NE-D163A搭配超強性能視覺處理獨立硬件IP,完全由肇觀電子自主研發(fā),主要應(yīng)用于工業(yè)檢測、機器人和AR/VR等領(lǐng)域。
NE-D163A視覺AI芯片
NE-D163A搭載的嵌入式神經(jīng)網(wǎng)絡(luò)處理器(NPU),在業(yè)界硬件利用率方面處于領(lǐng)先地位。從每個處理器運算能力單位對典型網(wǎng)絡(luò)的推理幀率來看,NE-D163A相比業(yè)內(nèi)其他AI芯片,在性能上要強2、3倍。NE-D163A搭載的AI編譯器Infer Studio?,除了支持Transformer、RNN、CNN、LSTM等網(wǎng)絡(luò)類型,還支持NCNN、ONNX、Caffe、Tensorflow等框架。
另外,NE-D163A搭載的嵌入式神經(jīng)網(wǎng)絡(luò)處理器支持INT8和FP16兩種精度選擇。其中,INT8的精度損失能控制在1%以內(nèi),F(xiàn)P16則能達到無損精度,保證了算法部署的精確度。
Feynman相機有哪些性能特點
NE-D163A芯片還擁有自主學(xué)習(xí)ISP流水線架構(gòu),就算在各種復(fù)雜的光照條件下,F(xiàn)eynman相機仍然能生成高質(zhì)量的圖像。同時,F(xiàn)eynman搭載的傳感器支持高動態(tài)HDR,在較低光照度的條件下,成像依然非常清晰。
國外競品R* D435 (左)與Feynman M1 (右)
Feynman相機還能為機器人提供強大的理解能力和環(huán)境感知能力。Feynman相機搭載了豐富的傳感器組件,包括雙目紅外攝像頭IR模組、慣性測量單元 (IMU)、散斑結(jié)構(gòu)光、彩色攝像頭RGB全局曝光模組等,能夠搜集周圍環(huán)境中的多維度信息。
Feynman的SoC芯片包含了視覺加速引擎DSP、幾何和深度引擎DEP、AI加速引擎NPU,同時運用了主動雙目視覺技術(shù),保證Feynman在室內(nèi)各場景下都能生成高精度、高幀率的深度圖。從整體上看,F(xiàn)eynman具有集成度高、AI算力強、體積小、深度圖精度高、ISP成像質(zhì)量好、幀率高、功耗低等特性。
Feynman相機集成了性能強大的嵌入式神經(jīng)網(wǎng)絡(luò)處理器,視覺加速算力非常優(yōu)秀。這使得Feynman相機不光能生成高質(zhì)量的深度圖,還能根據(jù)深度圖或者RGB圖像實現(xiàn)生物檢測、智能分析、識別。在DSP加速視覺算子的加持下,F(xiàn)eynman相機可以實現(xiàn)對VSLAM算法關(guān)鍵函數(shù)的加速,還可以定制實現(xiàn)高性能的點云處理和深度圖后處理。Feynman也是業(yè)內(nèi)首款集成DSP和AI算力的深度相機。
Feynman M1結(jié)構(gòu)圖
Feynman相機在不外掛其他處理器的情況下,就能實現(xiàn)720P 30FPS的深度圖,深度視覺處理能力非常強大。我們知道,深度距離的精確程度跟深度圖的精確度有很大的關(guān)系。在相同的外部條件下,F(xiàn)eynman相機的空洞率已經(jīng)優(yōu)于國際相機巨頭的水平。
Feynman相機的結(jié)構(gòu)非常緊湊,在大小上能夠兼容市面主流的深度相機。與市面上的高端3D深度相機相比,F(xiàn)eynman相機的性能指標非常具有競爭優(yōu)勢,在智能設(shè)備的應(yīng)用方面更加具有亮點。
Feynman相機的應(yīng)用場景
市面上大多數(shù)深度相機,陽光下的主動光容易受到干擾,導(dǎo)致深度圖的效果不佳。Feynman相機使用了獨特的光學(xué)設(shè)計,使其不僅可以在室內(nèi)使用,還能適用室外復(fù)雜的場景。在面對室外強烈的陽光時,F(xiàn)eynman相機在保持信噪比的同時,還能降低太陽光的干擾,保證了深度圖的完整性和準確性。
Feynman相機的強大性能,保證了其在智能機器人領(lǐng)域的巨大應(yīng)用前景。在工業(yè)應(yīng)用領(lǐng)域,F(xiàn)eynman相機經(jīng)過改款之后,新增了控制信號航插,千兆以太網(wǎng)和電源功能,以滿足工業(yè)生產(chǎn)的需求。