央廣網(wǎng)上海9月21日消息（記者傅聞捷 通訊員龔凡）“從上海中心的合適位置，整個外灘的人流細(xì)節(jié)都能看得一清二楚。”讓復(fù)旦大學(xué)微電子學(xué)院/工程與應(yīng)用技術(shù)研究院教授曾曉洋“夸下�？凇钡牟皇峭h(yuǎn)鏡，不是攝像頭，而是由其領(lǐng)導(dǎo)的團(tuán)隊(duì)自主研發(fā)的五億級像素云相機(jī)系統(tǒng)�；谶@一系統(tǒng)研發(fā)的五億像素智能視頻瞭望相機(jī)亮相2019年中國國際工業(yè)博覽會。
這一團(tuán)隊(duì)由復(fù)旦大學(xué)微電子學(xué)院副教授范益波作為圖像、智能與電子系統(tǒng)技術(shù)負(fù)責(zé)人，長春光機(jī)所研究員黃瑋作為光機(jī)系統(tǒng)技術(shù)負(fù)責(zé)人，復(fù)旦大學(xué)微電子學(xué)院副研究員荊明娥作為圖像算法技術(shù)負(fù)責(zé)人。
目前，先進(jìn)的單反相機(jī)分辨率可達(dá)千萬像素級別，對圖像的刻畫已經(jīng)非常細(xì)致。五億級像素相機(jī)拍出照片會是什么樣？人眼能分辨的極限像素是1.2億，五億級的超高像素意味著相機(jī)能捕獲極其細(xì)致入微的圖像細(xì)節(jié)，即便在能容納幾萬人的偌大體育場，拍攝一副全景照片也可以獲得每張人臉的清晰圖像。如果加上人工智能的助力，這款相機(jī)還能進(jìn)行海量數(shù)據(jù)人臉等目標(biāo)的檢測與識別，瞬間發(fā)現(xiàn)特定目標(biāo)。
拍得廣，看得清，找得準(zhǔn)，這款不一般的“高能”相機(jī)，或?qū)⑺⑿氯藗儗鹘y(tǒng)相機(jī)的認(rèn)知。
打破定式，不對焦也能看得清
要使被拍攝物成像清晰，傳統(tǒng)相機(jī)的聚焦操作是必不可少的關(guān)鍵環(huán)節(jié)�！翱吹们搴涂吹脧V對傳統(tǒng)相機(jī)來說是一對矛盾，如兩千萬像素全部分配到一萬個人身上，每個人像就只有20個像素，一定無法看清楚人體目標(biāo)了。”曾曉洋說，既想看得清，又想看得遠(yuǎn)，還要看得廣，在現(xiàn)有的相機(jī)條件下，根本就是一個悖論�！�但如果相機(jī)的像素能達(dá)到兩億、五億或者十億呢？那么即使是十萬個人也能拍得清楚了�！�
當(dāng)下，覆蓋地域廣、涵蓋目標(biāo)多的高像素照片是怎樣產(chǎn)出的呢？后期處理是現(xiàn)行的唯一途徑：針對目標(biāo)物體進(jìn)行多次拍攝，再依靠后期圖像處理與拼接技術(shù)將這些單幅圖像逐一拼接，合“多”為“一”。但這種方法的劣勢顯而易見，既費(fèi)時(shí)間（幾小時(shí)到幾天時(shí)間），也要消耗大量能量。“比如從高空進(jìn)行拍攝，現(xiàn)在普遍使用無人機(jī)，但無人機(jī)的續(xù)航時(shí)間有限，按照現(xiàn)在的拍攝方式，人們獲取超高清晰圖像非常困難。”曾曉洋介紹，目前使用的衛(wèi)星實(shí)時(shí)導(dǎo)航所依據(jù)的路況地圖都是靠后期“P”出來的，難度很大，成本極高。
“超遠(yuǎn)距離拍攝”“超高清細(xì)節(jié)”“超快速成像”，這三個條件要想同時(shí)“成立”，還得從大幅提高相機(jī)像素入手。不對焦也能拍得清楚，五億級像素云相機(jī)系統(tǒng)的出現(xiàn)，從技術(shù)層面打破了傳統(tǒng)拍照的定式規(guī)則，實(shí)現(xiàn)了“不可能”。
硬件升級，芯片創(chuàng)新實(shí)現(xiàn)顛覆性改變
幾年前，在軍方的資助下，美國研發(fā)出世界上第一臺億級像素相機(jī)，其運(yùn)用的“陣列外拼接成像原理”將千萬級像素照片進(jìn)行軟件拼接，CMOS圖像傳感器呈陣列式分布，相互錯開、互補(bǔ)排列，最終通過后續(xù)軟件圖像拼接得到完整的大視場超高分辨率視頻和圖像。但高像素光學(xué)鏡頭的陣列排布大大增加了相機(jī)體積�！绊樦@個思路，當(dāng)像素提升到五億級時(shí)，尤其是需要視頻圖像時(shí)，相機(jī)系統(tǒng)體積會變得非常大，并且實(shí)時(shí)視頻拼接基本上不可能實(shí)現(xiàn)。”曾曉洋認(rèn)為，這個方案潛力有限，“走不遠(yuǎn)”。
什么才是“有后勁”“能發(fā)展”的思路？經(jīng)過長時(shí)間的研究，曾曉洋團(tuán)隊(duì)實(shí)現(xiàn)了一種創(chuàng)新性的億極像素成像技術(shù)�！巴瑯舆�是拼接成像原理，但我們使用了創(chuàng)新的共心復(fù)合尺度的光學(xué)成像方案，將陣列式的光學(xué)成像鏡頭大幅縮減為‘一’，采用兩級分光成像來進(jìn)行多路CMOS圖像傳感器成像�！边@樣，也對分光系統(tǒng)的精度提出了很高要求，不同光路對目標(biāo)進(jìn)行成像，如果精度 “差之毫厘”，拼接后圖像則“謬以千里”。
除了超高分辨率的照片，對這款高性能的云相機(jī)來說，拍同樣分辨率的實(shí)時(shí)視頻也“不在話下”。實(shí)時(shí)視頻對相機(jī)的計(jì)算速度和運(yùn)行效率都提出了更高的要求：每次成像都是上百張千萬級像素的照片高精度無縫拼接而成，而連續(xù)視頻應(yīng)該在每秒25幀畫面，這相當(dāng)于在一秒鐘之內(nèi)把拼接成像過程重復(fù)至少25次。顯然，這種情況下，相機(jī)系統(tǒng)的計(jì)算量大到人們難以想象的程度。目前，曾曉洋團(tuán)隊(duì)研發(fā)的三/五億像素的云相機(jī)系統(tǒng)實(shí)現(xiàn)了“共心復(fù)合尺度光學(xué)成像”和“硬件億級像素實(shí)時(shí)視頻圖像拼接”，十億級及以上像素的云相機(jī)系統(tǒng)關(guān)鍵技術(shù)也處于攻關(guān)狀態(tài)。
“平時(shí)在APP上追劇，視頻分辨率一般是1080P，超級會員能看到4K高清，再高分辨率也看不了了，網(wǎng)絡(luò)帶寬跟不上。而我們云相機(jī)的像素分辨率是五億，這可是4K的百倍�！�
“超高的分辨率同時(shí)意味著超大的數(shù)據(jù)量，但目前無線傳輸系統(tǒng)的數(shù)據(jù)帶寬成為瓶頸問題。解決這一問題的辦法就是及時(shí)找到超高清圖像中的感興趣目標(biāo)部分。”曾曉洋說，要把需要傳輸?shù)臄?shù)據(jù)量降下來，傳輸效率提上去，就得提高相機(jī)系統(tǒng)實(shí)時(shí)識別目標(biāo)的能力，針對特定目標(biāo)智能地進(jìn)行尋找、鎖定和識別。“而這就像在一倉庫的糧食里面，有一粒是壞的，我們想把那粒壞的找出來，這太不容易了，所以要有智能化的方法。”將范圍縮小，再將特定區(qū)域特定目標(biāo)的相關(guān)影像進(jìn)行傳輸就容易得多了�！凹饶苓h(yuǎn)視，也得有準(zhǔn)頭。”
“世界首款海量數(shù)據(jù)視頻圖像硬件拼接專用芯片”、“人工智能處理硬件加速引擎專用芯片”，這兩款自主創(chuàng)新的芯片正是曾曉洋團(tuán)隊(duì)讓五億級像素云相機(jī)系統(tǒng)能拍照、拍視頻，能“有準(zhǔn)頭”的“獨(dú)門武器”�！肮慕迪聛怼Ⅲw積小下來全靠芯片技術(shù)，把上述兩款芯片做出來是實(shí)現(xiàn)我們整個系統(tǒng)技術(shù)突破的核心�！痹鴷匝笳f，這也是復(fù)旦大學(xué)承接該項(xiàng)目的主要原因，是我們專用集成電路與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室的使命所在。
工業(yè)量產(chǎn)，“神奇盒子”大有所為
將億級像素相機(jī)系統(tǒng)獲取到的海量視頻圖像數(shù)據(jù)都放在“云端”統(tǒng)一的數(shù)據(jù)中心，全世界的人們都有機(jī)會登陸來獲得超高清晰的圖像視頻數(shù)據(jù)，這也就是曾曉洋團(tuán)隊(duì)“云相機(jī)”概念的出發(fā)點(diǎn)。
五億級像素云相機(jī)的出現(xiàn)，將會給人們的生活帶來哪些便利？曾曉洋介紹，這款相機(jī)系統(tǒng)在國防、安防和民用等領(lǐng)域都具有廣泛的應(yīng)用前景。
就大城市安防應(yīng)用而言，傳統(tǒng)的安防監(jiān)控系統(tǒng)把城市區(qū)域分割成了一個又一個的小方塊，遍布大街小巷的攝像頭對每一個小區(qū)域進(jìn)行實(shí)時(shí)監(jiān)控，就是因?yàn)橐粋�個“小炮筒”的分散，傳統(tǒng)安防監(jiān)控系統(tǒng)很難對街道、機(jī)場、地鐵等視域?qū)掗煹墓矆鏊械能嚵鳌⑷肆鞯冗M(jìn)行整體性的評估和預(yù)判。而五億級像素云相機(jī)系統(tǒng)的加入可有效解決這個傳統(tǒng)安防監(jiān)控方案的痛點(diǎn)�！凹偃缭谏虾Ｖ行暮线m位置布置我們的五億級像素云相機(jī)系統(tǒng)，可以實(shí)時(shí)掌握整個外灘的大人流分布情況，從而極大助力在特殊時(shí)期警力更有針對性的安排，更有效地防范意外事件的發(fā)生�！�
與此同時(shí)，曾曉洋提到，因?yàn)椤俺h(yuǎn)距離”“高清成像”的特性，出于保護(hù)個人隱私的考慮，超高像素云相機(jī)的出現(xiàn)也對相關(guān)法律法規(guī)的跟進(jìn)提出了要求�！昂Ａ恳曨l圖像數(shù)據(jù)的獲取都得有監(jiān)管，畢竟強(qiáng)有力的安防和個人隱私的保護(hù)得有平衡�！�
國產(chǎn)自主創(chuàng)新的五億級像素云相機(jī)系統(tǒng)是復(fù)旦大學(xué)和中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所協(xié)同創(chuàng)新的最新科研成果，也是兩個單位、兩個國家重點(diǎn)實(shí)驗(yàn)室團(tuán)隊(duì)緊密合作的結(jié)果。2017年10月，億級像素的云相機(jī)系統(tǒng)研發(fā)成功，獲取了超過三億像素的超高清視頻圖像。這款相機(jī)外形類似和日常使用的投影儀，“盒子”樣的“軀干”上探出了一個“鏡頭”的“腦袋”。目前，三/五億級像素云相機(jī)已投入工業(yè)量產(chǎn)，它們作為五億級像素相機(jī)的“探路者”和“試驗(yàn)田”，率先在各個相關(guān)領(lǐng)域發(fā)揮作用。
