戴瓊海研討團(tuán)隊(duì):引領(lǐng)中國(guó)破體視頻技巧逾越式發(fā)展 海外-T:12669
2015-03-11 12:52 來(lái)源:http://m.sustainablelifeonearth.com/ 閱讀: 次清華自動(dòng)化系戴瓊海傳授等完成的“立體視頻獲取與重建技術(shù)及裝置”項(xiàng)目獲2012年度國(guó)家技術(shù)創(chuàng)造獎(jiǎng)一等獎(jiǎng)
引領(lǐng)中國(guó)立體視頻技術(shù)逾越式發(fā)展
記者 程曦 實(shí)習(xí)記者 白雪蕾
項(xiàng)目名稱:立體視頻重建與顯示技術(shù)及安裝
完成人:戴瓊海 季朝陽(yáng) 劉燁斌 曹汛 戈張 楊藝
名目先容: 立體視頻是新一代信息獲取、傳布與顯示的前沿中心技術(shù),存在高沉迷感、寬視場(chǎng)等特色。正在寰球范疇內(nèi)推進(jìn)數(shù)字媒體跟文明工業(yè)的進(jìn)級(jí),引發(fā)世界各國(guó)在信息與顯示科技范疇發(fā)展新一輪角逐。
該項(xiàng)目繚繞立體視頻重建與顯示的關(guān)鍵技術(shù)獲得突破,授權(quán)發(fā)明專利51項(xiàng)。創(chuàng)立光照-視角協(xié)同采集裝置平臺(tái),發(fā)明光度立體多視角配準(zhǔn)方法,突破運(yùn)動(dòng)周期性限制,率先實(shí)現(xiàn)自由運(yùn)動(dòng)對(duì)象的立體視頻光照重建;發(fā)明全自動(dòng)無(wú)標(biāo)記點(diǎn)運(yùn)動(dòng)捕獲與紋理驅(qū)動(dòng)立體視頻合成方法,率先攻克了復(fù)雜對(duì)象運(yùn)動(dòng)映射的任意視角立體視頻合成難題;發(fā)明了二維到三維視頻轉(zhuǎn)換的多元信息融合的深度計(jì)算方法,研制了“清立方”立體視頻轉(zhuǎn)換芯片和裝置;發(fā)明了無(wú)莫爾紋裸眼立體顯示方法及裝置,解決了寬視場(chǎng)逼真裸眼立體顯示難題。關(guān)鍵技術(shù)授權(quán)應(yīng)用于Sonic、東芝和索尼等企業(yè),取得了顯著的經(jīng)濟(jì)與社會(huì)效益。
我們會(huì)一如既往、盡心竭力地推進(jìn)立體視頻技術(shù)的技術(shù)創(chuàng)新,為加速推進(jìn)立體視頻技術(shù)成果的應(yīng)用和產(chǎn)業(yè)化作出新的更大的貢獻(xiàn);我們也將一直秉承清華“自強(qiáng)不息,厚德載物”的校訓(xùn),在新的科學(xué)探索征途上義無(wú)反顧。獲獎(jiǎng)只是一個(gè)新的起點(diǎn),創(chuàng)新路上還會(huì)有更多的挑戰(zhàn)與收成期待著我們。
——戴瓊海
圖為“清立方”立體處置芯片與裝置!
圖為視角-光照協(xié)同采集裝置及協(xié)同掌握器。
走進(jìn)位于清華大學(xué)主樓7層一間一般的實(shí)驗(yàn)室,拉開(kāi)帷幔,一個(gè)直徑6米的大“籠子”映入眼簾。按下節(jié)制板上的開(kāi)關(guān),瞬時(shí)光,位于64個(gè)平面上的600多盞LED燈交替閃耀,光影錯(cuò)綜,令人眼花。
這個(gè)“籠子”的大名叫“變光照的多視點(diǎn)動(dòng)態(tài)場(chǎng)景采集平臺(tái)”。暗藏在600多束點(diǎn)光源中的,還有間插耦合曝光的40臺(tái)相機(jī),每8臺(tái)裝備一個(gè)把持器。通過(guò)這樣的協(xié)同相機(jī)陣列和LED光源陣列,能夠?qū)崿F(xiàn)三維對(duì)象的高精度建模,為立體影視制作供給要害的技術(shù)支持。自2010年以來(lái),它始終是全球精度排名第一的三維建模裝備。
圖為戴瓊海與同窗們一起研究研究中碰到的問(wèn)題。
它的創(chuàng)造者,是清華大學(xué)主動(dòng)化系副主任戴瓊海教學(xué)所率領(lǐng)的團(tuán)隊(duì)。10余年來(lái),他們?cè)趪?guó)度天然迷信基金、“863”打算、以及省部級(jí)項(xiàng)目等支撐下,在立體視頻獲取、天生與顯示等應(yīng)用基礎(chǔ)理論和核心關(guān)鍵技術(shù)方面完成了具備自主知識(shí)產(chǎn)權(quán)的多項(xiàng)發(fā)現(xiàn)創(chuàng)新,打破了多個(gè)癥結(jié)技術(shù),轉(zhuǎn)變了長(zhǎng)期以來(lái)視頻核心技術(shù)重要依附引進(jìn)的傳統(tǒng)格式,實(shí)現(xiàn)了核心技術(shù)對(duì)外輸出。研發(fā)結(jié)果明顯加強(qiáng)了我國(guó)立體視頻核心技術(shù)的國(guó)際競(jìng)爭(zhēng)力,構(gòu)建了實(shí)踐立異、關(guān)鍵技術(shù)沖破、工程化應(yīng)用和產(chǎn)業(yè)化的技術(shù)支撐平臺(tái)。
2013年1月,“立體視頻獲取與重建技術(shù)及裝置”項(xiàng)目獲2012年度國(guó)家技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng)。
占據(jù)立體視頻技術(shù)制高點(diǎn)
上世紀(jì)90年代末,數(shù)字媒體在信息產(chǎn)業(yè)中初露崢嶸頭角,國(guó)際上呈現(xiàn)大量流媒體編碼技術(shù),但中國(guó)在這一領(lǐng)域卻缺少屬于自己的知識(shí)產(chǎn)權(quán)。中國(guó)企業(yè)每生成一臺(tái)DVD需支付的專利費(fèi)高達(dá)利潤(rùn)的10.2倍,跨國(guó)公司僅專利費(fèi)每年就從中國(guó)獲利高達(dá)數(shù)十億美元。當(dāng)時(shí)正帶領(lǐng)團(tuán)隊(duì)從事流媒體研究的戴瓊?丛谘劾铮丛谛纳。
進(jìn)入21世紀(jì),歐盟、美國(guó)、日本的立體視頻研討項(xiàng)目陸續(xù)啟動(dòng),引發(fā)了世界各國(guó)在信息顯示技術(shù)領(lǐng)域新一輪的角逐。戴瓊海團(tuán)隊(duì)靈敏地感到到,立體視頻的時(shí)期行將到來(lái),中國(guó)市場(chǎng)再次面臨“狼來(lái)了”的要挾,但這也是中國(guó)信息技術(shù)實(shí)現(xiàn)源頭創(chuàng)新、趕超發(fā)達(dá)國(guó)家的一次絕佳契機(jī)。
“我們覺(jué)得很難做,然而如果能‘撲上去’占到制高點(diǎn),就可以掙本國(guó)人的錢(qián),讓外國(guó)人用中國(guó)的知識(shí)產(chǎn)權(quán)。&rdquo,海外華商;恰是抱著這樣的信心,固然面臨內(nèi)容匱乏的窘境和技術(shù)路線的徘徊,戴瓊海和他的團(tuán)隊(duì)還是義無(wú)反顧地開(kāi)端了立體視頻技術(shù)研究的漫漫征程。
立體視頻與平面視頻最大的差別,在于它不僅是一個(gè)簡(jiǎn)單的解碼過(guò)程,而是須要采集多視角的信息,并且重形成擁有縱深感的視頻影像,栩栩如生地顯示在人們眼前。這其中波及從理論到應(yīng)用、從內(nèi)容到顯示的一系列難題。
對(duì)現(xiàn)實(shí)場(chǎng)景進(jìn)行重建與真實(shí)感繪制是立體視頻內(nèi)容生成的核心技術(shù)之一。通過(guò)調(diào)研,戴瓊海團(tuán)隊(duì)以為,突破傳統(tǒng)立體模型對(duì)3DMax等人工干涉量大的專業(yè)軟件的限度,轉(zhuǎn)而通過(guò)現(xiàn)實(shí)場(chǎng)景對(duì)象采集的多視圖像來(lái)重建高真實(shí)感的三維模型幾何和紋理,是成為準(zhǔn)確立體重建技術(shù)的必定發(fā)展趨勢(shì)。這其中,重要的核心問(wèn)題就是如何進(jìn)步建模精度。
最初,團(tuán)隊(duì)嘗試搭建了包容64個(gè)相機(jī)的系統(tǒng),雖然具備了一定的立體效果,但并不可能重現(xiàn)真正的立體感。接著他們又搭起一座鋼架,但精度的提高還是不顯著。國(guó)際同行的實(shí)際教訓(xùn)告知他們,相機(jī)越密,立體感就越好。但是相秘密度增添必然導(dǎo)致數(shù)據(jù)量異常宏大,很難處理。這一矛盾又如何解決呢?
經(jīng)由重復(fù)嘗試和研究,團(tuán)隊(duì)發(fā)現(xiàn)光的變更對(duì)立體重建的精度有必定影響。傳統(tǒng)方法是拍攝一系列視頻然落后行匹配,相似激光掃描,細(xì)節(jié)匹配不佳導(dǎo)致三維模型重建精度不高;而假如參加光照的因素,不斷變換光照并進(jìn)行拍攝,就可以通過(guò)入射與反射時(shí)拍攝的視頻信息找到法線的方向,從而得悉其絕對(duì)的地位關(guān)系。把這一“光度立體”的方法和多視圖匹配的方式結(jié)合起來(lái),就可以得到精度十分高的三維重建辦法。
由此,戴瓊海團(tuán)隊(duì)在國(guó)際上首次提出了視覺(jué)場(chǎng)理論,樹(shù)立了視角、光照和事件的關(guān)系,本文開(kāi)頭所描寫(xiě)的“籠子”也由此出生,不僅減少了相機(jī)數(shù)量,而且使建模精度得到了質(zhì)的提升。到2010年,基于該體系實(shí)現(xiàn)的三維建模誤差僅小于0.3毫米,在由美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)等多家威望機(jī)構(gòu)組織的國(guó)際評(píng)測(cè)中重建精度排名第一,至今未被超出。
“一定要做最具原創(chuàng)性的研究”
立體視頻的風(fēng)潮席卷全球,但是站在這一領(lǐng)域技術(shù)研究最前沿的戴瓊海卻始終告誡團(tuán)隊(duì)師生:“不要盲目隨著別人做,一定要做最具原創(chuàng)性的研究。”
當(dāng)今影視作品中往往包括大批非現(xiàn)實(shí)場(chǎng)景或?qū)ο,既要看起?lái)“真”,又要看起來(lái)“活”,立體視頻制作中實(shí)在感紋理合成與運(yùn)動(dòng)自在控制的抵觸,長(zhǎng)期以來(lái)一直是妨礙技術(shù)發(fā)展的共性困難。戴瓊海團(tuán)隊(duì)提出了一系列采樣、跟蹤及合成方法,實(shí)現(xiàn)了從“拍攝(反演)”到“創(chuàng)造”的突破,為立體影視制作提供了關(guān)鍵的技術(shù)支撐。形象地說(shuō),應(yīng)用他們的技術(shù)來(lái)拍大片,技術(shù)職員再也不必費(fèi)時(shí)費(fèi)勁在演員身材的各個(gè)關(guān)鍵節(jié)點(diǎn)上作出標(biāo)志,后期再逐一去除標(biāo)記;“武林高手”們?cè)僖膊挥么┥虾粑ьD的緊身衣,衣袂飄飄就可以把絕技演員的動(dòng)作“乾坤挪移”到本人身上,即便是懸崖峭壁這樣無(wú)比龐雜的環(huán)境也可以輕松實(shí)現(xiàn)動(dòng)作映射——多視角高速采集活動(dòng)對(duì)象,實(shí)現(xiàn)任意場(chǎng)景、任意衣飾下的三維運(yùn)動(dòng)跟蹤,將任意重建運(yùn)動(dòng)或創(chuàng)作運(yùn)動(dòng)映射至采集對(duì)象……與之比擬,當(dāng)年勇奪全球票房冠軍的3D巨制《阿凡達(dá)》所采用的技術(shù)都要遜色不少。
人們愛(ài)看立體視頻,但全新采集、制造的立體片源究竟數(shù)目極其有限。如何彌補(bǔ)這一宏大缺口?傳統(tǒng)平面影片的立體化轉(zhuǎn)換是一種有效的解決手腕。二維轉(zhuǎn)三維說(shuō)來(lái)輕易,真正做起來(lái)可不是用拉伸等技能使對(duì)象看起來(lái)立體那么簡(jiǎn)略,而是一個(gè)“源于現(xiàn)實(shí),高于事實(shí)”的轉(zhuǎn)換進(jìn)程,通過(guò)對(duì)場(chǎng)景對(duì)象的邏輯關(guān)系、深度關(guān)聯(lián)進(jìn)行從新映射,到達(dá)晉升片子立體藝術(shù)品質(zhì)的后果,構(gòu)成技術(shù)與藝術(shù)的有效融會(huì)。
戴瓊海團(tuán)隊(duì)針對(duì)信息欠定前提下平面視頻立體轉(zhuǎn)換的問(wèn)題,發(fā)現(xiàn)了透視幾何、遮擋關(guān)系、聚焦散焦等多元深度信息耦合機(jī)理,建立了紋理、光照與物理空間的關(guān)系模型與視角-紋理-運(yùn)動(dòng)相關(guān)的深度反演機(jī)制,提出了高維空間深度風(fēng)行表現(xiàn)理論與稀少光流跟蹤的視頻深度信息流傳方法。理論成果發(fā)表于2011年4月的《IEEE多媒體》(IEEE Multimedia)雜志,并作為2011年12月的領(lǐng)域“亮點(diǎn)”文章,登載于“本日計(jì)算”(Computing Now,IEEE計(jì)算機(jī)學(xué)會(huì)的新媒體出版物,包含13個(gè)IEEE期刊)的最新熱門(mén)研究首頁(yè)。
在立體視頻顯示方面,戴瓊海團(tuán)隊(duì)結(jié)合硬件高效性與軟件機(jī)動(dòng)性,揭示了莫爾紋與光柵參數(shù)之間的影響法則,提出了三維影像深度調(diào)節(jié)和自適應(yīng)濾波方法,突破面板尺寸和觀看間隔制約,實(shí)現(xiàn)了寬視場(chǎng)真切立體顯示,突破了制約裸眼立體顯示技術(shù)的固執(zhí)瓶頸。
2012年,戴瓊海在國(guó)際立體視頻大會(huì)上作了題為“視覺(jué)場(chǎng)捉拿和立體視頻應(yīng)用”(Vision Field Capturing and 3DTV Application)的呈文,成為第一個(gè)在該大會(huì)上展現(xiàn)原創(chuàng)性成果的中國(guó)專家。兩個(gè)半小時(shí)的終場(chǎng)講演,數(shù)百名歐美學(xué)者由衷敬仰地豎起大拇指,那一刻,每位團(tuán)隊(duì)成員都深深感到作為中國(guó)人、作為清華人的驕傲。
讓立體視頻走進(jìn)各行各業(yè)、千家萬(wàn)戶
除了數(shù)字媒體和文化創(chuàng)意產(chǎn)業(yè),立體視頻技術(shù)在軍事、航天、醫(yī)療、教導(dǎo)等領(lǐng)域也有相稱普遍的運(yùn)用遠(yuǎn)景。多年來(lái),戴瓊海團(tuán)隊(duì)始終保持產(chǎn)學(xué)研親密聯(lián)合,密切接洽現(xiàn)實(shí)需要,讓立體視頻走進(jìn)各行各業(yè)、千家萬(wàn)戶。
早在 2006年,在廣東省科技廳的支持下,團(tuán)隊(duì)就在清華大學(xué)深圳研究生院建立了廣東省-教育部立體視頻產(chǎn)學(xué)研基地。他們還與深圳超多維、北京凌云光電子等公司開(kāi)展密切的產(chǎn)學(xué)研合作,讓前沿技術(shù)在信息產(chǎn)業(yè)中“落地生根”。
2010年,上海世博會(huì)中國(guó)館的兩大展區(qū)——“盼望大地”、“森林碳匯”讓前來(lái)參觀的各國(guó)游客記憶深入、流連忘返:步入展區(qū),宛如置身于大做作的懷抱,“濕地”內(nèi)的水潭明澈見(jiàn)底,流水潺潺,可惡的小魚(yú)一會(huì)兒潛入水底,一會(huì)兒躍出水面……當(dāng)游客忍不住伸手觸摸時(shí),才發(fā)明它實(shí)在是用3D多媒體虛構(gòu)技術(shù)所演繹的天然氣象。這塊采取高精度三維建模技巧實(shí)現(xiàn)的裸眼破體電視屏幕,由戴瓊海團(tuán)隊(duì)與上海大學(xué)等配合實(shí)現(xiàn),成為科技辦博的一大亮點(diǎn)。
2010年8月,項(xiàng)目發(fā)明的平面視頻立體轉(zhuǎn)換技術(shù)通過(guò)美國(guó)有名數(shù)字多媒體軟件公司SONIC全球競(jìng)標(biāo)后,應(yīng)用于其旗艦產(chǎn)品Raxio Creator立體視頻轉(zhuǎn)換編纂于播放平臺(tái),支持全球首款立體視頻播放器,在北美市場(chǎng)同類產(chǎn)品中占領(lǐng)率高達(dá)62%。
2011年3月20日上午,我國(guó)完整領(lǐng)有自主常識(shí)產(chǎn)權(quán)的立體視頻芯片“清立方”在清華大學(xué)主樓招待廳發(fā)布研發(fā)成功并舉辦協(xié)作簽約典禮。目前,“清立方”已經(jīng)勝利實(shí)當(dāng)初電視機(jī)、機(jī)頂盒等產(chǎn)品中范圍化利用,在終端實(shí)現(xiàn)了高清平面視頻到立體視頻的實(shí)時(shí)重建;ㄙM(fèi)者應(yīng)用多少塊錢(qián)一副的紅綠眼鏡,即可觀賞3D效果的電視畫(huà)面。
此外,項(xiàng)目發(fā)明的寬視場(chǎng)裸眼立體顯示系統(tǒng)應(yīng)用于東芝、索尼、華碩公司的產(chǎn)品且已成功推向市場(chǎng)。受權(quán)全球視覺(jué)盤(pán)算技術(shù)行業(yè)首領(lǐng)NVIDIA公司在其GeForce系列產(chǎn)品中支持裸眼立體顯示軟件驅(qū)動(dòng),該芯片在個(gè)人電腦市場(chǎng)據(jù)有率達(dá)到了60%以上,授權(quán)著名多媒體軟件公司Cyberlink開(kāi)發(fā)立體視頻播放器,占市場(chǎng)份額的70%以上。
項(xiàng)目發(fā)明的技術(shù)形成的相干產(chǎn)品自投放市場(chǎng)以來(lái),成功應(yīng)用于消費(fèi)電子、國(guó)防軍事、城市三維丈量、影視動(dòng)漫、產(chǎn)業(yè)制作等領(lǐng)域,項(xiàng)目成果造成的產(chǎn)品應(yīng)用領(lǐng)域和市場(chǎng)份額正在不斷擴(kuò)展。
在新的科學(xué)征途上一往無(wú)前
立體視頻技術(shù)項(xiàng)目團(tuán)隊(duì)的發(fā)展強(qiáng)大,蘊(yùn)含了“老中青少”四代清華自動(dòng)化人的理想與激情。老先輩張乃堯、徐文立,與自己同樣人到中年的爾桂花,年少有為的季向陽(yáng)、劉燁斌……說(shuō)起多年來(lái)并肩作戰(zhàn)的團(tuán)隊(duì)骨干,戴瓊海滿懷快慰與感謝。
清華大學(xué)主樓724、725試驗(yàn)室是他們的主要“依據(jù)地”,團(tuán)隊(duì)中也由這兩個(gè)“番號(hào)”衍生出一個(gè)喜聞樂(lè)見(jiàn)的典故:“724”,就是放松每周7天、天天24小時(shí)的時(shí)間,盡力拼搏不放松;“725”則要在此基本上更進(jìn)一步,“把24小時(shí)當(dāng)成25小時(shí)來(lái)過(guò)”。高效再高效、斗爭(zhēng)再奮斗、集約再粗放、發(fā)明再創(chuàng)造,724和725見(jiàn)證了團(tuán)隊(duì)成員多年來(lái)一直奔馳的姿勢(shì)、不懈翻新的腳步。
從這個(gè)優(yōu)秀的群體中,先后走出了17名博士后(其中3名清華大學(xué)優(yōu)秀博士后)、8名博士(其中兩名清華優(yōu)良博士畢業(yè)生)和41名碩士。團(tuán)隊(duì)還為國(guó)家播送電視系統(tǒng)舉行了四屆工程碩士班,培育出百余名工程碩士。
“每當(dāng)我深夜走出主樓,回望還有良多亮著燈的實(shí)驗(yàn)室,我清楚我只是清華浩瀚星空中的一顆。在從前幾年的學(xué)術(shù)生涯中,我對(duì)清華人愛(ài)崗敬業(yè),敢于創(chuàng)新的品德有了更加深切的感悟。”這是團(tuán)隊(duì)成員、自動(dòng)化系2009級(jí)博士曹汛在清華大學(xué)2012年研究生畢業(yè)儀式上的一段肺腑之言。年青的曹汛目前已是南京大學(xué)的一名副教授,秉承清華人“愛(ài)國(guó)貢獻(xiàn),尋求出色”的傳統(tǒng),在新的工作崗位上持續(xù)追揮灑著幻想與豪情。
面對(duì)國(guó)家技術(shù)發(fā)明一等獎(jiǎng)的聲譽(yù),團(tuán)隊(duì)成員們想得更多的,仍是中國(guó)在這一領(lǐng)域的將來(lái)發(fā)展,他們更樂(lè)意把這次獲獎(jiǎng)看作是推動(dòng)政產(chǎn)學(xué)研用嚴(yán)密合作,加速立體視頻技術(shù)成果產(chǎn)業(yè)化的重要契機(jī)。“一方面,我們會(huì)判若兩人、盡力而為地推進(jìn)立體視頻技術(shù)的技術(shù)創(chuàng)新,為加速推進(jìn)立體視頻技術(shù)成果的應(yīng)用和產(chǎn)業(yè)化作出新的更大的奉獻(xiàn);另一方面,我們也將一直秉承清華‘發(fā)奮圖強(qiáng),厚德載物’的校訓(xùn),在新的科學(xué)摸索征途上一往無(wú)前。獲獎(jiǎng)只是一個(gè)新的出發(fā)點(diǎn),創(chuàng)新路上還會(huì)有更多的挑釁與播種等候著咱們。”戴瓊海動(dòng)搖地說(shuō)。
(清華消息網(wǎng)1月19日電)
編輯:襄樺
相關(guān)的主題文章:- 布賴恩?科比爾卡:抉擇挑釁 清華大學(xué)國(guó)學(xué)培-T:29699
- 尹鴻獲留念《中國(guó)電視》熒屏守望者名稱 清華金融-T:75853
- 進(jìn)步功效資料國(guó)際核心被認(rèn)定為國(guó)度國(guó)際科技合-T:88797
- 一徽一世界:徽章記載下的倫敦奧運(yùn)與自我表白 清華-T:45365
- 《消息采訪寫(xiě)作教程》獲清華出版社2012年度優(yōu)良教材獎(jiǎng)-T:69222
- “盛世的憲法危言”講座在清華深圳研討生院舉行 清華華-T:01821
- 國(guó)際稅清華大學(xué)財(cái)務(wù)履行經(jīng)理法視角下常設(shè)機(jī)-T:67997
- 國(guó)外自在貿(mào)財(cái)務(wù)總監(jiān)實(shí)戰(zhàn)易區(qū)的發(fā)展對(duì)我國(guó)保稅區(qū)轉(zhuǎn)型-T:64816
閱讀過(guò)本文的訪客還閱讀過(guò): 清華抗腫瘤藥物研發(fā)平臺(tái)進(jìn)入新的成長(zhǎng)階段
相關(guān)熱詞搜索:
海外華商
戴瓊海研討團(tuán)隊(duì):引領(lǐng)中國(guó)破體視頻技巧逾越式發(fā)展 海外-T:12669 相關(guān)課程