紫光展銳M6780丨超分辨率技術——畫質重構還原經典

紫光展銳 2024-01-26 14:05:43

上一期,我們揭秘了讓畫質更加炫彩的AI-PQ技術。面對分辨率較低的老電影,光有高飽和度的色彩是不夠的,如何能夠提高視頻影像的分辨率,使畫質更加清晰,實現老片新看?

本期帶大家揭曉紫光展銳首顆AI+8K超高清智能顯示芯片平台M6780的第二項隱藏技能——AI-SR超分辨率技術。

在圖像、視頻的顯示過程中,視頻源的輸入尺寸取決于視頻資源的實際尺寸,如果視頻資源較爲老舊,其分辨率普遍低于播放設備的顯示分辨率,例如在8K電視(7680×4320)的應用場景中,會出現部分特殊片源甚至爲SD標清格式(640×480)的情況。同時,視頻資源的尺寸往往不一,而播放設備的顯示分辨率相對固定,爲了適配這種差異,需要動態地將輸入圖像的尺寸調整爲與顯示設備相同的固定尺寸。

爲了解決上述問題,圖像放大算法(也稱之爲超分辨率,即Super Resolution, 簡稱S-R)因此而産生。這是一種爲了解決原始圖像尺寸小于目標圖像尺寸,而將原始圖像尺寸進行放大的圖像處理方法。爲了兼顧算法效果和實現難度,目前圖形處理領域使用最廣的是雙三次插值算法。

與傳統方法不同,AI-SR(AI-超分)技術是一種基于卷積神經網絡實現的圖像超分方法。AI-SR神經網絡模型通過深度學習的數百萬次訓練,模擬視頻創作者對畫面內容的理解,並通過全面分析畫面細節信息,適當補充視頻放大所需的細節紋理,從而實現將低分辨率畫面還原爲細致的高清圖像。相比傳統的縮放算法,它不僅避免了模糊和鋸齒等問題,而且在大屏場景下表現更佳,能夠向用戶呈現更多畫面細節。

例如,在計算未知像素的數值時,bicubic插值僅參考周圍16個鄰臨像素的圖像信息,而采用卷積神經網絡實現的AI-SR網絡可以分析數百個鄰域像素組成的感受野(Receptual Field)區域的圖像信息,因此後者在還原高分圖像的像素值時具有明顯優勢。具體表現在圖像的插值效果上:AI-SR可以降低雙三次插值方式導致的圖像鋸齒、模糊等明顯的圖像缺陷,能夠得到圖像質量遠超雙三次插值的高分圖像。

搭載具有AI-SR技術SoC芯片的顯示産品,將呈現更好的畫面細節和顯示質量,采用AI-SR技術實現圖像、視頻的超分辨率,使得視頻畫面在放大之後,依然具有清晰連貫的線條以及豐富的細節表現,爲用戶帶來超高清的視覺體驗。

紫光展銳攜首款8K超高清智能顯示芯片平台M6780中集成了具有上述技術能力的AI-SR功能,可以實現支持8K的顯示分辨率,其AI-SR的放大能力最高可達12倍,最高等效算力可達20 Tops,爲電視、投影以及商業顯示等領域的用戶提供更好的畫質,以及更優的觀看體驗。

由于芯片中的AI-SR功能爲純硬件IP方案,且無需額外的CPU、GPU或NPU算力,在視頻播放時能不間斷地爲顯示端提供超高清的視頻畫面。最終經AI-SR處理的畫面內容可以做到0.1 ms以下的輸出延時,足以保證視頻畫面的實時性和流暢性。

作爲世界領先的平台型芯片設計企業,紫光展銳堅持以技術創新爲核心,全力提升産品、技術能力,強化公司核心競爭力,推動公司跨越式發展,爲産業和社會創造價值,用科技之光照亮幸福生活。

注:文中demo圖像均爲紫光展銳已獲得版權的內容。

5 阅读:1345
评论列表
  • 2024-01-31 11:30

    加油,加快中國芯片不停的叠代升級。

  • 2024-01-29 21:05

    可以,支持。

  • 2024-02-24 22:57

    這個效果比去馬賽克還好[點贊],

紫光展銳

簡介:紫光展銳(上海)科技有限公司官方賬號