影像記錄的方式讓我們有機會直觀的感受歷史,一張張照片、一段段視頻,承載的是一代代人的記憶。利用著色和還原技術(shù)修復老照片,成為了我們回憶親人,回顧歷史的新方法。 最近,GitHub 上就有一個名為 DeOldify 的黑白影像還原工具受到了很多關(guān)注,目前 Star 數(shù)已經(jīng)破萬了。值得一的是,這個項目還是開源的! 三種模型各有所長DeOldify 可以對舊圖像和膠片進行著色和還原,在 DeOldify 中可以選擇三種模型,每一個都有關(guān)鍵的優(yōu)點和缺點,因此具有不同的用例。 藝術(shù)性模型:該模型在有趣的細節(jié)和鮮艷度方面實現(xiàn)了圖像著色的最高質(zhì)量結(jié)果。但是,最明顯的缺點是,要獲得最佳結(jié)果要花些力氣,必須調(diào)整渲染分辨率或 render_factor 才能實現(xiàn)此目的。該模型在一些關(guān)鍵的常見場景,包括自然場景和肖像中表現(xiàn)不佳,它的重點放在解碼器端的層深度上。 穩(wěn)定性模型:該模型在橫向和縱向條件下可獲得最佳效果,通常比藝術(shù)色具有更少的怪異色澤,該模型著重于解碼器側(cè)的層寬度。 視頻模型:此模型針對平滑,一致和無閃爍的視頻進行優(yōu)化。這肯定是這三種模型中色彩最少的一種,但是說實話,它與“穩(wěn)定”相差不遠。該模型在架構(gòu)上與“穩(wěn)定”相同,但在訓練上有所不同。 雖然舊照片還原技術(shù)讓我們有機會看到過去你十年甚者上百年前的真實影像,但它仍可能存在一個問題,那就是這些照片和視頻的顏色還原是否準確? 以下面這張圖為例,還原出的照片中,橋的顏色是白色的,但經(jīng)過調(diào)查,這座橋其實是紅色的。也就是說,對于舊照片還原技術(shù)來說,歷史準確性仍然是一個巨大的挑戰(zhàn)。 NoGAN 是啥?為啥用了它圖像色彩更穩(wěn)定?什么是 NoGAN ? 這是 DeOldify 創(chuàng)建者開發(fā)的一種新型 GAN 訓練,用于解決以前的DeOldify模型中的一些關(guān)鍵問題。大部分訓練時間都花費在通過更直接、更快速、更可靠的常規(guī)方法分別對生成器和注釋器進行預訓練。這種方法可以消除故障和偽影。 原始 DeOldify 模型: 基于 NoGAN 的 DeOldify 模型: 影像修復技術(shù)中,穩(wěn)定的還原視頻圖像非常有難度。DeOldify 采用了 NoGAN 訓練結(jié)合 GAN 訓練的方式,不僅可以提供穩(wěn)定的色彩圖像修復,還能消除視頻中的閃爍。 視頻是使用隔離的圖像生成來渲染的,而無需附加任何時間建模,一次使用 1% 到 3% 的 imagenet 數(shù)據(jù)。然后,與靜止圖像著色一樣,在重建視頻之前對各個幀進行“ DeOldify”處理。 除了提高視頻穩(wěn)定性之外,還有一件有趣的事情值得一提。雖然不同的模型和具有不同的培訓結(jié)構(gòu)的模型,但都都或多或少地得出相同的解決方案。甚至對任意的和不可知的事物進行著色的情況也是如此,例如衣服,汽車的顏色,甚至是特殊效果的顏色。 對此,DeOldify 的創(chuàng)建者猜測,這些模型正在學習一些有趣的規(guī)則,以根據(jù)黑白圖像中存在的細微提示來著色。即使在運動場景中,這些渲染的結(jié)果也非常一致。 關(guān)于開源支持的聲明開源已經(jīng)為世界帶來了很多好處,DeOldify 的創(chuàng)建也得益于開源。 DeOldify 的創(chuàng)建者在聲明中表示,“我們的立場是,我們提供的研究代碼和文檔,是有益于世界的。我們所提供的是關(guān)于彩色化、廣域網(wǎng)和視頻的新穎表現(xiàn),希望對開發(fā)人員和研究人員有所幫助,以供學習和采用?!?/p> 他們并不打算提供一個可以隨時使用的免費“產(chǎn)品”或“應用程序”,并且未來也不打算提供這種服務。他們說:“DeOldify 將繼續(xù)是一個基于 Linux 的項目,沒有 Windows 支持,用 Python 編碼,并要求人們有一些額外的技術(shù)背景才能使用它?!?/p> 現(xiàn)在,已經(jīng)有一些人通過 DeOldify 開發(fā)了自己的應用程序,有的是付費的,有的是免費的。對此,DeOldify 創(chuàng)建者的立場是,只要你有適當?shù)谋尘昂唾Y源,則該項目將為你提供足夠的入門資源。 安裝細節(jié)這個項目是圍繞 Fast.AI 庫構(gòu)建的,現(xiàn)在已經(jīng)可以使用 Anaconda 進行簡單安裝了。 具體步驟如下: 打開命令行并導航到要安裝的根文件夾,然后鍵入以下命令: 然后開始使用以下命令運行: 參考鏈接:https:///deoldify-can-colorize-your-black-and-white-photos-with-full-photorealistic-renders-5k2i33c3 GitHub 地址:https://github.com/jantic/DeOldify#a-statement-on-open-source-support |
|