Style2paints【AI線稿上色 】

Style2paints【AI線稿上色 】是一款蘇大和港大團隊開發(fā)的專業(yè)的AI漫畫線稿自動上色工具，可根據(jù)用戶上傳的自定義色彩給線稿進行上色。由于檔期限制，我們經(jīng)常會看到動畫由于制作時間緊迫而出現(xiàn)作畫崩壞的情況。這種工具或許可以幫助我們緩解這樣的情況，可以使用 AI 技術為黑白線稿快速自動上色。

使用示例

谷歌圖片搜索關鍵詞“Anime Sketch”（動漫線稿），結果如下。然后下載第一個結果：

然后給 AI 輸入一些風格圖片，不限制內(nèi)容，只要顏色比較好看，色域比較寬泛即可。下面是隨便選了9張色彩各不相同的圖片給AI參考：

輸出結果如下：

度盤下載：https://pan.baidu.com/s/15xCm1jRVeHipHkiB3n1vzA

軟件特點

1. 最高準確度

Stylepaints2 的開發(fā)者表示其推出的工具有著準確率最高的色彩提示筆，這種被稱為「神經(jīng)提示筆（neural hint pen）」的工具結合了顏色選擇器和簡單的鋼筆工具。藝術家可以選擇顏色并在線稿的任何部位加入顏色提示。絕大多數(shù)業(yè)內(nèi)最佳的神經(jīng)網(wǎng)絡上色工具都有類似的工具。縱觀目前的所有動漫上色工具（Paintschainer Tanpopo、Satsuki、Canna、Deepcolor、AutoPainter（存疑）），Stylepaints2 的筆工具擁有最高的準確度。在最具挑戰(zhàn)性的情況下，藝術家甚至能在 1024×2048 分辨率的圖畫上使用 3×3 的提示筆控制 13×13 區(qū)域的顏色。對于更大的區(qū)塊，3×3 像素點的提示甚至可以控制半張畫幅的顏色。這是一個非常具有挑戰(zhàn)性的設計，這也意味著該工具是面向專業(yè)用途的（與此同時，其他上色方法的提示筆工具更傾向于嘈雜的提示，對于準確性把握不佳）。

2. 最自然的風格

當提到「自然」的時候，我們的意思是在訓練過程中不加入任何人工制定的規(guī)則，如果你熟悉 pix2pix 或 CycleGAN，你就會明白這些經(jīng)典方法都會加入一些額外的規(guī)則以確保生成圖像的高質(zhì)量。例如，pix2pix（或 HQ）會向學習目標加入一個 l1 損失函數(shù)（或一些深度 l1 損失），同時鑒別器接收 [input，training data] 和 [input, fake output] 對。雖然此前的版本中 Stylepaints 使用了這些方法，但新版本中訓練是純粹無監(jiān)督，且完全無條件的。在訓練時，開發(fā)者未加入強制神經(jīng)網(wǎng)絡為草圖上色的規(guī)則，但神經(jīng)網(wǎng)絡自行從輸入圖片中學習到了上色的方法，這樣的過程讓鑒別器更加難以識別。最終的學習目標與經(jīng)典的 DCGAN 完全相同，沒有其他任何東西，同時鑒別器也不會收到 pairs。在神經(jīng)網(wǎng)絡非常深的情況下，這種方式非常難以收斂。

3. 最協(xié)調(diào)的風格

對我們大多數(shù)人來說，繪畫是非常困難的，這也就是為什么我們會比較佩服藝術家。一位優(yōu)秀藝術家的最重要技能就是為繪畫選擇和諧的色彩。大多數(shù)人都不知道在繪畫領域中有十多種藍色，并且雖然這些顏色被稱為「藍色」，但它們之間的差異會對繪畫結果產(chǎn)生巨大的應用。想象一下，如果非專業(yè)用戶運行著色軟件，而軟件向用戶展現(xiàn) 20×20=400 的巨大調(diào)色板，并向用戶詢問「你需要哪種圖像呢？」我很確定這些非專業(yè)用戶將不能選擇最好的顏色。但是這對 STYLE2PAINTS 來說并不是什么問題，因為用戶能上傳參考圖像（或稱為風格圖像），然后用戶能直接在圖像上選擇色彩，神經(jīng)網(wǎng)絡隨后會根據(jù)這些圖像和提示的顏色自動為新圖像上色。這種色彩協(xié)調(diào)的著色對于非專業(yè)人員來說是友好的。在所有的人工智能動漫繪畫智能體中，我們的方法是唯一帶有這種協(xié)調(diào)特征的模型。

動漫風格遷移

是的，這就是一種動漫風格遷移。我不確定我們是不是第一個做這種遷移，但是我確定如果你需要一種動漫繪畫的遷移方法，你在網(wǎng)上搜一圈后會最終發(fā)現(xiàn)我們的 STYLE2PAINTS 是最好的選擇，事實上它也是唯一的選擇。許多來自亞洲的論文表明他們已經(jīng)能夠遷移動漫繪畫風格，但是如果你仔細查閱他們的論文，你就會發(fā)現(xiàn)所謂的新方法其實就是對 VGG 進行調(diào)參。因此，下面我們展示了模型的真實情況：

所有基于 ImageNet VGG 的遷移方法在動漫繪畫中性能并不夠優(yōu)秀。

所有基于 Anime Classifier 的方法也都不夠優(yōu)秀，因為我們并沒有像 ImageNet 那樣的動漫數(shù)據(jù)集。如果你在 Illustration2vec 或其它一些動漫分類器上運行一些 gram 矩陣優(yōu)化器，你能獲得的只有一個完美的 Gaussian Blur Generator，因為所有當前的動漫分類器在特征學習上做得并不好。

因為上面兩條，當前所有基于 gram 矩陣、馬爾科夫隨機場、矩陣范數(shù)和深度特征 patchMatch 的方法在動漫上性能都不夠好。

因為上面三條，所有前饋的快速遷移方法在動漫上都不夠優(yōu)秀。

GAN 也可以做風格遷移，但是我們需要用戶上傳特定的風格，而不是選擇 Monet/VanGogh。