前言:想要寫出一篇引人入勝的文章?我們特意為您整理了交互式智能藝術圖片網站的設計探究范文,希望能給你帶來靈感和參考,敬請閱讀。
摘要:本文構建了一個交互式智能藝術圖片網站,AI與圖像的結合使該網站具備了“快速圖像風格遷移”、“修復模糊、褶皺圖片”、“黑白圖片上色”等智能化應用,增強了用戶體驗和網站的趣味性。個人作品上傳、可過濾敏感消息的網頁聊天室與用戶留言功能,為藝術圖片愛好者搭建了一個展示、欣賞與交流作品的綠色、多元交互平臺,使網站更具生機和活力。
關鍵詞:快速圖像風格遷移;圖像修復;flask;Bootstrap;智能網站;WebSocket通信協議;敏感詞匯過濾
藝術是人們情感交流的媒介,它使我們的生活更加美好,人工智能和藝術的“跨界融合”成為當今研究的熱點之一。本文利用深度學習模型,設計了圖像風格變換、圖像修復等功能。此外,為了給用戶提供一個更加健康、便捷、豐富的藝術交流環境,此網站也設計了投票、留言以及基于WebSocket通信協議和“自動禁言”的聊天室功能。為眾多藝術圖片愛好者提供一個更加智能化的圖片展示、處理與交流平臺。
1關鍵技術
1.1快速圖像風格遷移
風格遷移是指創建一張新圖像,保留目標圖像的內容,同時抓住參考圖像的風格,盡可能的使內容損失函數和風格損失函數最小化[1]。風格遷移使用卷積層的中間特征還原出對應這種特征的原始圖像[1],圖像還原的方法是梯度下降。設原始內容圖像為,原始風格圖像為,待生成圖像為,因此組合的內容損失和的風格損失,定義總損失:(1)其中:α,β是平衡兩個損失的超參數。原始的圖像風格遷移以為目標,在生成圖像時需要用梯度下降來逐步迭代,速度很慢。在快速圖像風格遷移中,不使用優化的方法逐步迭代生成,而是使用訓練好的生成網絡直接生成。快速圖像風格遷移由生成網絡和損失網絡兩個神經網絡組成[2],如圖1所示:左側虛線框內為生成網絡(fw,w為權重參數),即一個深度殘差網絡;右側虛線框內為損失網絡(φ)。利用損失網絡來定義內容和風格損失,根據損失值來訓練生成網絡。設輸入圖像為,轉換圖像為,原始內容圖像為,原始風交互式智能藝術圖片網站的設計與實現穆衛衛郭鵬博(天津師范大學天津市300387)格圖像為,利用損失網絡定義的內容損失為,內容損失使用VGG-16的relu3_3層輸出特征[3],即圖中的,風格損失為,風格損失使用VGG-16的relu1_2、relu2_2、relu3_3、relu4_3層輸出,對應圖中的、、、,組合這兩種損失定義總損失,利用總損失訓練生成網絡。對于每張需要轉換的圖片,相當于在生成網絡中進行一次前向傳遞,極大地縮短了圖片生成所消耗的時間。本文在TensorFlow中實現快速風格遷移,對每個風格分別訓練一個簡單的卷積神經網絡來學習這些特定風格的變換,利用訓練好的生成網絡進行圖像風格轉換。
1.2基于WGAN-GP的圖像去模糊與褶皺技術
WGAN-GP是基于Wasserstein距離實現的改進版生成對抗網絡[4]。其對SmoothL1損失函數進行了優化:加入梯度懲罰GP項,避免梯度爆炸[5]。在保證生成器梯度變化的前提下,WGAN-GP能夠使模型在訓練過程中表現得更加穩定。本文借助端到端的U-NET網絡結構可以直接生成圖像的優勢,構建待處理照片和生成圖片間的映射關系[5]。判別器與生成器相互協同對抗,使生成圖片的效果更佳。1.3基于NoGAN的DeOldify技術DeOldify是用于恢復和著色老照片的深度學習項目,它采用了效率更高的NoGAN訓練方法[6]。相比于傳統的GAN,它可以將復原圖片的細節處理得更好、效果更加逼真,其對于保證視頻著色的穩定性來說至關重要。目前,DeOldify擁有Artistic、Stable和Video三種型號,每種型號都有其關鍵的優勢和劣勢,適用于不同用例。
1.4DFA過濾敏感詞算法
DFA(DeterministicFiniteAutomaton),即確定有窮自動機,其通過事件和當前的狀態確定下一個狀態。算法核心為建立了大量以敏感詞為基礎的敏感詞樹,對文本中的文字進行敏感詞匹配時,首先,進行文本的預處理,過濾掉起干擾作用的無意義字符[7]。預處理完成后,匹配根節點是待檢測文本第一個字的樹,匹配成功后,對根節點的子樹依次進行檢索,最終確定待檢測文本是否為敏感詞。若是,進行文本拋棄;若否,檢測剩余文本。DFA過濾敏感詞算法在實現文字過濾時速度較快。
1.5數據庫存儲技術
數據庫技術是數據處理和信息管理系統的核心,主要用于大量數據的組織存儲問題。MySQL是一種開源的關系型數據庫管理系統,擁有體積小、運行速度快、成本低的特點,適合此量級網站的使用。
2系統設計
本文選用自由、靈活、可擴展性強的flask框架創建并運行一個web應用程序,它可以實現python后端代碼和keras的模型訓練語法的對接,方便實現深度學習模型執行上線定時任務。相比于flask的模板引擎jinjia2提供的前端結構,本文在flask中集成了Bootstrap開源前端框架,Bootstrap框架所提供的用戶界面組件可以創建更加整潔規范且生動的頁面。由于flask并沒有提供一個全面的表單驗證機制,為了保證代碼的簡潔和可維護性,本文使用了wtforms表單驗證插件進行對用戶請求數據的驗證。同時,在后端采用tensorflow框架以完成圖片處理工作。交互式圖片藝術網站功能結構圖如圖2所示。功能設計如下:
2.1用戶注冊登錄用戶注冊登錄模塊實現了用戶的賬戶注冊和網站登錄功能。用戶在注冊界面輸入賬號、郵箱、密碼、電話等信息后,可以完成賬戶的注冊。在登錄界面,用戶輸入賬戶信息即可登錄網站,進入個人主頁。2.2個人中心個人中心模塊實現了作品上傳、查看留言、作品刪除等功能。用戶在選擇想要上傳的圖片后,輸入作者、日期及作品描述相關信息后完成作品上傳。用戶可以在個人中心讀取來自其他用戶的留言,并進行回復。
2.3圖片處理
2.3.1快速圖像風格遷移。快速圖像風格遷移可以讓圖片擁有特定風格畫派的明顯紋理結構。用戶上傳待處理圖片后,選擇想要的圖片風格。系統進行圖片風格轉換,返回具有特定風格的圖片。2.3.2修復模糊、褶皺圖片。模糊與褶皺圖片修復功能可以幫助用戶修復由于拍攝、存儲不當而造成損傷的圖片,自動彌補圖像損失的細節。2.3.3圖片上色。黑白照片上色功能可實現老照片的色彩修復,使黑白圖片變得更加鮮活,最大程度還原歷史場景。
2.4網絡聊天室
此模塊實現了多用戶在線交流功能。為了保證一個綠色健康的交流環境,網絡聊天室會對交流者的發言進行快速過濾,包含敏感詞匯的消息將被禁止顯示。2.5在線留言用戶在看到自己感興趣的作品后可以使用在線留言功能向作者留言,交流個人的感受并與作者探討。
3功能實現
3.1圖片上傳與展示
3.1.1圖片上傳。在前端使用ajax上傳圖片,需要創建FormData對象,改變ajax中的data屬性,在ajax中設置processData:false,contentType:false,async:false參數。后端的視圖函數接收用戶圖片上傳的請求后,調用flask_uploads.UploadSet對象的save函數接收并存儲圖像。為了節省數據庫空間并且保證網站的響應速度,該視圖函數只將圖片的名稱和地址存入數據庫,圖片文件存儲在服務器本地文件夾中。3.1.2圖片展示。服務器讀取用戶上傳成功的圖片文件后,通過對圖片進行base64編碼操作,將處理后獲得的圖片流傳遞給前端,并在前端的img標簽中以base64編碼形式添加圖片完成顯示。
3.2圖片處理
3.2.1快速圖像風格遷移。用戶進入圖片風格變換頁面,上傳原圖片,同時選擇濾鏡風格,點擊“生成圖片”。系統獲取到上傳的圖片及濾鏡,開啟線程并調用訓練好的圖像遷移模型對圖片進行風格化處理。處理完成后,由系統自動檢測圖片生成路徑,返回生成圖片。如圖3所示。3.2.2圖片修復。。用戶進入照片修復頁面,上傳需要修復處理的圖片。從模糊圖片修復、褶皺圖片修復和黑白圖片上色三個功能中進行選擇,點擊“修復圖片”。服務器端在獲取上傳的圖片及修復信息后,開啟線程調用已經訓練完成的模型進行圖片修復。處理完成后,同樣由系統自動檢測圖片生成路徑,返回生成圖片。
3.3網絡聊天室的實現
本文使用Bootstarp前端框架設計前端聊天室頁面,使用websocket協議在客戶端與服務器之間建立起全雙工的通信方式,實現消息的發送和接收。客戶端使用socket.io.js,服務器端使用flask-socketio擴展。首先,在運行環境中用pip安裝flask-socketio。在前端引入socket.io.js,用戶輸入消息點擊發送按鈕,消息通過socket.emit發送到服務端。服務器端用@socketio.on裝飾器裝飾的函數接收和處理消息。在此事件處理中開啟敏感詞匯過濾線程,在線程中利用DFA算法實現敏感詞匯過濾,包含敏感詞匯的消息將被自動拋棄,合法的消息將被存入需發送給客戶端的message隊列,返回一個消息的html字符串,并對其進行渲染。通過設置broadcast=True,把消息廣播到與服務器建立websocket鏈接的所有客戶端。客戶端同樣用socket.on方法接收返回信息,將其添加到顯示區域。網絡聊天室交互界面如圖4所示。
3.4數據庫存儲技術的應用
建立數據庫。在數據庫中建立相互關聯的數據表,以此實現數據存儲。(1)用戶注冊表。用戶注冊表主要用于存儲用戶賬號數據,包含賬號、郵箱、密碼、電話等,ID作為唯一標識。(2)作品信息表。作品信息表主要用于記錄用戶上傳作品及其相關信息,包含主題、作者、日期、描述等。(3)投票匯總表。投票匯總表主要用于對投票活動進行數據匯總和信息統計,包含:作者、主題、日期、得票數等。(4)留言記錄表。留言記錄表主要用于記錄留言信息,包含留言者、文本內容、作者。
4結語
傳統圖片網站的單一功能已經不能滿足藝術圖片愛好者的需求,基于人工智能深度學習的多元化圖片分享網站讓用戶可以用一種新的方式創作圖片,填補了藝術圖片方向上社區分享型網站的空白。自動分類、圖片配樂等功能的逐步完善,將會不斷增強用戶體驗,使網站更加智能化。
作者:穆衛衛 郭鵬博 單位:天津師范大學