圖像視覺感知與情感建模

　　隨著社交網(wǎng)絡(luò)的快速發(fā)展和廣泛使用，越來越多的圖像和視頻涌現(xiàn)到網(wǎng)絡(luò)上，與文本信息一起構(gòu)成社交媒體內(nèi)容的主要組成部分。相對(duì)于較短的文本信息而言，圖像在視覺感知上具有更強(qiáng)的沖擊力，能提供更為生動(dòng)的描述。圖像不僅在情感層面上影響人，也能夠展現(xiàn)隱藏在背后的用戶情感，因而圖像情感分析成為新的研究熱點(diǎn)。 人們通過視覺系統(tǒng)獲取圖像并做出感知回應(yīng)。眼睛有著接收及分析視像的不同能力，從而組成知覺，以辨認(rèn)物象的外貌和所處的空間（距離），以及該物在外形和空間上的改變。腦部將眼睛接收到的物象信息，分析出4類主要資料，就是有關(guān)物象的空間、色彩、形狀及動(dòng)態(tài)。有了這些數(shù)據(jù)，人們可辨認(rèn)外物和對(duì)外物做出及時(shí)和適當(dāng)?shù)姆磻?yīng)。圖像信息經(jīng)過視覺感知系統(tǒng)傳遞到大腦，大腦通過圖像的分析和理解獲得對(duì)周圍世界感知的信息和知識(shí)，整個(gè)過程是非常復(fù)雜的。一圖勝千言，通過視覺感知系統(tǒng)，人可以輕易地感知圖像并對(duì)感覺進(jìn)行評(píng)價(jià)，但換做計(jì)算機(jī)，是否可以輕易地做出與人相似的感知結(jié)果呢？這一研究一直是一個(gè)挑戰(zhàn)。 興起于日本的“感性工學(xué)”，是一種將人的感知和計(jì)算機(jī)應(yīng)用結(jié)合起來的方法，在歐美國(guó)家也將其稱為情感計(jì)算方法。感性工學(xué)以消費(fèi)者的情感反應(yīng)與認(rèn)知作為研究基礎(chǔ)，通過統(tǒng)計(jì)分析及計(jì)算機(jī)技術(shù)的運(yùn)作，構(gòu)建出符合消費(fèi)者感覺意象的產(chǎn)品。在過去的30年里，感性工學(xué)已經(jīng)從最初的汽車設(shè)計(jì)拓展到各種產(chǎn)品設(shè)計(jì)領(lǐng)域并設(shè)計(jì)出一大批非常成功的產(chǎn)品，如電子產(chǎn)品、機(jī)械設(shè)備、日常用品和服裝等。近年來，其研究?jī)?nèi)容又在不斷擴(kuò)大，不僅從有形產(chǎn)品的研究領(lǐng)域擴(kuò)展到人機(jī)交互界面、網(wǎng)站界面設(shè)計(jì)、軟件設(shè)計(jì)及機(jī)器人工學(xué)的研究，也從工學(xué)應(yīng)用層面擴(kuò)展到人的腦機(jī)能、知覺認(rèn)知等方面，進(jìn)而研究使人產(chǎn)生直覺感受（包括快感、感情等）的生理機(jī)能。 情感計(jì)算是關(guān)于情感、情感產(chǎn)生及影響情感方面的計(jì)算，其目的是賦予計(jì)算機(jī)識(shí)別、理解、表達(dá)和生成各種情感特征的能力，最終使計(jì)算機(jī)像人一樣能進(jìn)行自然、親切和生動(dòng)的交互。情感計(jì)算研究的重點(diǎn)就是通過各種傳感器獲取由人的情感所引起的生理及行為特征信號(hào)，建立情感模型，從而創(chuàng)建具有感知、識(shí)別和理解人類情感的能力，并針對(duì)用戶的情感做出智能、靈敏和友好反應(yīng)的個(gè)人計(jì)算機(jī)系統(tǒng)，從而縮短人機(jī)之間的距離，營(yíng)造真正和諧的人機(jī) 環(huán)境。 圖像情感，指的是圖像本身所蘊(yùn)含的、所能引發(fā)的人的情感狀態(tài)。圖像是客觀和主觀的結(jié)合體，圖像不僅是客觀事物的生動(dòng)描述，也能激發(fā)人們看到圖像時(shí)所產(chǎn)生的情感。作為人類表達(dá)情感與想法的主要途徑之一，圖像情感在實(shí)際生活中有著很多重要的應(yīng)用。例如，人們?cè)谛蕾p美景、美圖時(shí)，希望能配上一段合適的音樂；或者用戶在選擇家里繪畫裝飾時(shí)，可以基于用戶情感的個(gè)性化推薦合適的畫作。 那么如何讓計(jì)算機(jī)更好地理解圖片中的情感呢，視覺情感又是一個(gè)什么問題呢？人類的情感變化又受什么視覺因素影響呢？帶著上述問題，本書圍繞圖像的視覺感知和情感建模進(jìn)行撰寫，從圖像與視覺感知、圖像與情感、圖像情感建模方法和圖像情感應(yīng)用幾個(gè)方面展開。 本書著重反映了圖像視覺感知情感分析中的兩個(gè)熱點(diǎn)研究問題：圖像的美學(xué)情感建模和圖像的視覺復(fù)雜度感知建模，書中的許多內(nèi)容是作者的新研究成果，部分研究成果尚未正式發(fā)表。借本書出版之際，我要特別感謝我的博士生導(dǎo)師淺野晃教授（日本關(guān)西大學(xué)）、栗田多喜夫教授（日本廣島大學(xué)）和淺野村木千惠教授（日本北海道教育大學(xué)），以及我的師兄李亮副教授（日本立命館大學(xué)），他們不僅在學(xué)術(shù)上給予了我嚴(yán)謹(jǐn)和悉心的指導(dǎo)，也在我的工作及生活上給了很大的幫助，在這里謹(jǐn)向他們表示誠(chéng)摯的謝意。同時(shí)，我也特別感謝山西大學(xué)大數(shù)據(jù)科學(xué)與產(chǎn)業(yè)研究院院長(zhǎng)錢宇華教授、我的團(tuán)隊(duì)成員白茹意老師和賈春花老師、我的碩士生及其他同事們，在他們的鼓勵(lì)和幫助下，我順利地完成了本書的撰寫工作。 本書的出版得到了國(guó)家自然科學(xué)基金項(xiàng)目（No.61603228）、山西省回國(guó)留學(xué)人員科研教研資助項(xiàng)目（No.HGKY2019001）、山西省面上青年基金項(xiàng)目（No.201901D211171）、山西省高等學(xué)校科技創(chuàng)新項(xiàng)目（No. 2020L0036）及山西省研究生教育創(chuàng)新計(jì)劃項(xiàng)目（No.2021YJJG006）的資助，在此一并表示感謝。 由于筆者時(shí)間有限，書中錯(cuò)誤和不妥在所難免，懇請(qǐng)同行和廣大讀者批評(píng)指正。

暫缺《圖像視覺感知與情感建?！纷髡吆?jiǎn)介