抓住機(jī)器識(shí)別的缺點(diǎn)，能讓AI變糊涂的“新病毒”

來(lái)源：新浪科技 發(fā)布時(shí)間：2018-01-05瀏覽：2363次

抓住機(jī)器識(shí)別的缺點(diǎn)，能讓AI變糊涂的“新病毒”

文/腦極體

　　在AI技術(shù)構(gòu)建出的未來(lái)世界藍(lán)圖中，有大量裝置是通過(guò)機(jī)器視覺(jué)這一最基礎(chǔ)的技術(shù)實(shí)現(xiàn)的。GPU的廣泛應(yīng)用給了機(jī)器快速處理圖片的能力，神經(jīng)網(wǎng)絡(luò)讓機(jī)器可以理解圖片。

　　正因如此，我們才能夠通過(guò)攝像頭分辨眼前這張臉是不是iPhone X的主人、從監(jiān)控錄像中找到犯罪分子的身影，以及自動(dòng)分辨社交網(wǎng)站上的某張照片是否涉嫌有色情內(nèi)容。

　　不過(guò)機(jī)器視覺(jué)和人類(lèi)視覺(jué)有著很大的差異，比如說(shuō)在出現(xiàn)誤差方面，機(jī)器和人類(lèi)就有很多不同。比如人類(lèi)視覺(jué)往往會(huì)因?yàn)榫€條的排列分布而分不清究竟是直線還是曲線。

　　但機(jī)器視覺(jué)的錯(cuò)覺(jué)，往往要比人類(lèi)的有趣得多。

　　如何欺騙愚蠢的機(jī)器視覺(jué)？

　　大家一定聽(tīng)說(shuō)過(guò)一個(gè)“欺騙”深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的例子，只需改變幾個(gè)像素，就能得到差異巨大的結(jié)果。

　　就像這張照片，前一秒神經(jīng)網(wǎng)絡(luò)還有57.7%的把握認(rèn)為它是一只熊貓，可在經(jīng)歷過(guò)一點(diǎn)點(diǎn)處理后，神經(jīng)網(wǎng)絡(luò)竟然99.3%的把握認(rèn)為這是一只長(zhǎng)臂猿?？蓪?duì)人類(lèi)來(lái)說(shuō)，這兩張照片幾乎沒(méi)有區(qū)別。

　　出現(xiàn)這種情況的原因是，人類(lèi)和機(jī)器有關(guān)“視覺(jué)”的概念是很不一樣的。人類(lèi)的視覺(jué)來(lái)自于對(duì)事物的整體理解，建立于長(zhǎng)久以來(lái)對(duì)世界的認(rèn)識(shí)之上。我們看到毛茸茸的東西就會(huì)認(rèn)為是動(dòng)物，看到羽毛就會(huì)認(rèn)為是鳥(niǎo)。這樣的模式讓我們的視覺(jué)是感性甚至模糊的，不光可以分辨我們認(rèn)識(shí)的物品，甚至可以去分辨我們從沒(méi)見(jiàn)過(guò)的物品。

　　但機(jī)器的視覺(jué)模式就很不同了，機(jī)器學(xué)習(xí)算法本質(zhì)上是一個(gè)分類(lèi)器，通過(guò)層層神經(jīng)網(wǎng)絡(luò)去分辨一張圖片是不是猴子、是不是水杯、是不是電腦、是不是……最后輸出結(jié)果，告訴人們這張照片有90%的可能是水杯，還有40%的可能是一顆樹(shù)。

　　這時(shí)要想讓機(jī)器產(chǎn)生錯(cuò)覺(jué)就很容易了。假如我們想要讓機(jī)器把水杯“看成”樹(shù)，就要找到機(jī)器眼中兩種物品的臨界點(diǎn)。一張圖片在機(jī)器眼中，只是無(wú)數(shù)像素點(diǎn)的排列，如果輕微的改變這些像素的排列，讓他們?cè)竭^(guò)這個(gè)臨界點(diǎn)，機(jī)器就會(huì)犯錯(cuò)。

　　結(jié)果就是，要不機(jī)器會(huì)把兩張人眼中完全一樣的圖片看成兩種完全不同的東西，要不會(huì)把一張不知所云的圖片看成物品或動(dòng)物。

　　對(duì)抗樣本：讓機(jī)器變糊涂的新病毒

　　這種能欺騙機(jī)器的圖片還有個(gè)名字，叫對(duì)抗樣本。我們可以把對(duì)抗樣本理解為一種攻擊機(jī)器視覺(jué)的“病毒”，面對(duì)不同的機(jī)器學(xué)習(xí)算法會(huì)有不同的樣本生成方式，最終目的只有一個(gè)，那就是混淆機(jī)器的視覺(jué)。

　　可怕的是，目前還沒(méi)有什么好的方式去解決這種病毒。只能不斷的自己生成樣本進(jìn)行對(duì)抗，或者不斷壓縮模型類(lèi)別標(biāo)簽的大小，讓攻擊者難以找到其中的臨界點(diǎn)。

　　不過(guò)我們也不必對(duì)這種病毒太過(guò)恐懼，目前大部分對(duì)抗樣本為了加強(qiáng)機(jī)器視覺(jué)的精確度而特地生成的。很難自然發(fā)生在現(xiàn)實(shí)應(yīng)用場(chǎng)景中，畢竟你不能改變自己臉上的像素點(diǎn)分布。

　　尤其當(dāng)對(duì)方不能直接訪問(wèn)算法模型時(shí)，制造出對(duì)抗樣本的成本也會(huì)很高。舉個(gè)例子說(shuō)，如果有博主想依靠在社交媒體上發(fā)布色情內(nèi)容來(lái)盈利，就要首先訓(xùn)練出一個(gè)能對(duì)所有圖片進(jìn)行微調(diào)，并且還能欺騙過(guò)社交媒體審核算法的對(duì)抗模型。再對(duì)每天需要發(fā)布的圖片進(jìn)行處理。有這個(gè)時(shí)間、金錢(qián)成本和技術(shù)，早就可以去AI初創(chuàng)企業(yè)拿百萬(wàn)年薪了。

　　所以，我們大可不必?fù)?dān)心對(duì)抗樣本會(huì)對(duì)現(xiàn)實(shí)產(chǎn)生什么影響。直到一群來(lái)自Google的專(zhuān)家又想出了產(chǎn)生對(duì)抗樣本的新方法。

　　讓AI一秒變傻的迷幻藥

　　看到以上的幾個(gè)圖案，人類(lèi)會(huì)有什么感覺(jué)？或許會(huì)認(rèn)為是哪個(gè)新銳藝術(shù)家的“迷幻大作”吧。

　　可機(jī)器看到這些圖案，會(huì)立刻被迷的暈頭轉(zhuǎn)向，分不清眼前的圖案就是是什么了。Google的專(zhuān)家做了一組實(shí)驗(yàn)，把這些小圓圖案放到機(jī)器能分辨的圖片上，機(jī)器就會(huì)立刻給出不同的答案。

　　如圖所示，前一秒機(jī)器還能看出這是一根香蕉，加上這個(gè)小圓片之后，機(jī)器就篤定這是一臺(tái)吐司機(jī)。

　　其中的原理是，神經(jīng)網(wǎng)絡(luò)識(shí)別物體依靠的是圖片中的特征，只要某一分類(lèi)的特征濃度夠高，神經(jīng)網(wǎng)絡(luò)就會(huì)忽略其他因素，直接給出答案。這些迷幻的小圓片，可以被理解為某一種物體特征的高度濃縮，出現(xiàn)在圖片中時(shí)，神經(jīng)網(wǎng)絡(luò)就會(huì)立刻被這些特征吸引，忽略圖片中的其他信息。

　　也就是說(shuō)，過(guò)去我們需要經(jīng)過(guò)復(fù)雜的處理才能讓某一張圖片欺騙神經(jīng)網(wǎng)絡(luò)，現(xiàn)在我們可以把這些小圓片批量加入到圖片當(dāng)中，讓他們?nèi)ヅ科垓_神經(jīng)網(wǎng)絡(luò)。

　　想逃過(guò)AI的眼睛，只需一張神奇的小貼紙

　　這樣一來(lái)，事情的發(fā)展就變得很恐怖了。

　　首先，制作對(duì)抗樣本一下子變成了一種成本極低的事情，可能只要一張貼片，就能欺騙過(guò)整個(gè)模型。在上述的色情圖片審核案例中，我們就找到了一個(gè)很好的解決方案。更可怕的是，如果用機(jī)器視覺(jué)來(lái)檢測(cè)毒品、武器等等，是不是也能用這種方式逃之夭夭？

　　更可怕的是，這種方式可能讓對(duì)抗樣本進(jìn)入物理世界。以往我們不能改變真實(shí)世界中的像素點(diǎn)，但如果把這些小圖案變成貼紙粘在各個(gè)地方，或許就可以改變很多東西。

　　例如自動(dòng)駕駛通過(guò)攝像頭來(lái)識(shí)別交通標(biāo)示，如果在限速、停止牌上都貼上貼紙，駕駛系統(tǒng)會(huì)不會(huì)將其視若無(wú)物，讓整個(gè)世界亂套？而犯罪分子想要讓自己的面孔從天網(wǎng)中逃離，也不必像《換臉》中一樣動(dòng)刀整容，只要在臉上貼張貼紙，就變成了行走的吐司機(jī)。

　　當(dāng)然了，這幾張貼紙也無(wú)非是提出了一種可能而已，并不是現(xiàn)在就可以利用它們做什么壞事。但這場(chǎng)實(shí)驗(yàn)告訴了我們，AI的安全程度比我們想象中要更低。讓AI進(jìn)入物理世界，恐怕還要再多做點(diǎn)準(zhǔn)備呢。