“還有 30 秒?！睖贰た唆斔拱缪莸奈磥砭焯轮鄙龣C(jī)后，耳邊響起同事的最后一次提醒。

此刻，一位男子在臥室里拿起床頭的剪刀，面前是他出軌的妻子。在他來得及做任何事之前，一眾警察沖進(jìn)屋子，將他按住。

“看著我，看著我”湯姆·克魯斯用虹膜識別設(shè)備掃描了男子的眼睛，“就是你了，霍華德·馬克思。我要以‘即將謀殺罪’逮捕你，你本來要在 4 月 22 日，也就是今天 8 點(diǎn) 04 分謀殺你的妻子。”

“但我什么都沒做！”男子辯解道，但警方已經(jīng)銬上他的手腕。城市里的城市謀殺案數(shù)量依然保持為零。

這是斯皮爾伯格 2002 年的科幻電影《少數(shù)派報(bào)告》，片中的警察可以預(yù)測犯罪細(xì)節(jié)，提前趕到現(xiàn)場，制止犯罪。

今天還沒有人能精確預(yù)測未發(fā)生罪案的細(xì)節(jié)。但預(yù)測哪里會發(fā)生罪案、誰更有可能犯罪是已經(jīng)被用在執(zhí)法、乃至定罪上。

人工智能已經(jīng)在決定數(shù)十個城市的警察去哪兒巡邏、找誰“聊天”

意大利的 KeyCrime 是一家軟件預(yù)測公司。他們目前主要服務(wù)米蘭警方，針對商店的搶劫和偷竊做地區(qū)預(yù)測，目前這套系統(tǒng)已經(jīng)用了 9 年了。

創(chuàng)始人 Mario Venturi 告訴《好奇心日報(bào)》，他們的邏輯是已經(jīng)有很多的經(jīng)驗(yàn)和數(shù)據(jù)支持：犯罪者有他們行動的一套范式——如果他們在某一地區(qū)進(jìn)行了搶劫犯罪并且得手了，他們更傾向于在該地點(diǎn)附近的再次作案。

今年 3 月，米蘭的警察通過 KeyCrime 的指引做到了“預(yù)防犯罪”——在一個超市門口，在兩個罪犯正準(zhǔn)備搶劫超市，警察抓住了他們。

KeyCrime 調(diào)用的是警方的犯罪嫌疑人的數(shù)據(jù)，配合被搶劫的商店地點(diǎn)、攝像頭里拍攝的犯罪嫌疑人的動作，攜帶的武器，來分析這個罪犯的危險程度，更重要的是，分析他跟附近犯罪案件有沒有什么別的關(guān)系，如果有——他下一宗犯罪可能會在什么時間和區(qū)域。

最近幾年，有了大量的數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法之后，KeyCrime 在不同罪案中建立聯(lián)系變得方便起來。

像 KeyCrime 這樣的犯罪預(yù)測軟件已經(jīng)有很多家警局在使用。

今年 5 月，芝加哥警局局長 Jonathan Lewin 開了一個人工智能的溝通會：警局在城市里安裝了可以檢測槍聲的聲音感應(yīng)器收集數(shù)據(jù)，加上城市路邊的攝像頭數(shù)據(jù)，通過機(jī)器學(xué)習(xí)算法做了一個“罪案預(yù)測系統(tǒng)”，能預(yù)測搶劫、槍擊案的罪案地點(diǎn)，還能預(yù)測什么人可能會犯罪，讓警方可以提前找嫌疑人聊聊天。

現(xiàn)在芝加哥警員巡邏時，會在手機(jī)和平板上用這么一個應(yīng)用：地圖上顯示著一個個紅色的小方塊，那里就是下一次犯罪可能發(fā)生的地方。

不同犯罪行為的熱點(diǎn)圖，來自 PredPol 公司的軟件

警方使用技術(shù)分析和預(yù)測犯罪地點(diǎn)，已經(jīng)有很多年了，而原因也很好理解：效率。

著名犯罪學(xué)家 Lawrence W. Sherman 曾總結(jié)過“減少犯罪的八個原則”：

1. 更多的警員數(shù)量；

2. 更快的 911 反饋；

3. 從接報(bào)到出警響應(yīng)時間更短；

4. 更多隨機(jī)巡邏；

5. 更多對于犯罪熱點(diǎn)地區(qū)有目的巡邏；

6. 更多逮捕；

7. 更多和有犯罪前科的嫌疑人交流；

8. 更多和社區(qū)溝通；

這些原則當(dāng)中有不少都是跟怎么調(diào)派警力到某一位置相關(guān)?，F(xiàn)實(shí)當(dāng)中，地方警局的人手和工作時間都是有限的。而算法和機(jī)器學(xué)習(xí)在這當(dāng)中的作用，就是幫警局提升效率。如果一個警員每天只有 8 小時的巡邏時間，到處亂走看看有沒有撞見罪犯，并不是一個很高效的行為模式。

洛杉磯警局的警長 Charlie Beck 說法也是類似，“我要不來跟更多的經(jīng)費(fèi)，也要不來更多的人手。我只能把我有的資源用得更好，如果巡警能對這種技術(shù)改變看法，那么管理者也會這么做?！?洛杉磯表示，使用這套提高效率的模型，一年光一個分局就能省下 200 萬美元。

背后有不少技術(shù)公司在幫忙。剛剛我們談了那么多洛杉磯和芝加哥警局使用的預(yù)測犯罪的軟件，背后就是加州圣克魯茲的警力軟件公司 PredPol。

芝加哥警局表示，用了 PredPol 的算法短短幾個月后，槍擊案件等發(fā)生幾率已經(jīng)下降了 13%，預(yù)計(jì)謀殺案件的數(shù)量將降低 49%。

芝加哥其實(shí)在 2009 年開始就在犯罪分析系統(tǒng) PredPol，而被證實(shí)有效的 KeyCrime 也已經(jīng)在米蘭警局使用了 9 年。

只是最近幾年，在有了更多數(shù)據(jù)之后，警方開發(fā)重心，從分析到預(yù)測“地點(diǎn)”，再從預(yù)測地點(diǎn)升級到預(yù)測“嫌疑人”上。

去年很受爭議的就是芝加哥警局的“預(yù)測罪犯熱點(diǎn)名單”，他們會告訴警員，附近街區(qū)最有可能犯罪的前 20 名嫌疑犯名字和照片，具體到這樣的程度：“此人可能在 18 個月內(nèi)有 25% 的可能性參與暴力事件?！?br/>

根據(jù)芝加哥警局透露的信息，這個名單已經(jīng)有 400 人。上榜的人不一定有犯罪史：住在罪案高發(fā)地地區(qū)，或者朋友、家人有人犯罪……都是這個名單背后算法考慮的因素。

警方還會提前給這些算法挑選出來的“未來罪犯”提前做心理建設(shè)。Jonathan Lewin 把這套提前干預(yù)犯罪的機(jī)制叫做“定制化提醒”，提前去找嫌疑人聊天：

“我們注意到你了，我們想把你從犯罪圈里解脫出來，這些是我們準(zhǔn)備的社會服務(wù)項(xiàng)目?！倍^的“社會服務(wù)項(xiàng)目”，可能是從清理社區(qū)、志愿者活動到職業(yè)培訓(xùn)，到底是要嫌疑人自己去做還是全家都要換地方，也沒有說清楚。

如果這位嫌疑人不同意繼續(xù)要留在算法設(shè)定的高犯罪地區(qū)，警方就會發(fā)出警告，“如果你在此區(qū)域犯罪，你可能會被處以更嚴(yán)重的懲罰?！?/p>

怎么定罪，人工智能也會參與其中

2013 年，艾瑞克·盧米斯因?yàn)橥弟嚤幻绹箍敌林莸姆ㄔ号刑幜?6 年的有期徒刑。

他偷來的車曾經(jīng)參與過一場槍擊案，車尾箱里還有槍。警方原本以為是人贓并獲，結(jié)果查清楚是誤判，盧米斯其實(shí)并沒有參加持槍犯罪，只是剛好偷了一輛有過犯罪記錄的車。如果只是犯了偷車，根據(jù)威斯康辛州的法律，刑期最多是入獄三年，然后還有三年是出獄監(jiān)視。

但法院還是給盧米斯判了更重的刑罰。法庭的量刑參考的是一套名為 COMPAS 的人工智能算法。這個十分制的“打分”機(jī)制被美國司法部用于判斷有過犯罪紀(jì)錄的人未來犯罪的幾率。

盧米斯在偷車之前，曾經(jīng)因?yàn)樾苑缸锶氇z。上次入獄的時候，COMPAS 算法當(dāng)時給他打了一個高分。這次，這個分?jǐn)?shù)被威斯康辛州法院當(dāng)作參考數(shù)值了。

盧米斯提起上訴，要求公開算法是對他評分的機(jī)制，他認(rèn)為評分細(xì)則里有性別等參考因素。

這個要求遭到了法院的拒絕：他們認(rèn)為給罪犯做打分分析是自從 1923 年就開始有的事情，而且這個算法是開發(fā)方 Northpointe 公司的知識產(chǎn)權(quán)，所以不能公開。而對于盧米斯的考量除了算法還有別的機(jī)制，所以是公平公正的，就在今年 5 月 23 日，法庭駁回了上訴，維持原判。

如果在美國犯罪進(jìn)了監(jiān)獄，COMPAS 這個人工智能算法很可能就會接管你的個人數(shù)據(jù)。入獄者填寫一份個人情況調(diào)查問卷，綜合犯罪的嚴(yán)重程度，COMPAS 會計(jì)算出一套“未來罪犯”的評分機(jī)制。為避免歧視，這份問卷里并沒有問種族、收入等敏感的維度，但會有這么一些類似問題：

你在什么地方居?。?/p>

你的教育程度？

你中學(xué)之前有坐過飛機(jī)旅行嗎？

你的親人、朋友有人曾經(jīng)參與犯罪嗎？

去年，非盈利調(diào)查機(jī)構(gòu) ProPublica 從警方處拿到 1.8 萬 COMPAS 評分?jǐn)?shù)據(jù)，然后做了一份調(diào)查報(bào)告，追蹤這些人在兩年來的再犯罪的記錄。

最后出來的結(jié)果是：

窮人更容易犯罪；

教育程度低的人更容易犯罪；

黑人更容易再犯罪；

男性更容易犯罪。

從統(tǒng)計(jì)數(shù)字看，這些可能都是事實(shí)。但這樣的數(shù)據(jù)被反過來用在判斷一個個體未來犯罪的可能性，并就此量刑的時候，就有問題了。

這和前段時間被開除的那位美團(tuán)點(diǎn)評人事在招聘信息里寫的“不要黃泛區(qū)及東北人士”沒什么本質(zhì)區(qū)別。

在美國，COMPAS 是從 2000 年初就開始在全國的司法機(jī)構(gòu)使用，這個算法已經(jīng)修改到第四版。在各個州法官量刑或者警察盤查疑犯的時候，會把 COMPAS 分?jǐn)?shù)作為參考。

2014 年，時任司法部長 Eric Holder 公開表示，美國法庭依賴算法來判定罪行，預(yù)測再犯罪是有風(fēng)險的。Holder 表示，美國的法官量刑過于依賴這套評分算法。

看起來公平的算法，背后依然受設(shè)計(jì)者的偏見影響

有一個關(guān)于科研的比喻，說科學(xué)家在研究新東西的時候容易過度分析自己已經(jīng)有的信息，強(qiáng)行從中獲得結(jié)論，進(jìn)而忽視了未知因素的影響。

一個人在室外停車場丟了鑰匙，他首先會去看路燈照耀下的路面。

這不是因?yàn)殍€匙更可能丟在路燈下，而是因?yàn)檫@里比較容易找。

人工智能算法判斷一個人的犯罪可能也差不多。

MIT 教授 Ethem Alpaydin 曾經(jīng)這么解釋現(xiàn)在最新的機(jī)器學(xué)習(xí)的原理：

以前你需要知道特定的數(shù)據(jù)要來實(shí)現(xiàn)什么，于是雇傭一個程序員來編寫程序。機(jī)器學(xué)習(xí)就是，現(xiàn)在計(jì)算機(jī)自己學(xué)會處理和識別這些數(shù)據(jù)，程序也是自己寫的，然后導(dǎo)出你所需要的結(jié)果。

要做一個判定誰是罪犯的系統(tǒng)。首先，是這個機(jī)器學(xué)習(xí)算法的設(shè)計(jì)者在判斷“什么樣的人更容易犯罪？”然后再把不同原因分解開來，去搜集數(shù)據(jù)。

一個人犯罪的可能性有千千萬萬，而算法設(shè)計(jì)者輸入進(jìn)去的維度，就好像路燈下的路面。計(jì)算機(jī)強(qiáng)行在設(shè)計(jì)者覺得重要的維度里判斷一個人犯罪的可能性。

更糟糕的是，今天的機(jī)器學(xué)習(xí)算法基本是黑盒子——輸入了數(shù)據(jù)，等待輸出結(jié)果。但當(dāng)中機(jī)器是怎么識別的，即使是算法的設(shè)計(jì)者，也不能肯定。

上個月，上海交大教授武筱林和博士生張熙的論文引來爭議。他們的論文《基于面部圖像的自動犯罪性概率推斷》用機(jī)器學(xué)習(xí)算法和圖像識別技術(shù)掃描了 1856 張中國成年男子的身份證照片，讓算法來判斷這個人是不是罪犯，稱成功率達(dá)到了 90%。

武筱林和張熙還總結(jié)了這些罪犯的面相特點(diǎn)：內(nèi)眼角間距比普通人短 5.6%，罪犯的上唇曲率不一樣，罪犯的鼻唇比非罪犯角度小19.6%，罪犯跟普通人相比，面部特征來的更明顯。

這篇文章在發(fā)布之初就惹來了一些種族歧視的爭議。5 月初，Google 和普林斯頓大學(xué)的三位研究人員寫了一篇反駁文章，名為《相面學(xué)的新衣》。他們在文章中認(rèn)為武筱林的研究方法跟 150 年前的意大利的“醫(yī)學(xué)相面術(shù)”類似，只是使用了機(jī)器學(xué)習(xí)算法：

“1870 年意大利醫(yī)生龍勃羅梭（Lombroso) 打開了意大利罪犯維萊拉尸體的頭顱，發(fā)現(xiàn)其頭顱枕骨部位有一個明顯的凹陷處，它的位置如同低等動物一樣。這一發(fā)現(xiàn)觸發(fā)了他的靈感，他由此提出‘天生犯罪人’理論，認(rèn)為犯罪人在體格方面異于非犯罪人，可以通過卡鉗等儀器測量發(fā)現(xiàn)。龍勃羅梭并認(rèn)為犯罪人是一種返祖現(xiàn)象，具有許多低級原始人的特性，可被遺傳?！?/p>

來自 Google 的研究者 Blaise Aguera y Arcas 解釋，神經(jīng)網(wǎng)絡(luò)算法“判斷”圖片的方式跟人不太一樣：給數(shù)百萬個學(xué)習(xí)參數(shù)加不同的權(quán)重。比如讓算法判斷一張圖片是來自什么年代，機(jī)器學(xué)習(xí)很可能學(xué)到了發(fā)現(xiàn)各種細(xì)微線索，從比較低層次的“膠片顆粒和色域”到衣服和發(fā)型，乃至車型和字體。

所以機(jī)器學(xué)習(xí)到底從這 1000 多張身份證照片中學(xué)到的規(guī)律是什么？

不一定是罪犯的面部都有什么獨(dú)特的特征，可能是圖片的顆粒度，也可能是其他一些共同特點(diǎn)——例如襯衫。例如，武筱林論文中的 3 個“非罪犯”圖像中都穿著白領(lǐng)襯衫，而另外 3 名被判別為“罪犯”的都沒有。當(dāng)然，只有 3 個例子，Blaise Aguera y Arcas 寫到，“我們不知道這是否代表整個數(shù)據(jù)集?！?br/>

而在我們都不知道機(jī)器學(xué)習(xí)的做判斷的方式時，作為算法的設(shè)計(jì)者，我們?nèi)祟惤o出的“假設(shè)”，以及我們給出的數(shù)據(jù)，可能決定了算法的走向。

《相面學(xué)的新衣》的第三作者，普林斯頓大學(xué)法學(xué)系教授 Alexander T. Todorov 告訴《好奇心日報(bào)》，“有些人認(rèn)我們的文章是在攻擊武筱林，但并不是有意如此。我們想做的是展示這個結(jié)果并不如他們展現(xiàn)的那樣‘客觀’，武筱林進(jìn)行的假設(shè)是未經(jīng)檢驗(yàn)的?！?/p>

這事情在 1980 年代也發(fā)生過——對，今天每個科技公司都在炒的機(jī)器學(xué)習(xí)那時候就有了。

當(dāng)時，美國軍方想要設(shè)計(jì)一套算法，想讓計(jì)算機(jī)自動從照片里分辨美蘇兩國的坦克。

經(jīng)過一段時間訓(xùn)練他們的算法，識別準(zhǔn)確率已經(jīng)很不錯了。

但后來工程師們發(fā)現(xiàn)，這不是因?yàn)橛?jì)算機(jī)真的認(rèn)出了兩國坦克的設(shè)計(jì)不同。

事實(shí)上計(jì)算機(jī)認(rèn)為像素更高的圖片等同于“美國坦克”。

這是因?yàn)槟菚哼€在冷戰(zhàn)中，輸入資料庫的照片里，俄羅斯坦克的照片更模糊。

“新技術(shù)有為善和作惡的潛在力量。如果你的假設(shè)沒有被仔細(xì)考證，那么機(jī)器學(xué)習(xí)技術(shù)只會帶來更多的不公平和加速現(xiàn)有的不平等。” Todorov 用這句話結(jié)束了我們的采訪。

而如果你覺得這件事只是美國警方的才會有的問題。那么也可以看看彭博社早前的一篇報(bào)道。

政府直接管理的技術(shù)公司“中國電子科技集團(tuán)”也正在開發(fā)軟件，整理公民的行為數(shù)據(jù)，包括工作，興趣，消費(fèi)習(xí)慣等等，以便在恐怖襲擊之前就預(yù)測罪犯的行為。軍事總承包商總工程師吳曼青說：“在恐怖行為之后的檢查很重要， 但更重要的是預(yù)測?！?/p>

這篇報(bào)道對于這個新系統(tǒng)的信息非常含糊。具體會從什么地方收集數(shù)據(jù)，算法是誰來編寫，是否已經(jīng)上線，其實(shí)很難被公眾所知。

算法和人工智能技術(shù)，只是目前這些人類社會的司法機(jī)構(gòu)問題的一個數(shù)字化的版本而已。盡管提高了效率，但它可能更能免除普通執(zhí)法者對于地區(qū)、人群、種族的偏見的責(zé)任：因?yàn)檫@是一個客觀機(jī)器學(xué)習(xí)算法的選擇。

預(yù)測犯罪的算法也會影響到日常生活

“你雇用的人，真的可以信任嗎？”

今年 5 月，在加州桑尼維爾一個金融科技（FinTech）創(chuàng)業(yè)分享會上，侯賽因·何塞從這個問題開始，介紹起自己的公司 Onfido。

侯賽因·何塞在現(xiàn)場用圖片演示，可以用算法來幫企業(yè)確定雇傭的人是否“靠譜”。

使用方法和滴滴司機(jī)上傳拿著身份證的照片的過程有點(diǎn)類似，讓人拿著證件拍一張照片。

之后 Onfido 會掃描雇員照片，做人臉識別、背景調(diào)查，幾十秒之內(nèi)可以確認(rèn)這個人是不是他聲稱的人、有沒有犯罪前科、是不是非法移民。

Onfido 最開始也是做 Uber 的生意，但自從去年開始 Uber 增長放緩，侯賽因就開始讓公司轉(zhuǎn)型，從識別共享經(jīng)濟(jì)的顧客有沒有犯罪記錄，變成了給銀行做貸款人的背景調(diào)查?！捌鋵?shí)我們更像是 RegTech 公司（政策科技公司）了，因?yàn)閿?shù)據(jù)要跟政府有一定合作?！?/p>

Onfido 去年一下拿了接近 3000 萬美元，最新投資者有紅杉、Saleforce。他們的競爭對手 Checkr 的投資者來頭更大，Google Venture、YC、Accel……去年已經(jīng)拿了 5000 萬美元了。

Onfido 的網(wǎng)站上，識別之后數(shù)據(jù)會用在什么地方并沒有清楚的解釋。雇主獲得信息之后怎么辦也不在它關(guān)心的范圍內(nèi)。

我在現(xiàn)場問了侯賽因數(shù)據(jù)隱私保護(hù)以及怎么獲取第一筆數(shù)據(jù)，他的回答卻很含糊：跟銀行、政府等本身擁有大量數(shù)據(jù)等機(jī)構(gòu)合作是最快的訓(xùn)練算法的方式，他們也想要讓那些普通人更快通過審核，獲得他們想要的貸款和工作機(jī)會。

更多的，他怎么也不愿意說了。

這樣的謹(jǐn)慎態(tài)度能在許多銷售犯罪分析相關(guān)產(chǎn)品的公司身上看到。

給罪犯打分的 COMPAS 算法背后的 Northpointe 公司在被《紐約時報(bào)》、ProPublica 等多個媒體報(bào)道后，改了新品牌 Equivant 重新賣服務(wù)。

今年 5 月，在美國加州山景城舉行了一場名為 SVOD 的創(chuàng)投大會。

剛離職沒多久的人工智能專家，前百度人工智能實(shí)驗(yàn)室負(fù)責(zé)人的吳恩達(dá)在臺上說：“人工智能就是 21 世紀(jì)的電力設(shè)施，抓住這個新技術(shù)的公司，將會在下一輪的競爭中跑得更快?！?/p>

一個一個初創(chuàng)公司走上臺，介紹自己的項(xiàng)目。當(dāng)中有給企業(yè)做臉部識別方案的、做語音識別系統(tǒng)的。臺下投資人們拋出一個又一個問題。

“你們識別率有多準(zhǔn)？”

“你們考慮怎么退出？”

……

公平和隱私，可能并不一定在他們的考慮范圍。在臺上的創(chuàng)業(yè)公司展示結(jié)束后，一個專門給兒童做人工智能助手的創(chuàng)業(yè)者 Ivan Crewkov 跟我聊起人工智能的未來，我問如果機(jī)器學(xué)習(xí)算法一個從小就知道小孩是誰，優(yōu)點(diǎn)缺點(diǎn)是什么，不會覺得擔(dān)心嗎？

他說，“我是個樂天派，即使有更多監(jiān)管，我想商業(yè)上一定會向前走的。”

大會結(jié)束后，吳恩達(dá)對《好奇心日報(bào)》談到了自己的對于監(jiān)管人工智能的態(tài)度，這也是業(yè)內(nèi)的典型態(tài)度：“我覺得現(xiàn)在太早了。技術(shù)還沒完全發(fā)展起來，太多設(shè)限會阻礙發(fā)展?！?/p>