發(fā)布時間：2020-02-10所屬分類：計算機(jī)職稱論文瀏覽：1次
摘 要： 摘要：算法歧視與自動決策系統(tǒng)相伴而生，并散布于很多領(lǐng)域。現(xiàn)有法律不能有效規(guī)制算法歧視，相關(guān)法律部門為此分別進(jìn)行立法修法的成本又過高。本文認(rèn)為我國應(yīng)利用第十三屆全國人大擬制定個人信息保護(hù)法的契機(jī)，采用個人信息保護(hù)法與合理算法標(biāo)準(zhǔn)相結(jié)合的綜合
摘要：算法歧視與自動決策系統(tǒng)相伴而生，并散布于很多領(lǐng)域。現(xiàn)有法律不能有效規(guī)制算法歧視，相關(guān)法律部門為此分別進(jìn)行立法修法的成本又過高。本文認(rèn)為我國應(yīng)利用第十三屆全國人大擬制定個人信息保護(hù)法的契機(jī)，采用個人信息保護(hù)法與合理算法標(biāo)準(zhǔn)相結(jié)合的綜合治理路徑，禁止算法歧視，保護(hù)數(shù)據(jù)主體獲得平等對待的權(quán)利。
關(guān)鍵詞：算法歧視，大數(shù)據(jù)，自動決策，價格歧視，就業(yè)歧視，信用歧視
隨著云計算、大數(shù)據(jù)技術(shù)的發(fā)展，以算法決策為用、以個人數(shù)據(jù)為體、以機(jī)器學(xué)習(xí)為魂的自動決策系統(tǒng)已經(jīng)悄無聲息地進(jìn)入我們的生活[1]。這種系統(tǒng)通過收集、分析和評估個人信息和行為數(shù)據(jù)，預(yù)測數(shù)據(jù)主體的工作表現(xiàn)、發(fā)展?jié)摿Α斶�能力、需求偏好等特征，并據(jù)此畫像(profiling)做出各種決定。自動決策系統(tǒng)已廣泛應(yīng)用于人力資源管理、信用評價、產(chǎn)品定價、保險核保等方面，對數(shù)據(jù)主體做出打分、評價和推薦等決定。不可否認(rèn)，自動決策有助于提高決策效率，避免人類決策者的偏見。但同樣不能忽視的是，數(shù)據(jù)和算法本身都不具有天然的中立性，數(shù)據(jù)可能有各式各樣的缺陷，算法亦可作為逐利的工具，甚至對求職者、雇員、消費者進(jìn)行差別對待，造成歧視性后果。這種歧視可被稱為算法歧視或大數(shù)據(jù)歧視。據(jù)《北京青年報》今年三月的報道，一位旅客經(jīng)常通過旅行網(wǎng)站預(yù)定某酒店房間，每晚價格通常在380–400元左右。淡季的某日，該旅客通過自己的賬號查到該酒店價格仍為380元，但通過其朋友的賬號查詢，顯示價格僅為300元。這就是所謂的“大數(shù)據(jù)殺熟”①[2]。該網(wǎng)站涉嫌利用算法實施價格歧視。事件發(fā)生伊始，公眾口誅筆伐，學(xué)界建言獻(xiàn)策。然而，算法歧視在法律上具有什么性質(zhì)，該如何治理，尚未引起學(xué)術(shù)界足夠的關(guān)注。本文嘗試進(jìn)行初步探究。第一部分探析算法歧視的產(chǎn)生原因，第二部分具體考察三種主要的算法歧視，并揭示其治理難題，第三部分初步勾畫出我國對算法歧視的綜合治理路徑，最后提出結(jié)論和展望。
一、問題溯源：算法歧視何以產(chǎn)生
所謂歧視，是指根據(jù)種族、民族、性別、宗教信仰等特征，對條件相同的人實施差別待遇。為實現(xiàn)法律追求公平、平等之目標(biāo)，歧視為各國法律所禁止。自動決策算法一般都會過濾掉以上顯性特征，以避免明目張膽的歧視。但是，基于以下原因，算法歧視仍然存在：
1.數(shù)據(jù)不必然具有中立性
認(rèn)為算法決策能克服人類決策偏見的一個理由是作為算法分析對象的數(shù)據(jù)是中立、客觀的。但實際上，數(shù)據(jù)主體的某些個人數(shù)據(jù)可能是偶然產(chǎn)生的，不具有代表性，例如一位頗有償還能力的人忘記按時償還信用卡賬單之記錄。個人數(shù)據(jù)還難免存在錯誤，例如身份信息被盜用形成的貸款逾期記錄，還有張冠李戴所產(chǎn)生的無中生有的犯罪記錄②[3]。可見，數(shù)據(jù)既有真實的，也有虛假的，而且真實的也不等于是客觀的，即數(shù)據(jù)并不天然具有中立性。這些偶然、甚至錯誤的數(shù)據(jù)從源頭改正本就很難，通過大數(shù)據(jù)分享、加工、提供等方式傳播出去之后再想徹底改正更是難上加難。算法基于不精確、偏見性或非代表性的數(shù)據(jù)做出決策，剝奪數(shù)據(jù)主體的某種機(jī)會，就會構(gòu)成無意性歧視。數(shù)據(jù)產(chǎn)生歧視性風(fēng)險的另一個原因是，算法模型需要通過訓(xùn)練數(shù)據(jù)來學(xué)習(xí)、演化。如果訓(xùn)練模型所用的數(shù)據(jù)本身存在可導(dǎo)致歧視后果的缺陷，算法模型也就不會產(chǎn)生公平的結(jié)果。這種歧視的矯正更加困難。
2.算法易受人為操控
有人套用技術(shù)中立原則，主張算法具有中立性。基于下述理由，筆者認(rèn)為算法中立乃是偽命題。
(1)算法目標(biāo)變量的選擇和賦值易受人為影響
算法決策總是需要用到一些目標(biāo)變量或指標(biāo)，或者對分析對象進(jìn)行某種分類。而指標(biāo)的選取、賦值以及分類方法都是人為設(shè)定的。如果這一過程受歧視性觀念影響，算法決策產(chǎn)生系統(tǒng)性的歧視后果就不足為奇了。
(2)算法可以規(guī)避禁止歧視的法律規(guī)定
由于受法律約束，算法一般都會篩選掉法律明文禁止的種族、民族、性別等歧視，但是算法可以通過數(shù)據(jù)畫像技術(shù)，從行為數(shù)據(jù)中識別出分析對象的某些類型特征從而做出對其不利的評價。例如，一個算法模型通過對數(shù)以萬計樣本的分析，發(fā)現(xiàn)特定郵政編碼區(qū)域的居民在特定工作上的表現(xiàn)很差勁，而這個居民區(qū)經(jīng)常與某個種族聯(lián)系在一起。如果算法模型在做出雇用決策時篩選掉這個少數(shù)族群，勢必會造成對該區(qū)域居民或族群的系統(tǒng)性歧視和傷害，因而缺乏正當(dāng)性。另外，算法還會從一些數(shù)據(jù)中識別出基因、殘疾、懷孕等特征并據(jù)此對數(shù)據(jù)主體做出負(fù)面評價，從而將歧視掩蓋起來。
(3)算法會混淆關(guān)聯(lián)關(guān)系和因果關(guān)系
不同目標(biāo)變量之間的關(guān)聯(lián)關(guān)系，可能是因果關(guān)系，也可能是偶然的，但是算法對此并不解釋和區(qū)分。只要算法認(rèn)為關(guān)聯(lián)性足夠強(qiáng)，就會用來對分析對象進(jìn)行分類和預(yù)測。例如，如果算法發(fā)現(xiàn)那些喜歡Facebook上某種內(nèi)容的人智商較高，就會在這種內(nèi)容和智商之間建立關(guān)聯(lián)，預(yù)測喜歡這種內(nèi)容的人的智力都比較高，也更有發(fā)展?jié)摿Β賉4]，從而做出錄用或晉升的決定。算法還可能基于錯誤的關(guān)聯(lián)性判斷做出決策，例如在美國，使用雙姓氏的多為西班牙裔，改變姓氏的多為女性，算法就將雙姓氏者歸為西班牙裔，將改變姓氏者歸為女性。如果據(jù)此做出剝奪這類群體就業(yè)機(jī)會的決策，就會構(gòu)成歧視。
(4)算法可加重統(tǒng)計性歧視
根據(jù)EdmundS.Phelps提出、DennisJ.Aigner等學(xué)者所發(fā)展的理論，在勞動能力信息不完全的前提下，雇主依據(jù)群體的統(tǒng)計性特征來做出工資和雇傭決策，從而對處于不利群體中的勞動者造成工資或就業(yè)歧視①[5]。例如，兩個應(yīng)聘者在教育程度、工作經(jīng)驗、測試分?jǐn)?shù)等方面完全一樣或相差無幾，其中一人畢業(yè)于985大學(xué)，另一人畢業(yè)于普通大學(xué)，雇主根據(jù)985大學(xué)畢業(yè)生的職業(yè)表現(xiàn)整體上優(yōu)于普通大學(xué)生的統(tǒng)計規(guī)律，做出錄用985大學(xué)畢業(yè)生的決定，就構(gòu)成對普通大學(xué)畢業(yè)生的統(tǒng)計性歧視。當(dāng)算法模型基于這種統(tǒng)計規(guī)律做出決策時，就會對被保護(hù)群體產(chǎn)生統(tǒng)計性歧視。在算法的作用下，這種歧視難以因為優(yōu)秀的個體而改變，因而對于一個群體而言其損害后果更加嚴(yán)重。
二、治理難題：三種主要算法歧視的考察
由于算法決策系統(tǒng)的應(yīng)用日益廣泛，算法歧視也在多個領(lǐng)域出現(xiàn)。囿于篇幅限制，下文僅對以算法為手段實施的就業(yè)歧視、信用歧視和價格歧視②進(jìn)行具體考察，為發(fā)掘算法歧視的治理難題、尋求解決方案奠定基礎(chǔ)。
1.算法型價格歧視
(1)算法型價格歧視的產(chǎn)生
價格歧視是指商品的提供者以不同的價格，向交易條件相同的交易相對人提供相同等級、相同質(zhì)量的商品。研究價格歧視，離不開消費者剩余這個概念。所謂消費者剩余是指消費者愿意為一種商品支付的最高價格減去其實際支付的價格。企業(yè)實施價格歧視的目的無外乎盡量攫取消費者剩余①[6]70。通常認(rèn)為，成功實施價格歧視需要具備三個要件：其一是企業(yè)必須占據(jù)市場支配地位，具有較強(qiáng)的定價話語權(quán)，否則無法實施價格歧視。在完全競爭條件下，企業(yè)完全沒有定價的能力，只能按照市場規(guī)律確定的價格銷售商品;其二是企業(yè)必須能夠了解不同消費者的支付意愿，從而對他們收取不同的價格;其三是企業(yè)必須有能力防止低價購買者通過轉(zhuǎn)售低價購買的商品進(jìn)行套利。如果低價購買者能夠套利，企業(yè)就不能從具有較高支付能力的消費者那里獲得收益，就達(dá)不到價格歧視的目的了②[6]68。
相關(guān)期刊推薦：《科學(xué)與社會》立足科學(xué)和技術(shù)的近期進(jìn)展，宣傳科學(xué)對社會的影響。評價中國和世界科技的發(fā)展及其影響，立足于資源、環(huán)境的國家可持續(xù)發(fā)展;致立于提倡中國科技界的文化品味，當(dāng)今科學(xué)與文化的交融，包括對科技名人、科學(xué)史事的評介。曾被中文核心期刊(2004)、中文核心期刊(2000)收錄。有投稿需求的作者，可以咨詢期刊天空在線編輯。
實施價格歧視最重要的前提條件是企業(yè)知道消費者的最高支付意愿。但是長期以來，企業(yè)幾乎不能獲取有關(guān)消費者最高支付意愿的信息，因此也就無從實施價格歧視。然而，數(shù)據(jù)挖掘和分析工具等人工智能技術(shù)終于攻克這一障礙。企業(yè)利用特殊的算法，對消費者的消費記錄或其他上網(wǎng)記錄等進(jìn)行跟蹤、分析，繪制出消費者的偏好、習(xí)慣、支付能力等畫像，通過個性化定價的嘗試和驗證，獲取消費者的最大支付意愿信息，從而使得對不同消費者收取不同的價格成為可能。這就是所謂“大數(shù)據(jù)殺熟”得以實施的技術(shù)條件。也就是說，在大數(shù)據(jù)背景下，即使企業(yè)不具備市場支配地位，也有能力獲取消費者的最高支付意愿，從而實施價格歧視。
(2)算法型價格歧視的救濟(jì)
經(jīng)考察現(xiàn)行法律，筆者發(fā)現(xiàn)“大數(shù)據(jù)殺熟”不構(gòu)成《價格法》中的價格欺詐，也談不上侵犯消費者的自主選擇權(quán)和強(qiáng)迫交易權(quán)，因此不能使用《價格法》和《消費者權(quán)益保護(hù)法》去規(guī)制;至于《反壟斷法》所禁止的價格歧視，其構(gòu)成條件之一是經(jīng)營者須具有市場支配地位，《價格法》禁止的價格歧視只適用于經(jīng)營者對經(jīng)營者的歧視，例如批發(fā)商在交易條件相同的情況下對不同零售商給予不同的批發(fā)價格。顯然，如果實施“大數(shù)據(jù)殺熟”的企業(yè)不具有市場支配地位，并且針對的僅僅是消費者，現(xiàn)有法律對“大數(shù)據(jù)殺熟”就無可奈何。對于“大數(shù)據(jù)殺熟”這類價格歧視的法律規(guī)制，美國的情況與我國相似，既不能援引旨在保護(hù)小零售商的《羅賓遜-帕特曼法》禁止針對消費者的價格歧視，也無法適用《謝爾曼法》認(rèn)定這種行為違背反托拉斯法①[7]。既然現(xiàn)行法律對算法型價格歧視無能為力，我們必須另辟蹊徑。比較容易想到的一個方案是修改《價格法》，將價格歧視的適用范圍從經(jīng)營者擴(kuò)展至消費者。如此一來，如果實施“大數(shù)據(jù)殺熟”的經(jīng)營者占有市場支配地位，則可逕行適用《反壟斷法》進(jìn)行規(guī)制，而如果經(jīng)營者不占市場支配地位，修改后的《價格法》就有用武之地了，從而堵死算法型價格歧視的存在空間。但是，這種修法模式只能在損害發(fā)生后提供最基本的事后矯正，最多能填平消費者的損害，而難以有效遏制“大數(shù)據(jù)殺熟”的發(fā)生。
2.算法型就業(yè)歧視
(1)算法型就業(yè)歧視的產(chǎn)生
就業(yè)歧視是指基于種族、膚色、性別、宗教、政治見解、民族血統(tǒng)或社會出身等因素，在錄用、晉升、薪酬等方面實施差別待遇。反對就業(yè)歧視已成國際共識。例如，國際勞工組織《1958年消除就業(yè)和職業(yè)歧視公約》、美國《1964年民權(quán)法》、中國《勞動法》《婦女權(quán)益保障法》《殘疾人保障法》《就業(yè)促進(jìn)法》等都明文禁止就業(yè)歧視。
隨著數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等人工智能技術(shù)的廣泛應(yīng)用，基于算法的人力分析系統(tǒng)(workforceanalytics)應(yīng)運而生，雇主日益依賴算法對招聘面試、雇傭、晉升、解雇等事項做出決定。贊成者認(rèn)為，這種算法可以提高人力資源管理效率，依據(jù)中立的數(shù)據(jù)做出不偏不倚的決策從而避免人類決策者的偏見，但懷疑者則指出數(shù)據(jù)并不具有天然的中立性，算法也可能惡化現(xiàn)有的偏見，甚或產(chǎn)生新型的偏見②[4]860。研究表明，算法導(dǎo)致就業(yè)歧視絕非危言聳聽。一家公司通過數(shù)據(jù)分析發(fā)現(xiàn)員工家庭住址與工作場所的距離是預(yù)測其在職時間長短的重要指標(biāo)③[4]890。如果人力分析系統(tǒng)依賴這個因素做出雇傭家庭住址距離工作場所更近的求職者的決策，就極可能對家庭住址距離辦公場所較遠(yuǎn)的求職者構(gòu)成歧視。LatanyaSweeney的研究顯示，與搜索白種人相關(guān)的姓名相比，在谷歌上搜索非裔美國人相關(guān)的姓名，系統(tǒng)就會更多地彈出犯罪背景審查廣告①[8]。這意味著算法可以將姓名與種族關(guān)聯(lián)起來，并在就業(yè)等方面上做出不利于少數(shù)種族的決定。AnjaLambrecht等人的研究發(fā)現(xiàn)，女性被推送科技、工程、數(shù)學(xué)相關(guān)廣告的比例遠(yuǎn)遠(yuǎn)少于男性②[9]。卡內(nèi)基梅隆大學(xué)AmitDatta等學(xué)者研究了求職者性別與招聘廣告推送的關(guān)系，先用軟件模擬普通用戶去瀏覽求職網(wǎng)站，隨后統(tǒng)計谷歌推送“年薪20萬美元以上職位”的廣告數(shù)據(jù)，發(fā)現(xiàn)男性用戶組收到1852次推送，女性用戶組僅收到318次，可見女性得到“高薪”職位推薦的機(jī)會，僅為男性的1/6③[10]。這些研究顯示，算法固然不會依據(jù)種族、性別等顯性特征實施公然的就業(yè)歧視，但是只要得到雇主的“授意”，歧視總有辦法悄然地進(jìn)行。
(2)算法型就業(yè)歧視的救濟(jì)
如果說對算法型價格歧視的救濟(jì)尚可通過對《價格法》的小修來實現(xiàn)，那么對算法型就業(yè)歧視的救濟(jì)就沒有這么簡單了。我國1994年的《勞動法》禁止因民族、種族、性別、宗教信仰的不同而歧視勞動者，但是沒有對就業(yè)歧視提供司法救濟(jì)。2007年的《就業(yè)促進(jìn)法》擴(kuò)大了就業(yè)歧視的原因范圍。但是我國勞動者提起就業(yè)歧視訴訟，必須證明用人單位直接實施了法律禁止的歧視行為。由于勞動者處于明顯弱勢地位，這一舉證負(fù)擔(dān)實為其不可承受之重。比較而言，英美國家的法律對就業(yè)歧視舉證責(zé)任的分配機(jī)制就更為合理。只要原告能夠提供初步證據(jù)證明存在歧視，被告就要承擔(dān)反駁的舉證責(zé)任。為了免除承擔(dān)歧視責(zé)任，被告在直接歧視案件中必須證明其對原告的差別對待是出于真實職業(yè)資格的要求，在間接歧視案件中必須證明其做法是實現(xiàn)正當(dāng)目的的必要行為④[11]。但是，即便美國的反就業(yè)歧視法減輕了勞動者在歧視案件中的舉證責(zé)任，美國有學(xué)者也認(rèn)為由于算法的復(fù)雜性、模糊性，現(xiàn)行法律對算法造成的就業(yè)歧視無法提供有效救濟(jì)。但也有學(xué)者持不同看法⑤[4]。
