在过去的一个月里，意大利个人数据保护机构Garante向两家跨国外卖公司Deliveroo和Foodinho开出了290万欧元(约2217万元人民币)和260万欧元(约1987万元人民币)的罚单，原因是违反了欧盟《通用数据保护条例》 (GDPR)的规定。
南方记者梳理发现，GDPR第22条成为处罚的关键依据。简单来说，监管部门认为外卖平台完全通过算法对骑手进行分级、排名甚至惩罚，但缺乏人工干预机制会影响骑手的就业机会，可能会对骑手造成歧视。
事实上，自去年以来，围绕“自动决策”的诉讼在欧洲不断涌现。相比之下，在中国，在过去的一年里，控制算法在互联网上销售骑手和司机多次成为社会关注的焦点，中央部委和地方政府也出台了相关政策。可见，如何打破算法“黑箱”，避免算法歧视，将成为未来的重要课题。
因算法歧视等，两大跨国外卖平台被罚两百多万欧
7月22日，意大利个人数据保护机构Garante宣布，外卖公司Deliveroo因违反欧盟《通用数据保护条例》 (GDPR)规定被罚款290万欧元。
Deliveroo总部位于伦敦，成立于2013年，目前在英国、意大利、荷兰、法国、比利时、爱尔兰、西班牙、澳大利亚、新加坡、阿联酋、科威特等国家开展外卖业务。
Deliveroo平台送货员。图片来自Deliveroo公司官网
根据Garante发布的处罚公告，Deliveroo使用的算法会根据骑手是否可以在周五、周六、周日晚上的高峰时段工作以及配送订单的速度等信息，对骑手的“可靠性”和“可用性”进行评估，然后以此来分配订单，从而确定骑手选择送餐班次的优先级。
也就是说，分数较高的骑手在高峰时段会有更好的机会获得更赚钱的餐食。但是平台不会告诉骑手具体的评分逻辑。
虽然Deliveroo辩称，自2019年检查以来，已经放弃了轮班制，采用了新的订单分配制度，所以骑手可以灵活选择接单，没有轮班限制。不过，Garante认为，即便如此，算法仍然会评估骑手的工作，影响订单分配。
GDPR第22条规定，如果包括数据图像在内的一些自动决定将对数据主体产生法律效力或对其产生类似的重大影响，数据主体有权不受上述决定的限制。
GDPR认为，数据控制者应采取适当措施“保护数据主体的权利、自由和合法利益，至少保证人为干预的权利”。但是Deliveroo没有人工审核的渠道，对骑手作品的评价完全依赖算法。Garante认为，通过算法评估骑手的工作行为违反了这一规定，可能会对工人造成歧视。
此外，Garante调查发现，Deliveroo违反了关于如何使用算法透明、公平地分配工作的相关规定。例如，GDPR《关于个人数据处理的原则》第5条规定，个人数据必须“以合法、公平和透明的方式处理”。
这说明Deliveroo使用新系统后，公司网站上常见的问题仍然没有提供订单分发系统的详细信息。Garante强调，Deliveroo有责任“定期验证算法结果的正确性，将失真或歧视性影响的风险降至最低”。
Garante对Deliveroo的惩罚并非偶然。不久前，加兰特向另一家跨国外卖平台Foodinho开出了260万欧元的罚单，并责令其改变骑手管理算法。发现的问题和基于这些问题的法律法规与Deliveroo非常相似。
>Foodinho总部位于西班牙巴塞罗那，在非洲、欧洲、亚洲以及中南美洲的 23 个国家/地区开展业务。在接受Garante调查时，该平台在意大利约有 19000 名骑手。
根据调查结果，Foodinho被要求在两个月之内纠正所有严重的违规行为，并再用一个月来修改其算法系统的运作方式。Garante要求，算法功能必须确保遵守GDPR和意大利本国的相关法规。
伦敦律师事务所 Cordery 的合伙人乔纳森·阿姆斯特朗表示：“这两个案例（Deliveroo和Foodinho）都为科技企业提供了重要的教训，并展示了人工智能与GDPR之间的一些冲突。”
多起诉讼：外卖骑手、网约车司机不满平台用算法排名
这并不是Deliveroo第一次因为算法被罚。
今年1月，这家外卖公司就因为完全使用算法来管理骑手被骑手告上法院，意大利博洛尼亚法院审理了此案。法院最终裁定，Deliveroo使用的骑手排名算法违反当地劳动法，造成了对骑手的歧视，须赔偿原告5万欧元。
具体来说，算法排名没有考虑到骑手的特殊情况。例如，骑手某一天没有送餐可能是因为生病或者行使罢工权利，这些特殊情况本应受到法律保护，而算法只会根据送餐结果来给骑手进行排名，影响他们的工作机会。
案件判决之后，Deliveroo的新闻发言人表示并不认可判决结果。他说，算法排名已经被该公司淘汰，如今骑手可以完全灵活地选择工作时间、工作地点，他们想工作多久就工作多久。这意味着骑手并不受制于系统，也没有义务接受工作安排。该新闻发言人还强调，在审判过程中没有出现任何客观和真实的歧视案例，判决完全是基于没有证据的假设。
不过，尽管Deliveroo对此次判决表现得委屈，半年后，还是再遭监管机构重罚。值得注意的是，此次监管的法律依据除第22条“自动化决策”外，还包括数据处理的合法性、正确性和透明性原则、最小化原则和保护限制原则相关的一系列条款。
南都记者梳理发现，早在监管机构出手之前，欧洲的零工工人针对平台算法的诉讼在去年已经陆续涌现。比如同样是“零工经济”的网约车领域。
Uber App页面。图自Uber官网
去年夏天，来自伦敦、伯明翰、诺丁汉和格拉斯哥的Uber司机在荷兰阿姆斯特丹地方法院提起诉讼，称这家科技巨头未遵守GDPR。该诉讼涉及对个人数据的访问和算法决策问责。GDPR第22条“自动化决策”相关条款再一次受到关注——Uber通过算法来进行订单分配，这决定了司机收入。
据了解，Uber算法会根据工作表现给司机打上标签，例如是否迟到、取消订单、对乘客态度好坏等。上诉的司机称，平台给司机打了标签，而自己却看不到这些信息，这违反了GDPR中对数据访问权的规定。
算法透明度是司机们关注的另一个问题。一名司机称：“根据 GDPR，Uber必须解释算法处理的逻辑，但它从来没有真正向司机解释过用来管理司机的算法及其工作方式。例如，Uber从未向我解释过他们如何处理附加在我个人资料上的电子绩效标签。”
一个名叫“App司机和快递员联盟”的机构表示，Uber司机在工作中需要受到绩效监控。也就是说，Uber实际上可能通过算法来对司机进行评估，并影响到他们的工作机会和收入。但Uber一直宣称网约车司机是灵活用工，不受管理控制。
对于该案件，纽卡斯尔大学法学教授 Lilian Edwards 表示，这是一个历史性的案件，可能将会解开算法“黑箱”的面纱。如果诉讼核心是GDPR第 22 条，Uber将必须证明其围绕其算法制定了“适当的保护措施”。
此后，Uber收到了一系列针对其算法的诉讼。
去年9月，另一家叫车公司Ola被两名司机告上荷兰法庭。该案中，司机同样对算法决策不满，并主张算法透明度。
一位司机表示，有一次，Ola的算法认为他跑的一单无效，他的收益被扣掉了。后来，他向平台投诉，平台告诉他这个过程是自动化的，没有人工干预，算法的决策无法撤销。
这些案件目前仍在审理中。有专家认为，这些判例将为理解GDPR第22条提供实际参考。
伴随着一系列关于算法“黑箱”的争议和诉讼案件，欧盟立法机构采取了更多行动。在GDPR之外，去年12月，欧盟出台《数字服务法案》，明确要求平台解释其推荐系统的工作方式，并为用户提供更多的控制权。不过，这一条款主要针对推荐系统，可能对Facebook等广告平台影响更大。
我国也在加强对算法的监管和规制
在中国，平台经济中的算法“黑箱”在近几年也引发了社会广泛关注。
去年，《人物》杂志的《外卖骑手，困在系统里》一文就揭示了国内头部外卖平台利用算法对骑手工作进行全面管理的现状。不过，社会舆论似乎更多集中于配送时间的不断挤压导致骑手冒险狂奔。
而上述欧洲的执法案例和诉讼案件，“算法评价工人”的问题是焦点之一。不论是算法评估骑手“可靠性”来决定骑手配送班次，还是算法排名影响订单分配，在Garante看来，这些自动化决策都会影响骑手的工作机会，因此可能造成对骑手的歧视。
在我国，类似问题也大量存在。一些新闻报道和学者的论文都证实了外卖骑手等级制的存在，在某平台中，算法根据骑手的单量和速度等综合表现，将骑手分为普通、白银、黄金、黑金、钻石等不同等级，对应不同的价格补贴。
此外，根据此前的媒体报道，骑手一天配送超时一定单数，系统就会对其做出处罚，例如，24小时内不能再接单。这也对应了Garante通报中所说的“将一部分骑手排除在工作机会之外”。
在此前国内的媒体报道中，骑手申诉困难的问题也被多次提及。比如，骑手因意外原因超时或被顾客差评，就可能被系统做出暂停接单或罚款的处罚，而平台的申诉渠道往往形同虚设。
这与欧洲一些案例的情况类似。GDPR第22条规定，人有权利不受完全的自动化决策带来的重大影响，官方解释中提到应有人工干预机制。因此，欧洲的外卖平台如果完全依赖算法对骑手进行管理，就可能构成违法。
南都记者观察到，我国也在加强对外卖行业的监管。
7月26日，市场监管总局等七部门联合发布《关于落实网络餐饮平台责任 切实维护外卖送餐员权益的指导意见》（以下简称《意见》），提到“不得将‘最严算法’作为考核要求，通过‘算法取中’等方式，合理确定订单数量、准时率、在线率等考核要素，适当放宽配送时限。”
可以看出，该条规定主要是为了解决国内外卖平台配送时限严苛的问题，这与欧洲侧重“算法评级对工人歧视”有所不同。
不过，相似之处是，《意见》也强调了人工干预的必要性，要求督促平台建立外卖送餐员诉求反映的直接渠道，明确诉求处置程序和时限，对于客观因素造成送单超时等常规问题，一般在24小时内合理解决。
如今，随着技术不断深入生活，算法透明度显得尤为重要。国内也有地方立法做出探索。
今年7月14日，深圳市发布《深圳经济特区人工智能产业促进条例（草案）》并公开征求意见。《草案》提及“算法规制”，要求对于公共决策领域以及涉及公共利益的商业领域的算法，应当采取公众可理解的方式进行算法说明。
采写：南都见习记者李娅宁