互联网

算法歧视风险管理

来源:互联网    作者:      2022年07月05日 15:52

导语:

作者:胡月

大数据时代,以海量数据收集和机器自主学习为基础的算法决策技术快速发展,正逐渐取代传统意义上的人为决策,广泛地运用于商业、金融、医疗以及司法、行政等公权力领域。由于算法的技术性、不透明性与不确定性,算法决策的应用风险频频发生,算法歧视现象屡见不鲜,造成个人权利与算法权力之间的失衡,诱发了一系列的社会伦理问题,并给强调个人幸福和权利优先性的现代社会秩序带来了巨大挑战。企业虽然可以凭借算法歧视提高效率、创造额外收益,但同时也可能会因算法歧视导致的决策偏差导致巨大的法律风险与信任危机,从而直接或间接地影响企业收益与市场竞争地位。算法歧视风险管理已成为当前国内外政府和企业普遍关注的一个焦点。

依图科技是中国人工智能领域的独角兽公司,该公司致力于将人脸识别、语音识别技术应用于正向价值的社会公共领域,并在智慧城市、公安安防、医疗、金融等与政府和行业机构展开了大量业务合作。作为该公司的法务部总监,蒋娴媛女士从法学、计算机科学、社会学、商业等多个视角全面考量算法歧视潜在的社会和市场风险,深入研究全球人工智能算法歧视的治理趋势,提出以“技术+规则”的风险管理观。蒋娴媛开创性地组建多元化的算法歧视风险管理团队,制定清晰可行的内部管理规范,带领团队从制度机制、技术路径、价值理念等层面识别和消除算法决策的潜在歧视,极大地提高了公司算法应用的可靠性。

人工智能通过用户提供、自动采集、间接获取等方式采集大量训练数据和应用数据,用于训练模型或推断预测。在这一过程中,数据集的内在偏见、存在偏见的算法技术系统以及使用未经检验的算法技术等,都是直接引发算法歧视并导致公众信任崩塌的主要原因。蒋娴媛创造性地在将算法歧视风险管理方法论融入到公司产品的全周期管理过程中,针对产品在不同场景下的运作建立统一的算法歧视性风险管理机制。蒋娴媛领导法律专家团队并联合算法、标注、运营四个团队进行跨部门合作,在产品立项、研发、运营三个关键阶段制定相应的管理细则,对算法歧视风险进行识别、评估、处理与监控。在产品立项阶段,蒋娴媛指导团队对算法的数据来源、数据收集、算法学习训练模型制定最高的标准和详细的操作指南,对数据的采集与使用进行跟踪记录与说明,并对“最小数量”的数据集进行定期评估,以确保算法模型使用数据集的真实性,从数据源头上防范算法歧视。在研发阶段,蒋娴媛率领团队与技术领域专家、产品终端用户等人员紧密合作建立算法歧视评估体系,推动算法在公司内部的可解释性和最大程度的透明化。蒋娴媛指导团队深入到具体的算法技术环节中,通过对研发算法进行批判性的辩论、开放式的反思等形式,消除技术人员的固有偏见和算法系统的技术偏见,使算法工具的决策结果体现出人类社会文化的多样性与包容性。在产品运营阶段,蒋娴媛指导团队对产品应用环境偏差进行监测,对产品在特定的应用场景有效性和可靠性进行长期跟踪与分析,尽可能识别出产品在使用过程中蕴含的社会歧视,并及时对前期的管理细则进行反馈和动态调整。蒋娴媛将算法歧视风险管理流程严格地贯穿于产品的全周期管理中,确保产品研发、运营人员对系统进行全过程的追溯和审查,极大地减少了算法系统在智慧城市、公安安防、医疗、金融等领域中的歧视性风险。

算法决策蕴含着价值判断,总是与特定人群的的价值立场相关。在实际工作中,研发人员往往在在技术和价值体系的不同标准中无所适从。蒋娴媛前瞻性地在公司战略层面确立算法公正这一价值原则,创造性将伦理学原则嵌入到算法歧视风险管理中,并将其作为公司人工智能产品开发重要的考量因素之一。蒋娴媛领衔法律、产品研发、人力资源等部门的负责人组成跨垂类的算法伦理审查委员会。她基于多元化的考量,选择不同知识背景和经验的专家组成伦理审查委员会,以形成差异化和创造性的视角。蒋娴媛指导团队建立全球人工智能伦理案例数据库,收集大量关于人工智能在医疗、安防等领域的应用案例,并领导团队制定公司内部的算法伦理标准与审查环节,确保公司内部所有新产品的研发立项都必须通过伦理审查,最大程度的保护社会各方群体的基本权利与尊严。

人工智能算法作为一种新技术,已然成为人工智能企业的核心资产之一,占据了用户数据和高级算法优势的企业因此获取了极大的权力,也更应当承担更多的社会责任。蒋娴媛女士领导的团队从算法的数据收集与训练、算法模型搭建、产品应用等流程出发制定标准和操作规范,确保在人工智能产品生命周期对潜在算法歧视风险的可视化和可追溯,有效地消除了算法偏见与歧视,实现了技术理性与价值理性之间的相互协调,在算法公正领域积累了宝贵经验,是当之无愧的行业标杆。

(文章为作者独立观点,不代表艾瑞网立场)
  • 合作伙伴

  • 官方微信
    官方微信

    新浪微博
    邮件订阅
    第一时间获取最新行业数据、研究成果、产业报告、活动峰会等信息。
     关于艾瑞| 业务体系| 加入艾瑞| 服务声明| 信息反馈| 联系我们| 合作伙伴| 友情链接

Copyright© 沪公网安备 31010402000581号沪ICP备15021772号-10

扫一扫,或长按识别二维码

关注艾瑞网官方微信公众号