近年来随着AI技术的规模化产业落地，发展“可信AI”已成为全球共识，也是未来人工智能健康发展的必由之路。9月1日-9月3日，2022世界人工智能大会（WAIC）期间，可信AI议题也备受业界关注。作为人工智能领域代表性企业，星环科技在可信AI领域进行了诸多探索，在本届世界人工智能大会上，星环科技不仅围绕可信AI与业界大咖进行了观点分享，还带来了可信AI成果。

9月1日下午，在由中国信息通信研究院、京东探索研究院联合主办的WAIC 2022 · 可信AI论坛上，星环科技首席隐私计算科学家伊人与中国信通院华东分院人工智能与大数据事业部主任陈俊琰、京东探索研究院算法科学家&可信 AI 主任何凤翔、蚂蚁集团机器智能部总经理&蚂蚁安全天筭实验室主任王维强、中国科学技术大学电子工程与信息科学系副教授田新梅围绕“共建可信人工智能产业生态”进行了深度圆桌交流。

9月3日下午，在中国信通院云计算与大数据研究所、蚂蚁集团、机器之心主办的WAIC 2022 · 可信隐私计算高峰论坛上，星环科技高级研究员夏正勋及研究员唐剑飞还进行了《可信AI治理框架探索与实践》论文讲解，深入介绍以“数据可信、算法可信、计算可信、管理可信”为中心的端到端T-DACM可信AI治理框架。

可信AI前景广阔，数据全生命周期的AI可信是未来趋势

对于如何开放协同，共建多元化的可信人工智能产业生态，伊人表示，在共建可信人工智能产业生态的实践中，一是对各行业不同问题，形成跨学科、专业化的可信AI解决方案；二是需要做出技术上的突破来提供好用的工具对AI的结果进行评估和量化，比如减低夏普利值的计算复杂度，研发一些好用的可视化工具；三是需要做到数据-AI模型-业务全链路的可信。

同时，伊人表示可信AI或者说解决AI的信任问题是AI规模应用的前提，所以可信AI在整个企业应用中有着很重要的价值和前景。从技术角度看，技术提升带来产业提升，星环科技也根据市场需求研发了XAI可解释性以及隐私计算，以及MLOps模型运维组件等，基于软件帮助客户能够理解并信任模型，并且将模型能够真正应用到实际的生产环节中，给企业带来效益的提升；可信人工智能未来发展趋势是从模型驱动转为数据驱动，从数据采集、数据传输、存储、治理、建模、应用的全生命周期来达到AI可信；而在治理方面，首先是根据可信AI的实践经验形成行业规范、标准在全国进行推广，甚至达成全世界的共识。

“数据、算法、计算、管理”，T-DACM端到端的可信AI治理框架

为实现数据-AI模型-业务全链路的可信，星环科技从技术和管理两个维度出发，提出了一种通用的可信AI治理框架T-DACM （Trusted Data & Algorithm & Computation & Management）。T-DACM 可信AI治理框架具体包含可信数据、可信算法、可信计算、可信管理四个层次，覆盖了数据安全、模型安全、隐私保护、风险控制、过程管理、可解释性、公平伦理、追溯追责等AI热点问题的解决方法，为企业及监管机构提供了一种可行的可信AI解决方案。

T-DACM 可信AI治理框架由下而上分为四层，分别是可信数据（Trusted Data）层、可信算法（Trusted Algorithm）层、可信计算（Trusted Computation）层与可信管理（Trusted Management）层 ，其中：

可信数据层为可信AI提供了数据基础。其具体包含异常数据检测、偏倚消除、偏见消除、数据增强等组件，可以检测异常样本保证模型能够正常工作，对异常、异质性数据进行处理，引入公平性算法消除数据中的歧视与偏见，通过样本变换或者样本生成来扩增数据集，增强模型鲁棒性；

可信算法层为可信AI提供安全与强鲁棒性的核心能力。其除了现有算法外，还包含因果算法、公平算法、模型增强等算法组件，可以从数据中发现稳定特征，提高模型对不同环境的适应能力，去除模型的决策逻辑对于弱势群体的歧视，提升了模型对于常见攻击方式的防御能力；

可信计算层为可信AI提供可信计算的能力。其具体包含加密算法、可信计算、计算调度等模组，可以使用加密算法及TPCM（Trusted Platform Control Module）可信平台控制模块保障单方计算场景下的数据安全，使用联邦学习、联邦计算、多方安全计算（Secure Multi-Party Computation，MPC）等组件为多方参与的模型训练、模型推理、计算等提供数据安全及隐私保护；

可信管理层为可信AI提供可追溯、可监管、可理解的管理能力。其具体包含追溯追责、公平伦理查验、可解释性三个组件， 可以通过事故发生之后的回溯对责任进行认定，分析系统的实时行为来监控违反法规伦理的行为，对模型的决策逻辑进行解释，为模型的优化提供参考。

T-DACM可信AI治理框架基本覆盖了AI从模型学习、模型应用到系统管理的全流程，以个性化保险定价为例：可信数据层使用Relabelling算法消除数据集中对弱势群体的偏见，可信算法层使用Regularization 增强定价算法的公平性，可信计算层使用联邦学习计算框架在保护隐私的前提下联合第三方银行数据共同建模，定价结果更准确可信，在可信管理层既能回溯某一定价的决策过程并作出解释，也能实时检测在运行过程中整个定价系统是否存在违反法律、伦理规则的行为。通过T-DACM可信AI治理框架内层与层之间的无缝协作保障AI系统全流程的可信性。T-DACM可信AI治理框架可以有效提升模型精度，并解决模型黑盒问题。以某银行授信系统为例，通过纵向联邦学习组件利用第三方风控数据进行联合建模，从数据优化的维度提升模型精度至99.2%。对于客户资源损失的问题，使用隐匿集合求交功能，实现与第三方社交媒体用户资源的匹配，从而找到失联客户，并进行接触推广，最终将失联用户率降低至0.4%。对于模型黑盒问题， 通过引入模型可解释模块，解决了对客户的评分差异无法解释的问题。星环科技提出的T-DACM可信AI治理框架结合数据、算法、计算、管理四个维度的可信方法，提供了一个端到端的可信AI解决方案，并率先在产业界进行了实践与落地。然而，可信AI是一件任重而道远的事情，当前模型的黑盒仍未完全解开，彻底的可信尚未达到，相信随着人们对AI研究愈加深入、新方法新技术的不断提出，可信AI框架必将越来越完善。