【网络强国·百人谈】
目今,,,,,,,,人工智能正从“会回覆问题”走向“能挪用工具、能妄想路径、能自主行动”,,,,,,,,智能体加速进入企业生产谋划的各个环节。。。。。。。从“资源与界线”到“使命与行动”,,,,,,,,清静防护的工具更多、粒度更细、水平更深,,,,,,,,企业怎样既推进智能体应用、又守住清静底线,,,,,,,,让大模子真正从“能用”迈向“敢用、好用”,,,,,,,,成为业界关注的焦点。。。。。。。
在第一届中国网络空间清静大会(CCSC2026)时代,,,,,,,,中国网络空间清静学会常务理事、3377体育网官网入口董事长兼CEO李雪莹接受灼烁网采访,,,,,,,,围绕智能体应用中的清静危害、企业智能体清静防护系统建设、大模子从“能用”迈向“敢用、好用”等话题,,,,,,,,分享了她的视察与思索。。。。。。。
智能体清静尚存三大危害——目的使命被改变、权限被滥用、信任被转达
智能体使用历程中可能保存哪些清静危害??????李雪莹以为,,,,,,,,在智能体的使用历程中,,,,,,,,主要有三大类危害:
第一类是目的使命被改变。。。。。。。我们在使用智能体时,,,,,,,,输入的对话、邮件、数据中可能夹带着恶意内容,,,,,,,,它们进入上下文以后会把恒久影象污染,,,,,,,,最后被真实地执行、落地。。。。。。。这个历程在用户看来是正常的,,,,,,,,但现实上执行的效果已经和原本的使命目的纷歧样了。。。。。。。
第二类是权限被滥用。。。。。。。智能体在运行当中会“继续”用户交给它的凭证和权限,,,,,,,,若是在授权时没有充分遵照最小权限原则,,,,,,,,一旦这个智能体被恶意攻击,,,,,,,,或者被误用,,,,,,,,它就可能借助这些正当权限去做越权的操作;;;;;;若是这个链条当中没有加入人工审核,,,,,,,,就可能造成重大的危害和影响。。。。。。。
第三类是信任被转达。。。。。。。智能体挪用的模子若是掺杂了恶意模子,,,,,,,,或者挪用工具泉源不明,,,,,,,,甚至已经被植入恶意代码,,,,,,,,信任就被过失地转达给了这些恶意的模子和工具,,,,,,,,由此在使用中带来新的危害。。。。。。。
除此之外,,,,,,,,尚有两类衍生危害:
一类是数据泄露。。。。。。。智能体的使用是多智能体交互的,,,,,,,,交互历程当中,,,,,,,,不管是由于权限的问题照旧信任转达的问题,,,,,,,,都可能造成太过的信息转达,,,,,,,,凌驾原本应该转达的内容,,,,,,,,造成隐私和敏感数据的不当泄露。。。。。。。
另一类是危害的级联撒播。。。。。。。智能体涉及的面较量多,,,,,,,,使用当中可能跨层级转达,,,,,,,,好比,,,,,,,,一个营业智能体一旦泛起危害,,,,,,,,与它关联的营业都可能受到响应影响。。。。。。。
针对这些危害,,,,,,,,对企业来讲,,,,,,,,有三类事情要做:
第一类,,,,,,,,原本成熟、一直在用的清静能力依然有用,,,,,,,,我们不但要把古板的清静危害管控好,,,,,,,,这些能力有许多也可以直接复用到智能体和大模子上,,,,,,,,这一类要完整地用起来。。。。。。。
第二类,,,,,,,,要针对大模子和智能体新增的清静问题,,,,,,,,对应增添响应的清静手段,,,,,,,,好比,,,,,,,,在智能体会见中遵照最小权限原则,,,,,,,,做到一次一授权、历程可纪录可回溯。。。。。。。
第三类,,,,,,,,防护系统要分层,,,,,,,,要害操作由人来把关,,,,,,,,危害看得见、控得住,,,,,,,,AI就可以定心用。。。。。。。
大模子从“能用”迈向“敢用”——做到工具可管、权限可控、行为可断、数据可追
面临大模子从“能用”迈向“敢用、好用”的要害阶段,,,,,,,,李雪莹以为,,,,,,,,构建企业智能体清静防护系统,,,,,,,,要做到“工具是可管的,,,,,,,,权限是可控的,,,,,,,,行为是可断的,,,,,,,,数据是可追的”。。。。。。。详细来讲:
“工具可管”,,,,,,,,就是要能够看到所有不法的和未知的智能体,,,,,,,,并且能够对它举行识别,,,,,,,,对恶意举行阻断;;;;;;
“权限可控”,,,,,,,,就是对所有正当的智能体,,,,,,,,举行合理授权,,,,,,,,包括最小化授权,,,,,,,,最好是动态授权;;;;;;
“行为可断”,,,,,,,,就是关于智能体所有的操作行为,,,,,,,,要能够可见、可识别,,,,,,,,一旦发明有问题,,,,,,,,能够实时熔断和回滚;;;;;;
“数据可追”,,,,,,,,就是关于数据的所有操作,,,,,,,,要能够审计、能够追溯。。。。。。。
要做到上述这几点,,,,,,,,需要解决三个问题:
一是在面向智能体的清静能力上,,,,,,,,解决“看不全、看不清、看不细、管不深”这四个能力缺口;;;;;;
二是使用智能体之后,,,,,,,,整个管控要从资源层面延伸到使命和行动链层面,,,,,,,,也就是说,,,,,,,,一个智能体,,,,,,,,使命是什么、使命怎么妄想、历程当中怎么授权、操作了哪些数据、取得了什么样的效果,,,,,,,,对一整条链条要举行完整管控;;;;;;
三是大模子和智能体应用之后,,,,,,,,要;;;;;;さ墓ぞ弑涞酶嗔,,,,,,,,安排的清静手段和条理也增添了,,,,,,,,要解决的就是把这些能力放到一个统一的控制面上管控,,,,,,,,实现整个清静能力的完整闭环。。。。。。。
*文章泉源:灼烁网

京公网安备 11010802026257号