← 返回博客

三层可控性:DesireCore 如何让你真正「敢用」AI 智能体

引言:AI 时代的信任鸿沟

我们正处在一个充满矛盾的时代。

一方面,AI 的能力已经远超大多数人的想象。大语言模型可以撰写法律合同、分析财务报表、编写生产级代码、策划营销方案——这些能力在两年前还被认为是天方夜谭。另一方面,在企业的实际生产环境中,AI 的采用率远低于人们的预期。麦肯锡的调查数据显示,尽管超过 70% 的企业已经在”尝试” AI,但真正将 AI 部署到核心业务流程中的不足 15%。

这中间的巨大落差,不是技术能力的问题,而是信任的问题。

让我们换一个角度来思考这件事。假设你新招了一位非常聪明的员工,简历上写满了顶尖学历和丰富经验,面试表现也无可挑剔。但是,当你把他安排到工位上之后,你发现:你无法看到他在做什么——他的办公室门永远是关着的;你无法限制他的权限——他拿到了公司所有系统的最高级别访问权;你无法撤销他的操作——他做的每一个决定都是不可逆的。

在这种情况下,即使这位员工的能力再强,你敢把核心业务交给他吗?

答案显然是否定的。这就是今天绝大多数人面对 AI 智能体时的真实处境。

问题的本质不在于”AI 能不能做好这件事”,而在于”我敢不敢让 AI 来做这件事”。能力是信任的必要条件,但远非充分条件。信任还需要透明度控制力容错能力

DesireCore 从诞生之初,就将这个信任问题作为产品设计的核心命题。我们没有选择用”AI 很安全”这样的口号来安抚用户,而是构建了一套系统化的三层可控性架构——可见(Visible)、可控(Controllable)、可逆(Reversible)——从机制层面确保用户对 AI 智能体拥有完整的掌控力。

这篇文章将深入解析这三层架构的设计理念、实现细节以及它们协同运作的方式,帮助你理解:为什么信任不是承诺出来的,而是设计出来的。


第一部分:可见性——让 AI 的每一步都在阳光下

1.1 为什么可见性是信任的基石

在管理学中有一个经典的原则:“你无法管理你看不见的东西。” 这个原则在 AI 智能体的场景中同样成立,甚至更为关键。

可见性四维度

传统的 AI 聊天工具给用户提供的是一个”黑盒”体验——你输入一个问题,AI 输出一个答案。你不知道它是如何得出这个答案的,也不知道它在”思考”过程中参考了什么信息、做了哪些判断、排除了哪些可能。这种黑盒模式在简单的问答场景中或许可以接受,但当 AI 开始执行复杂的多步骤任务时,黑盒模式就变得完全不可接受了。

想象一个场景:你让 AI 智能体帮你处理一批客户数据——清洗格式、识别异常值、生成分析报告。如果你只能看到最终的报告,但完全不知道 AI 在过程中对原始数据做了什么处理,那么你如何判断这份报告是否可信?它有没有错误地删除了某些数据?它的异常值判断标准是否合理?它是否误操作了原始数据库?

你无从知晓。而当你无从知晓时,你就不敢依赖这个结果。

这就是为什么可见性是信任的第一层基石。DesireCore 的可见性设计,不是简单地展示一个”正在处理中…”的进度条,而是让 AI 的每一个行为、每一个决策、每一次操作都暴露在用户的视野之下。

1.2 四维可见性设计

DesireCore 的可见性从四个维度展开,每个维度解决一个核心问题:

实时状态可见——“AI 现在在做什么?”

在 DesireCore 中,每个 AI 智能体的当前状态都是实时可观察的。当你把一个任务委派给智能体之后,你可以随时打开它的工作面板,看到它正处于任务的哪个阶段:是在收集信息、分析数据、调用工具,还是在等待外部服务的响应。这种实时状态的透明性,就像你可以随时走到那位新员工的工位前,看看他正在做什么。

这种可见性带来的价值是双重的。首先,它消除了等待过程中的焦虑感——你不再需要盯着一个空白的屏幕猜测 AI 是不是卡住了。其次,它让你能够在问题发生的早期就发现端倪——如果 AI 似乎走上了一条错误的路径,你可以立刻介入,而不是等到最后才发现整个任务的结果完全偏离了预期。

决策过程可见——“AI 为什么做这个决定?”

仅仅知道 AI “在做什么”还不够,用户往往更想知道它”为什么这样做”。DesireCore 提供了决策过程的完整可见性:AI 的每一个关键决策点,都会展示它的决策依据——它参考了哪些规则、考量了哪些因素、如何在多个选项中做出取舍。

比如说,当 AI 在一份合同中标记出某个条款存在风险时,它不会只给出一个红色警告,而是会告诉你:“根据你设定的风险评估规则,该条款中的’不可抗力’定义范围过窄,与行业标准相比缺少了’政府行为’和’供应链中断’两个常见场景,这可能在特定情况下对我方不利。” 这种决策透明性让用户可以评估 AI 的判断质量,而不是被迫无条件信任它。

修改内容可见——“AI 改了什么?”

当 AI 需要对文件或数据进行修改时,DesireCore 采用了 diff 形式的变更展示——红色标记删除的内容,绿色标记新增的内容。这种展示方式对于软件开发者来说非常熟悉(它本质上就是代码审查中的 diff 视图),但 DesireCore 将这种直观的变更展示带到了所有类型的内容中,包括文档、配置文件、数据表等。

diff 展示的核心价值在于:它让用户可以精确地知道 AI 做了哪些改动,而不需要逐字逐句地对比修改前后的完整文件。这大幅降低了审查成本,也使得用户更愿意委派”修改类”任务给 AI——因为审查改动只需要几秒钟,而不是几十分钟。

工具调用可见——“AI 用了什么工具?”

AI 智能体与传统 AI 聊天机器人的最大区别之一,在于它们可以调用外部工具——搜索引擎、数据库、API 接口、文件系统等等。这些工具调用是 AI 行为中最需要被关注的部分,因为它们涉及到与真实世界的交互。

DesireCore 完整地展示了每一次工具调用的详情:调用了哪个工具、传入了什么参数、返回了什么结果。用户可以看到 AI 是如何使用这些工具的,从而判断它的操作是否合理。比如,如果 AI 在查询客户数据库时使用了一个过于宽泛的查询条件,用户可以立即发现这个问题,而不是等到 AI 拿到了一堆不相关的数据之后才意识到哪里出了错。

1.3 可见性的类比:开着门工作的员工

回到我们开头的那个比喻。可见性就像那位员工主动把办公室的门打开了——你随时可以看到他在做什么,他也不介意你看。这不是因为你不信任他,而是因为透明是高效协作的基础。事实上,最优秀的员工往往是最主动展示工作进展的人,因为他们对自己的工作质量有信心,也理解透明度对于团队信任的重要性。

DesireCore 的 AI 智能体也是如此。完整的可见性不是对 AI 的”监控”,而是建立信任的主动姿态。


第二部分:可控性——精细化的权限管理体系

2.1 从”全有或全无”到”精准分级”

如果说可见性解决的是”我能看到什么”的问题,那么可控性解决的是”我能决定什么”的问题。

权限分级控制面板

在大多数 AI 产品中,权限控制要么不存在,要么极其粗粒度——你要么给 AI 完全的自由,要么完全不用它。这就好比你要么给员工一张可以打开公司所有门的万能门禁卡,要么就不让他进公司大门。在现实中,没有任何一家运行良好的公司会采取这种极端做法。

DesireCore 引入了一套精细化的权限分级体系,让用户可以根据操作的风险等级和自己的信任程度,为 AI 设定恰当的行为边界。

2.2 三级权限分类

DesireCore 的权限系统建立在三个级别之上:

Allow(自动许可)

标记为 allow 的操作,AI 可以自主执行,无需向用户请示。这适用于那些风险极低、用户完全信任 AI 处理的操作。比如,读取公开的文档、查询公共数据库、格式化文本输出等。将这些低风险操作设为自动许可,可以让 AI 流畅地执行任务,避免不必要的交互中断。

Ask(每次询问)

标记为 ask 的操作,AI 在执行之前必须向用户确认。这适用于那些有一定风险但又不至于完全禁止的操作。比如,修改文件内容、发送邮件、调用付费 API 等。每次执行这类操作之前,AI 会暂停执行,向用户展示它打算做什么,等待用户明确批准后才继续。

这种”询问”机制的设计非常关键。它不是简单地弹出一个”确认/取消”的对话框,而是提供了足够的上下文信息,让用户可以做出明智的判断:AI 打算执行什么操作、为什么要执行这个操作、这个操作的预期影响是什么。用户在了解完整信息后,可以选择批准、拒绝或修改 AI 的操作计划。

Deny(自动拒绝)

标记为 deny 的操作,AI 被完全禁止执行。即使在任务流程中需要执行这类操作,AI 也会自动跳过并寻找替代方案,或者向用户说明它无法完成某个步骤。这适用于那些用户认为绝对不应该由 AI 来执行的操作——比如删除生产环境的数据、修改访问权限设置、执行不可逆的金融交易等。

2.3 实时中断能力

除了事前的权限设定,DesireCore 还提供了事中的实时中断能力。用户可以在 AI 执行任务的任何时刻暂停或终止它的操作。

这个功能看似简单,但在实践中至关重要。任务的执行环境是动态变化的——可能在 AI 开始工作后,你收到了新的信息,意识到当前的任务方向需要调整;或者你在实时状态面板中看到 AI 正在做一些你没有预期到的操作,需要立刻叫停。

DesireCore 的实时中断不是简单的”停止生成文本”——在传统聊天 AI 中,点击停止按钮只是中断了文本的生成,AI 之前已经执行的操作不受影响。但在智能体场景中,AI 的操作是有实际后果的——它可能已经调用了外部工具、修改了文件、发送了请求。DesireCore 的中断机制确保在用户点击暂停时,当前正在执行的操作会被安全地中止,已经完成的操作会被清晰地记录下来,等待用户的下一步指令。

2.4 人闸门机制

在某些场景中,用户可能无法提前预知哪些操作是高风险的——因为风险往往取决于具体的上下文。DesireCore 为此设计了”人闸门”(Human Gate)机制:在工作流的关键节点设置自动暂停点,要求用户亲自审查和确认后才能继续。

人闸门与 ask 权限的区别在于粒度不同。Ask 权限是针对某一类操作的通用设置,而人闸门是针对某个特定流程中某个特定步骤的精确控制。例如,你可能设定”修改文件”这类操作为 allow(因为大多数文件修改是安全的),但同时在”最终发布上线”这个关键步骤设置了人闸门——无论 AI 在之前的步骤中多么流畅地执行,到了这一步它必须停下来等你确认。

这种”流程中嵌入审批节点”的设计,让用户既享受到了 AI 自动化的效率,又不会失去对关键决策的控制权。

2.5 规则可配:构建你自己的安全策略

DesireCore 的权限系统不是一刀切的预设方案,而是一个高度可配置的框架。用户可以根据自己的需求,灵活地定义权限规则。例如:

  • “允许读取任何文件,但写入文件必须经过我的确认”
  • “允许调用搜索引擎,但禁止访问内部数据库”
  • “允许修改草稿文档,但正式文档的任何修改都需要审批”
  • “允许发送内部消息,但对外邮件必须由我确认”

这些规则可以组合、叠加、继承,形成一套完整的安全策略。不同的智能体可以有不同的权限配置——处理日常事务的助手可以拥有较宽松的权限,而处理敏感数据的分析师则应该受到更严格的限制。

2.6 可控性的类比:给员工不同级别的门禁卡

回到我们的类比。可控性就像给不同的员工分发不同级别的门禁卡——实习生可以进入办公区但不能进机房,普通员工可以进机房但不能进数据中心,只有核心团队才能进入数据中心。而且,即使你给了某位员工进入数据中心的权限,在他执行关键操作时,监控系统也会要求他刷二次认证。

这不是不信任,而是合理的安全管理。越重要的资产,越需要精细的权限控制。


第三部分:可逆性——从”不可撤销”到”多级撤销”

3.1 为什么可逆性如此重要

即使有了完美的可见性和可控性,错误仍然是不可避免的。这不是对 AI 能力的质疑——即使是最优秀的人类员工,在复杂的工作环境中也会犯错。关键不在于是否会犯错,而在于犯错之后能否快速、低成本地恢复

四级回滚能力示意

在传统的 AI 工具中,可逆性几乎是不存在的。AI 生成了一段文本,如果你不满意,只能重新生成;AI 执行了一个操作,如果结果不对,你只能手动去修复。更糟糕的是,在很多场景中,AI 的操作是不可逆的——它发出的邮件无法撤回,它删除的数据无法恢复,它修改的配置无法回到之前的状态。

这种”不可逆性”是 AI 信任困境中最后也是最关键的一环。想想看:如果你知道一个决定一旦做出就无法撤回,你会如何对待这个决定?你会变得极度谨慎,反复核实每一个细节,宁可自己亲自做也不愿委托给别人。这正是很多用户面对 AI 智能体时的心态——因为害怕不可逆的后果,所以宁可不用。

DesireCore 通过多级撤销机制,从根本上改变了这个局面。

3.2 四级回滚体系

DesireCore 提供了四个层级的回滚能力,覆盖了从最细粒度到最大范围的所有场景:

Patch 级别——逐步回滚

最细粒度的回滚发生在单次操作的层面。如果 AI 对一个文件做了一处修改,你可以精确地撤销这一处修改,而不影响同一任务中的其他操作。这就像文档编辑中的 Ctrl+Z——撤销一步操作。

Patch 级别的回滚特别适用于那些 AI 做了一系列修改但其中只有个别修改不符合你预期的场景。你不需要推翻整个任务的结果,只需要撤销那几处不满意的改动。

Turn 级别——按轮回滚

Turn 级别的回滚对应的是一轮完整的对话交互。在 DesireCore 中,一次 Turn 通常包含用户的一条指令和 AI 响应这条指令的所有操作。如果你发现 AI 在响应你的某条指令时整体方向走偏了,你可以将系统状态回滚到这条指令发出之前,然后重新给出一条更明确的指令。

Turn 级别的回滚解决了一个常见问题:用户给出的指令不够清晰,导致 AI 理解有误,做了一堆无用甚至有害的操作。在传统工具中,你只能手动撤销所有这些操作;在 DesireCore 中,一次 Turn 回滚就能回到正确的起点。

Session 级别——会话回滚

Session 级别的回滚将系统状态恢复到当前会话开始之前。这适用于更严重的情况——比如你给智能体分配了一个错误的任务,或者整个工作方向需要重新调整。

Session 回滚的价值在于它提供了一个安全的”重置点”。无论这个会话中发生了什么,你都可以回到会话开始前的状态,就好像这次会话从未发生过一样。这给了用户极大的心理安全感——即使是最大胆的尝试,也有一个可靠的退路。

版本快照——历史版本恢复

最高层级的回滚是版本快照。DesireCore 会在智能体的关键变更点自动创建快照,用户也可以手动创建快照。当需要恢复到某个历史版本时,只需选择对应的快照即可。

版本快照的设计参考了软件开发中的版本控制系统(如 Git),但针对 AI 智能体的场景做了大量简化和优化。用户不需要理解 commit、branch、merge 这些技术概念,只需要选择一个时间点,点击”恢复”就可以了。

3.3 回滚的技术保障

实现多级回滚不仅仅是功能设计的问题,更是底层架构的挑战。DesireCore 在这方面做了大量的技术投入:

  • 操作日志的完整记录:AI 的每一步操作都被详细记录,包括操作类型、操作对象、操作前的状态和操作后的状态。这些日志是回滚操作的基础。
  • 状态快照的高效存储:系统在关键时间点创建状态快照,采用增量存储策略避免过大的空间占用。
  • 原子操作设计:尽可能将复杂操作拆分为原子操作,确保每一步都可以被独立地撤销或重做。
  • 外部效果的隔离:对于涉及外部系统交互的操作(如发送请求、写入数据库),DesireCore 尽量采用”暂存-确认”的两阶段模式,在用户确认之前不会真正产生外部效果。

3.4 可逆性的类比:覆盖所有行为的”撤销”功能

如果可见性是”开着门工作”,可控性是”发放门禁卡”,那么可逆性就是为所有行为安装了一个全面的”撤销”功能——不管员工做了什么,你都可以把他做的事情恢复原状。有了这个保障,你就不再害怕让他去尝试新的工作方法或者处理未知的情况,因为你知道,最坏的情况也不过是按一下”撤销”。

这种心理安全感,是解锁 AI 生产力的关键钥匙。


第四部分:三者的协同——为什么缺一不可

4.1 三层架构的系统性

三层可控性不是三个独立的功能,而是一个有机协同的系统。任何一层的缺失,都会导致整个信任体系出现致命的漏洞。

仅有可见性,没有可控性——被迫旁观

想象一个场景:你可以清楚地看到 AI 正在做什么,但你无法阻止它。你看着它一步步走向错误的方向,却只能眼睁睁地看着,无能为力。这不是信任,这是折磨。可见性如果没有可控性的配合,反而会增加用户的焦虑感——“我明明看到了问题,但我什么都做不了。”

这种情况在某些 AI 产品中确实存在。它们提供了详尽的日志和状态展示,但用户除了”停止”之外没有任何干预手段。结果就是,用户在任务开始前变得更加犹豫——他们已经预见到了自己可能成为无助旁观者的场景。

仅有可控性,没有可逆性——犯错代价过大

即使你拥有完善的权限控制和中断能力,如果 AI 已经执行的操作无法撤回,你仍然会非常谨慎。因为在你发现问题并点击中断的那一刻,AI 可能已经做了一些无法逆转的事情——发送了错误的邮件、修改了关键数据、生成了带有问题的报告并提交给了客户。

没有可逆性的可控性,就像一个只有刹车但没有倒挡的汽车——你可以在危险之前停下来,但如果已经开过了头,你就回不去了。这种模式下,用户会把每一步都当作”不可撤销的决定”来对待,结果就是效率大幅降低。

仅有可逆性,没有可见性——不知何时施救

如果你有完美的回滚能力,但无法看到 AI 正在做什么,那你怎么知道什么时候需要回滚?等你发现结果不对时,可能已经过去了很长时间,涉及了大量的操作,回滚的成本变得非常高。

缺少可见性的可逆性,就像有一个万能的”撤销”按钮,但你必须等到事情已经搞砸了才能按——你不知道事情什么时候开始出问题的,也不知道应该撤销到哪一步。

4.2 三层协同的正循环

当三层同时存在时,它们创造了一个正向的信任循环:

  1. 可见性让你及时发现问题——“这步似乎不太对。”
  2. 可控性让你立即采取行动——“暂停,让我看看。”
  3. 可逆性消除你的后顾之忧——“即使问题比我想的严重,我也能恢复。”

这个循环的结果是:用户敢于委派更复杂的任务给 AI,因为他们知道自己始终拥有完整的掌控力。随着委派的任务越来越多,用户对 AI 能力的了解越来越深,信任也在不断积累。这就形成了一个良性循环——信任促进使用,使用加深信任。


第五部分:步骤类型系统——固化、灵活与人闸门的精妙设计

5.1 并非所有步骤都应该被同等对待

在实际的工作流程中,不同步骤的性质差异巨大。有些步骤是高度确定性的,每次执行的方式都完全一样——比如”将文件从 A 文件夹移动到 B 文件夹”;有些步骤则需要根据上下文进行判断——比如”分析这份报告并提出改进建议”;还有些步骤涉及重大决策,必须由人类来最终拍板——比如”决定是否批准这笔交易”。

DesireCore 通过三种步骤类型来区分这些不同性质的操作:

固化步骤(Solidified Steps)

固化步骤就像流水线上的工序——完全确定、完全可预测、完全可重复。AI 在执行固化步骤时没有自主判断的空间,它严格按照预定义的规则和流程执行。

固化步骤的价值在于其确定性。用户可以百分之百地预测 AI 在这些步骤中会做什么,因此不需要对这些步骤进行监督。这大幅减少了用户的认知负担——你只需要在最开始设定好规则,之后就可以完全信任 AI 的执行。

典型的固化步骤场景包括:数据格式转换、文件分类归档、定时报表生成、固定模板填充等。这些任务的共同特点是:输入和输出的关系是确定的,不需要创意或判断。

灵活步骤(Flexible Steps)

灵活步骤允许 AI 在一定范围内自主判断和决策。与固化步骤不同,灵活步骤的输出不是预先确定的——AI 需要根据当前的上下文、可用的信息和既定的目标来做出最佳选择。

灵活步骤的设计体现了 DesireCore 对”自动化”与”智能化”之间平衡的理解。纯粹的自动化(所有步骤都固化)效率很高但不够灵活;纯粹的智能化(所有步骤都灵活)很灵活但不够可控。DesireCore 让用户选择在哪些环节需要 AI 的智能判断,在哪些环节只需要机械执行。

灵活步骤的典型场景包括:文本内容优化、客户问题分类、异常数据识别、策略方案推荐等。这些任务需要 AI 的理解力和判断力,但通过可见性机制(展示决策过程)和可控性机制(设定行为边界),用户仍然可以确保 AI 的灵活判断在可接受的范围内。

人闸门(Human Gate)

人闸门是工作流中的”强制审批点”。无论 AI 在之前的步骤中执行得多么顺畅,到达人闸门时它必须暂停,等待人类审查和确认。

人闸门的设置通常基于以下考量:

  • 不可逆性:该步骤一旦执行,结果难以撤回(如发布公告、执行交易)
  • 高影响性:该步骤的结果会影响重要的利益相关方(如向客户发送的正式文档)
  • 合规要求:法规或公司政策要求某些决策必须由人类做出
  • 边界情况:当 AI 遇到它的训练数据和规则库无法很好覆盖的边缘情况时

5.2 步骤类型的动态调整

DesireCore 的步骤类型不是一成不变的。随着用户对 AI 能力的信任逐渐增加,他们可以将某些步骤从”人闸门”降级为”灵活步骤”,甚至进一步降级为”固化步骤”。反过来,如果用户发现 AI 在某些步骤上的表现不够稳定,也可以将其升级为需要更多人类监督的类型。

这种动态调整反映了信任的渐进建立过程——信任不是一蹴而就的,而是通过反复的交互和验证逐步积累的。DesireCore 的设计允许这种渐进式的信任建立,而不是强迫用户在”完全信任”和”完全不信任”之间做二选一。


第六部分:回执系统——委派的最后一公里

6.1 从”任务完成”到”可验证的完成”

当你委派一个任务给人类同事时,他完成之后通常会给你一个工作汇报——做了什么、怎么做的、遇到了什么问题、最终结果如何。这个汇报不仅是信息的传递,更是责任的交接——通过汇报,你可以验证任务确实按照预期完成了。

DesireCore 的回执系统将这种”工作汇报”的机制系统化和结构化了。每当智能体完成一个被委派的任务,它会自动生成一份详细的回执报告。

6.2 回执的内容结构

一份完整的回执包含以下几个部分:

基本信息

  • 任务编号和名称
  • 开始时间和完成时间
  • 执行耗时
  • 委派者和执行者

任务概要

  • 原始任务描述
  • 实际执行情况的概要总结
  • 最终结果和交付物
  • 成功/部分完成/失败的状态标记

技术细节

  • 执行过程中调用的工具列表
  • 关键决策点及其判断依据
  • 使用的数据源和参考资料
  • 执行过程中遇到的异常和处理方式

学习记录

  • 在执行过程中新发现的模式或规律
  • 对未来类似任务的优化建议
  • 执行过程中触发的规则和策略

安全机制记录

  • 被权限系统阻止的操作
  • 触发人闸门审批的步骤
  • 风险评估的结果
  • 数据访问范围

6.3 回执的三大特性

DesireCore 的回执系统设计遵循三个核心原则:

不可变(Immutable)

回执一旦生成就不可修改。这确保了回执作为”审计证据”的可信度——你可以确信回执中的内容反映的是真实的执行情况,而不是事后被篡改或美化过的。不可变性对于合规审计、责任追溯和争议解决来说至关重要。

完整(Comprehensive)

回执覆盖了任务执行的全部关键信息,不会遗漏重要的细节。这意味着仅凭一份回执,审查者就能完整地了解任务是如何被执行的,而不需要去翻查其他日志或记录。

可信(Trustworthy)

回执中的信息来自系统的客观记录,而非 AI 的主观”回忆”。AI 可能会在文本生成中出现幻觉(编造不存在的信息),但回执系统中的数据直接来自系统日志和操作记录,绕过了 AI 的文本生成环节,确保了信息的真实性。

6.4 回执的价值

回执系统解决了 AI 委派中”最后一公里”的信任问题。它让用户不仅知道任务”完成了”,更知道任务”如何完成的”以及”完成得怎么样”。这种详细的结果交付,让用户可以:

  • 验证 AI 的执行是否符合预期
  • 发现 AI 执行过程中的潜在问题
  • 积累对 AI 能力边界的认知
  • 为未来的委派决策提供参考
  • 满足内部审计和合规要求

第七部分:与现有方案的对比——为什么传统方案不够

7.1 传统聊天 AI 的局限

传统的聊天 AI(如各种大语言模型的标准聊天界面)在可控性方面存在系统性的不足:

  • 行为可见性极低:用户只能看到最终的文本输出,无法观察 AI 的思考过程和中间步骤
  • 权限控制不存在:用户无法限制 AI 可以做什么——虽然 AI 也没有太多”做事”的能力,因为它主要只是生成文本
  • 实时中断有限:只能停止文本的生成,而且停下来之后无法精确控制恢复的位置
  • 回滚能力为零:不满意只能重新生成,无法部分撤销或选择性回滚

传统聊天 AI 之所以能够被接受,是因为它的”能力边界”天然就是安全的——它只是生成文本,不会对真实世界产生直接影响。但当 AI 升级为可以执行实际操作的智能体时,这种没有安全机制的模式就完全不可行了。

7.2 低代码/RPA 平台的局限

低代码和 RPA(机器人流程自动化)平台在可控性方面比聊天 AI 好得多,但仍然存在明显的不足:

  • 行为可见性受限于流程图:用户可以看到预定义的流程图,但当实际执行与流程图产生偏差时,透明度就大幅下降
  • 权限控制过于僵化:权限通常绑定在流程定义中,无法在运行时灵活调整
  • 实时中断能力有限:可以暂停整个流程,但无法精细地控制暂停后的恢复——是从头开始、从断点继续、还是跳过当前步骤
  • 回滚能力基本为零:大多数 RPA 平台只提供”重新执行”功能,不提供真正意义上的回滚——回滚要求系统能够撤销已经执行的操作,而不仅仅是重新跑一遍

7.3 对比总结

维度传统聊天 AI低代码/RPADesireCore
行为可见性仅输出文本流程图级别实时每步透明
权限控制固定流程绑定灵活三级分类
实时中断停止生成暂停流程任意操作级别
回滚能力重跑流程四级精细回滚
执行审计流程日志结构化回执
信任机制依赖口碑依赖流程设计系统性保障

DesireCore 的三层可控性架构不是对传统方案的渐进式改进,而是一种根本性的范式转变——从”限制 AI 的能力来保证安全”到”赋予用户完整的控制力来建立信任”。


第八部分:实际场景中的可控性——从理论到实践

8.1 场景一:合同审查

任务:AI 智能体审查一份 50 页的供应商合同,识别风险条款并提出修改建议。

可见性的体现

  • 用户可以实时看到 AI 正在阅读合同的哪个部分
  • 每当 AI 标记一个风险条款时,用户可以看到标记的理由(依据的法律法规、参考的行业标准、风险评估的逻辑链)
  • AI 在对比类似合同时,用户可以看到它选择了哪些合同作为参考样本

可控性的体现

  • 用户设定”AI 可以标注风险,但不能直接修改合同原文”
  • “最终风险评级”步骤设为人闸门——AI 给出初步评级,用户确认或调整后才生成最终报告
  • 如果 AI 需要查询外部法律数据库来验证某个条款,需要逐次获得用户授权

可逆性的体现

  • 如果用户发现 AI 对某个条款的风险评估过于激进(把正常条款标为高风险),可以撤销该条款的评估,让 AI 用调整后的参数重新评估
  • 如果整份报告的基调不符合预期,用户可以回滚到会话开始前,调整审查指令后重新开始

8.2 场景二:财务数据处理

任务:AI 智能体整理本月的应收账款数据,生成催款优先级列表,并起草催款邮件。

可见性的体现

  • 数据清洗过程中,用户可以看到 AI 对每条数据的处理方式——保留、修正还是标记为异常
  • 优先级排序过程中,AI 展示排序算法的核心因子(账龄、金额、客户信用等级、历史回款记录)和各因子的权重
  • 邮件起草过程中,用户可以看到 AI 参考的邮件模板和针对特定客户的个性化调整

可控性的体现

  • 数据读取设为 allow(低风险操作)
  • 数据修正设为 ask(需要用户确认每次修正是否合理)
  • 实际发送邮件设为 deny(AI 只起草,不发送)
  • “标记金额超过 100 万的应收款”步骤设为人闸门——大额款项的催收策略必须由人类确认

可逆性的体现

  • 如果催款优先级列表中某个客户的排位不合理,用户可以撤销该客户的评分,手动调整后让 AI 重新排序
  • 如果整个催收策略的方向需要调整(比如从”按账龄排序”改为”按回款概率排序”),用户可以回滚到策略设定环节

8.3 场景三:代码审查与修复

任务:AI 智能体审查一个 Pull Request 中的代码变更,发现潜在 bug 并提出修复方案。

可见性的体现

  • 用户可以看到 AI 正在分析哪些文件的变更
  • AI 标记潜在 bug 时,展示完整的推理过程——从代码逻辑分析到边界条件测试到具体的出错场景
  • AI 调用测试工具运行验证时,用户可以看到测试的输入、输出和对比结果

可控性的体现

  • 代码阅读和分析设为 allow
  • 编写测试用例设为 allow
  • 实际修改源代码设为 ask——AI 必须展示修改方案,用户批准后才执行
  • 合并到主分支设为 deny——代码合并必须由人类开发者完成

可逆性的体现

  • 如果 AI 的某个修复方案引入了新的问题,用户可以精确地撤销这个修改(Patch 级别),保留其他修复
  • 如果整个审查的方法论需要调整(比如 AI 过度关注代码风格而忽略了逻辑错误),用户可以回滚到审查开始前,调整审查重点后重新开始

8.4 场景四:客户服务工单处理

任务:AI 智能体处理当天的客户工单——分类、分配优先级、自动回复简单问题、升级复杂问题。

可见性的体现

  • 每个工单的分类过程对用户透明——AI 为什么把这个工单归为”技术问题”而不是”账户问题”
  • 自动回复的内容在发送前完整展示,包括引用的知识库条目
  • 升级决策的逻辑清晰可见——为什么 AI 认为这个问题需要升级

可控性的体现

  • 工单分类和优先级设定设为灵活步骤——AI 自主判断但结果可见
  • 自动回复设为人闸门——针对简单问题的模板化回复经确认后自动发送,经过一段时间的验证后可以降级为 allow
  • 复杂问题的升级路径设为固化步骤——严格按照预定义的升级规则执行
  • 退款操作设为 deny——AI 不能自行批准退款

可逆性的体现

  • 如果某个工单被错误分类,可以逐步撤销分类,重新分配
  • 如果一批工单的优先级策略需要调整,可以按轮回滚到策略设定前

第九部分:安全治理——系统层面的安全保障

9.1 四级风险分类系统

DesireCore 的安全治理不仅仅依赖于用户手动设定的权限,还内置了一套四级风险分类系统,自动评估每个操作的风险等级:

  • 第一级(低风险):只读操作、格式转换、信息查询等不会产生副作用的操作。AI 可以自主审批并执行。
  • 第二级(中低风险):创建新内容、生成报告等影响范围有限的操作。通常设为自动许可,但系统会记录详细日志。
  • 第三级(中高风险):修改现有数据、调用外部服务、发送通信等可能产生实质影响的操作。默认需要用户确认。
  • 第四级(高风险):删除数据、执行交易、修改权限设置等不可逆或高影响的操作。即使用户将其设为 allow,系统也会弹出二次确认。

这套风险分类系统与用户的自定义权限规则叠加使用,形成双重安全保障——即使用户忘记为某个操作设定限制,系统的风险分类也会提供兜底保护。

9.2 审计跟踪

DesireCore 的每一次操作都被完整记录在审计日志中。审计日志是不可篡改的、时间戳精确的、包含完整上下文的。这些日志不仅服务于事后追溯,也是回执系统的数据来源。

对于企业用户来说,完整的审计跟踪意味着:

  • 满足行业合规要求(金融、医疗、法律等受监管行业)
  • 支持内部审计和安全评审
  • 在出现问题时可以精确定位原因
  • 为优化 AI 的使用策略提供数据支持

9.3 数据安全

DesireCore 采用本地优先的数据存储策略。用户的数据、智能体的配置、对话历史和操作日志默认存储在用户的本地设备上,而不是上传到云端。对于需要云端协作的场景,数据在传输和存储过程中都经过加密处理。

这种设计选择反映了 DesireCore 在安全性方面的核心理念:用户的数据应该由用户自己掌控。我们不需要你的数据来改进我们的模型,也不需要你的数据来支撑我们的商业模式。你的数据就是你的数据。


总结:信任不是承诺出来的,是设计出来的

让我们回到这篇文章开头提出的核心问题:用户最大的障碍不是”AI 能否胜任”,而是”我是否敢让它做”。

DesireCore 的三层可控性架构——可见、可控、可逆——正是对这个问题的系统性回答:

可见性让你随时知道 AI 在做什么、为什么这样做,消除黑盒带来的不安感。就像一位主动敞开办公室门的员工,用透明赢得信任。

可控性让你精确地定义 AI 的行为边界,既不过度限制 AI 的能力(那样你还不如自己做),也不放任 AI 无约束地行动(那样你承担不起后果)。就像一套精心设计的门禁系统,让合适的人在合适的范围内做合适的事。

可逆性消除了”不可撤销”的恐惧,让你敢于让 AI 去尝试和探索,因为你知道,最坏的结果也只是按一下”撤销”。就像一张安全网,有了它你才敢走钢丝。

三者缺一不可。它们共同构成了一个完整的信任体系,让 AI 从”我知道它很强但我不敢用”变成”我可以放心地委派任务给它”。

信任不是靠一句”我们的 AI 很安全”就能建立的。信任是通过一次次可验证的行为、一层层可靠的保障、一个个可回溯的记录,逐步积累起来的。这是一个系统工程,需要从产品架构的最底层就开始考虑。

DesireCore 选择了这条更难但更正确的路。因为我们相信,只有当用户真正敢用 AI 的时候,AI 的潜力才能被真正释放出来。而让用户敢用的唯一方式,就是把控制权交到他们手中——不是口头上的承诺,而是写进代码里的保障。

这就是三层可控性的意义所在。它不只是一个功能列表,更是一种产品哲学:技术的力量应该为用户所掌控,而不是让用户为技术所不安。

如果你也认同这种理念,欢迎下载 DesireCore,亲自体验三层可控性带来的信任感。因为最好的说服,永远是亲身体验。