Jarsy 用 AI agent 重建金融风控

从今年 8 月起，Jarsy 用一种全新的方式构建自己的风控体系：调查、比对、起草规则、写代码、回放验证，都交给 agent 完成；人只做一件事，批准。

我们这样做，是因为越来越相信：风控的瓶颈从来不是检测，也不是规则上线的速度，而是交接。看见一个欺诈 pattern 的人，和能把它写成防线的人，往往不是同一个人。

过去二十年，整个行业都在优化这条交接链上的每一环：规则引擎让分析师自己就能上线规则，特征库让工程师不用每次重写管线，自动重训让模型每天都能更新。但交接本身从来没有消失。一个新 pattern 仍然要从分析师传到工程师，再传到数据科学家，每一次交接都要花时间，都可能丢信息。

当交接消失以后，会发生什么？七周下来：

8 月底，我们发现一个团伙在用他人的证件批量注册账号，骗取邀请奖励。这次警报暴露的不只是几条规则的缺口，而是整个 KYC 流程的老问题。这期间所有人工 KYC 决定（批准、拒绝、撤销），都由同一个人签字。

一风控组织是围绕交接搭起来的

Afterpay 是金融风控做得非常好的一家公司，在先买后付这个行业里是标杆。每一笔订单在结账那一刻，都要先过一遍实时的反欺诈和还款能力检查；净交易损失长期控制在销售额的 1% 以内^{1Afterpay，FY21 Annual Report，ASX，2021-08-25。}。2019 年到 2023 年，我在 Afterpay 工作了将近五年，做的结账流程和分期贷款系统都和风控团队有很深的合作，近距离看过这套体系是怎么运转的。

Afterpay 的风控是一个分工非常细的组织：

• 反欺诈、信用和商户风险的分析师，负责发现问题、制定策略；
• 特征科学家，把分析师的判断变成可以计算的特征；
• 特征平台、风控后端和机器学习平台的工程师，把特征和规则变成线上系统；
• 数据科学家，训练和更新模型。

一个新 pattern 通常这样走：分析师每天看案件、找趋势，先写一条应急规则顶上；再和特征科学团队一起提出新特征，交给工程团队实现上线；最后由模型团队重训。几十个人分布在墨尔本、悉尼、旧金山和上海，共同支撑结账时的那一次实时决策。

这是一套成熟而有效的体系，它的结果摆在那里。但它的形状是由交接决定的：每多一种专业分工，就多一次交接；每一次交接都要排期，都可能丢掉一点信息。

这不是 Afterpay 一家的情况。翻一遍过去十年各家公司的工程博客，能看到几乎一样的形状：

• 发现靠人。Stripe 的工程师会给过去的每一次攻击写详细的调查报告，每周开一次会，讨论包括暗网在内的欺诈趋势，然后从里面想新特征。Uber 早期的风控分析师会翻 30 天的数据，把一种行为拆成特征分布，试几百种组合^{2Uber，“Engineering Uber Systems to Combat Fraud”，2016-06-30。}。Coinbase 2017 年抓到的一个团伙，线索是分析师注意到他们始终用同一个屏幕分辨率^{3“Risk at Coinbase”，QCon New York 2017 演讲幻灯片。}。
• 编码靠另一群人。Grab 的分析师曾经用英文写规则，再交给工程师翻译成代码，翻译时会出错。Lyft 的科学家和工程师之间，特征定义来回对齐要几个月，团队为此反复开“特征作战室”^{4Lyft，“From shallow to deep learning in fraud”，2018-07-09。}。Airbnb 的数据显示，做机器学习的人 60% 的时间花在准备数据上^{5Airbnb，Zipline，Strata NY 2018 演讲。}。
• 规模靠堆人。Revolut 2023 年宣布金融犯罪团队已经超过 2,500 人，占员工总数三分之一以上^{6Revolut，“Revolut doubles financial crime headcount to combat rising industry fraud”，2023。}。

每一次交接，都隐含着一个假设：看懂数据的人写不了生产代码，写代码的人没有时间看数据。

二行业二十年在优化什么

这条链上的每一环都被认真优化过：

• 规则上线。Uber 的 Mastermind 让分析师几分钟就能自己上线规则，以前要等工程师花一个小时。Grab 的 Griffin 把一次规则变更从一周缩到一分钟^{7Uber，“Mastermind”，2017-03-08；Grab，“Griffin”，2019-10-28；Airbnb，“Chronon … is now open source”，2024-04-08；Stripe，“Shepherd: How Stripe adapted Chronon”，2024-04-15；Uber，“Project RADAR”，2022-02-01。}。
• 特征开发。Airbnb 的 Zipline 和后来的 Chronon，把准备一套新特征从几个月缩到一天左右，Stripe 后来也用上了它^{7Uber，“Mastermind”，2017-03-08；Grab，“Griffin”，2019-10-28；Airbnb，“Chronon … is now open source”，2024-04-08；Stripe，“Shepherd: How Stripe adapted Chronon”，2024-04-15；Uber，“Project RADAR”，2022-02-01。}。
• 自动发现。Uber 2022 年的 RADAR 能从损失曲线的异常里自动挖出候选规则，再交给分析师审批^{7Uber，“Mastermind”，2017-03-08；Grab，“Griffin”，2019-10-28；Airbnb，“Chronon … is now open source”，2024-04-08；Stripe，“Shepherd: How Stripe adapted Chronon”，2024-04-15；Uber，“Project RADAR”，2022-02-01。}。

这些都是真正的进步。但它们优化的是交接的成本，没有取消交接。新 pattern 依然要先被一个人看见；而这个人能看见什么，受限于别人事先替他做好了哪些特征。

三一个七周的实验

我们在设计这套以 AI 为中心的风控系统时，定下了一条原则：

风控里能交给 agent 的都交给 agent，人只批准。

七周下来，这条原则是这样落地的：

• 8 月 26 日以来，KYC 和风控相关的 29 次代码改动提交，全部由 agent 编写，再由人审核合并。
• 每一次账号撤销，都由 agent 起草证据和名单，由人逐批确认后执行。
• 调查以 agent 为主：它在生产数据的只读视图上查证、比对、写报告；定性和处置由人决定。

系统分三层：

1. 规则层。一组确定性的规则，处理那些不需要判断的硬性冲突。这一层只有一种权力：把申请停下来。它永远不能批准任何人。
2. 审核 agent。每个申请都交给一个模型完整审一遍。它读证件、校验证件，也可以通过一组封闭的只读工具，和平台上的其他账号做交叉比对。它给出结论：通过、停下，或者升级给人判断。但最终结论由代码兜底：必须做的检查没做，或者规则层已经停下了这个申请，agent 说“通过”也不算数。
3. 群体审计 agent。每个申请单看都可能没问题，问题出在一群人身上，出在人与人之间的关系上。Jarsy 不定期会做邀请奖励活动：老用户邀请朋友注册，对方通过身份认证后，邀请人就能拿到奖励。这类活动天然会吸引批量刷奖励的人。群体审计在每次活动结算、发奖之前，把这次活动的所有参与者放在一起看：谁和谁有关联，这些关联是怎么形成的，一群人放在一起像不像真实的用户。然后给出撤销、暂缓或保留的建议，附上证据。关系推理恰恰是传统模型最弱的地方：Revolut 今年公开的研究显示，逐个用户建模的交易基础模型，在反洗钱这类关系型问题上，表现比他们原有的生产系统差 47%^{8Revolut Research 与 NVIDIA，PRAGMA，arXiv 2604.08649，2026-04（v2：2026-08）。}。以前这部分只能靠资深分析师一个个去看，现在交给了 agent。

人在哪？人在每一层的出口：被停下的申请由人裁决，撤销名单由人逐批批准，任何规则或代码的改动由人合并。

数据和决定的边界。agent 能看到什么、能做什么，都由代码事先划定：它只能通过那组只读工具读取数据，不能改动任何记录；它调用的是 Anthropic 的商业 API，按商业条款，这些数据不会被用于训练模型。决定也有边界：机器只能放行或停下，拒绝一个申请永远由人来做，任何对申请人不利的决定，都有一个人签字。

四七周时间线

这张表里最该注意的，是“谁做的”这一列。

按传统的链条，8 月 26 日那个证件农场大概会这样走：分析师发现异常，写调查报告，开工单；工程师排期，把其中几条规律写成规则；数据科学家评估要不要加特征、要不要重训。每一步之间都有排队。

没有哪家公司公开过这条链从头到尾要多久。公开过的，只有其中某一环被缩短以后的数字：Grab 把一次规则变更从一周缩到一分钟，Airbnb 把准备一套新特征从几个月缩到一天左右。可整条链加起来要多久，从来没有人报过。

在 Jarsy，从发现到防线上线用了三天，中间没有工单，也没有排期。调查团伙的 agent 会话和写规则代码的 agent 会话，用的是同一份事实。

更快的一条回路甚至不需要改代码：一个账号被撤销以后，和它有关联的后续申请，会被规则层自动停下来交给人看。撤销这个动作本身，就成了下一次判断的证据。

一次警报，触发的是一次重建。那个证件农场暴露的不只是几条规则的缺口，而是整个 KYC 流程的老问题：

• 用户上传的是相册里的图片，不是当场拍摄的；
• 模型只调用一次，没有工具，也查不了别的账号；
• 机器和人的决定都没有留下记录。

在传统组织里，这是一个要立项、排期、跨好几个团队协调的季度项目。我们用了九天：警报后九天里，KYC 后端合并了 24 个相关的 PR，从需求、设计、实现，到在预发环境验证、独立评审，都由 agent 完成。人做的，是每个阶段的审批，和每一次上生产前的放行。

风控的经验，直接改写了下一期活动的设计。每一期活动的复盘，都直接决定了下一期怎么做：邀请谁参加，哪些账号排除在外，什么行为不计入奖励，名单能放多大。名单规模的上限按人工审核能消化的量来定，而不是按预算。在传统组织里，这些经验要从风控团队传到增长团队；在我们这里，复盘和下一期的设计出自同一个回路。

这背后是另一套同样围绕“消除交接”设计的研发流程。它本身是我们下一篇文章的主题。

五人还留着什么

当调查和编码都交给 agent，人的工作收缩成三件事。每一件我们都能举出这七周里的具体例子。

1. 决定什么算欺诈。9 月底的第二次邀请奖励活动里，审计 agent 发现一个邀请人在五天里拉来了一批新用户。这些人都是真人，用的都是真证件，单看每一个都挑不出毛病；但放在一起看，这批账号的行为明显不像真实用户。随后，agent 在公开网络上找到了这个邀请人发的帖子：注册就给奖励，奖励分你一半。这算不算欺诈？每个人都是真实的个体，但他们的 KYC 记录实际上是被买来的。这是一个政策判断，不是一个模式识别问题。9 月 28 日，团队决定：付费招人注册，等同于购买过审记录。agent 随后执行了撤销。

反过来的例子也有。10 月 7 日，团队定下一条原则：单一的异常信号不构成证据。一个 KOL 发一条视频，一天就能带来成批的真实注册；看起来异常的，未必是欺诈。

2. 批准。每一批撤销，都是 agent 先给出名单、证据和撤销后少发多少奖励，人逐批确认。上一批确认过，不代表下一批可以自动执行。

3. 问责。这七周里，所有人工 KYC 决定都由同一个人签字。每一个决定都写进审计轨迹：谁做的，依据是什么，推翻了机器的哪个结论。

决策权写成规则，就是这几条：

• 规则层只能把申请停下，不能批准。
• agent 给出结论，代码执行；必做的检查没做，结论自动降级。
• 撤销、改规则、改代码，每一项都有一个人签字。

这样做的一个直接后果是：现在最慢的环节是人。一个申请从提交到机器给出结论，中位数 1.4 分钟；一个被停下的申请等到人来裁决，中位数 21 小时。瓶颈已经从“看见”和“编码”，移到了“批准”。

OpenAI 在他们的 harness engineering 文章里主张合并关口越少越好^{9OpenAI，“Harness engineering”。}。在金融里，我们的立场正好相反：agent 消除的是关口之间的交接，人守住的是关口本身。

六评估：一个人敢批准，靠的是什么

在交接链上，质量靠的是层层经手的人：分析师看过，工程师看过，数据科学家看过，再上线。链条没了，这些眼睛也就没了。一个人敢批准 agent 交上来的东西，靠的只能是评估。在金融业务里，算法的每一次改动，本身就是一次需要被审计的变更。

前沿 AI 实验室在评估 agent 这件事上已经公开了很多经验。Anthropic 今年 1 月的《Demystifying evals for AI agents》^{10Anthropic，“Demystifying evals for AI agents”，2026-01-09。}、OpenAI 的 SWE-bench Verified^{11OpenAI，SWE-bench Verified，2024-08。}、HealthBench^{12OpenAI，HealthBench，2025-05。} 和 GDPval^{13OpenAI，GDPval，2025-09。}，加上 Coinbase 2026 年 10 月公开的欺诈 agent 评估^{14Coinbase，“Part one: how Coinbase built, evaluated and post-trained a fraud agent”；Coinbase，“Owning Intelligence, Part 2”，2026-10-07。}，可以归纳成几条。我们逐条对照了自己的做法：

一个具体的例子：9 月的模型升级

我们把审核 agent 从 Opus 5 换到 Opus 5.5 之前，按上面这些原则做了一次回放。

• 评估集。48 个已经由人裁决过的生产申请，按“人工结论”和“当时的机器结论”分成三层。其中 4 个人工拒绝的申请在规则层就被停下了，不考模型，单独计算。
• 只换一个变量。提示、工具、规则层、代码兜底全部不变。Claude 有一个“推理强度”（effort）参数，决定模型在给出答案前想多少，档位越高越仔细，也越慢、越贵。Opus 5 默认是 high，Opus 5.5 默认是低一档的 medium。为了只换模型，我们把 Opus 5.5 显式固定在和旧模型相同的 high；它的默认值 medium 另外单独作为一组来测。
• 判分方式。只读回放。证件读取用校验位判分。三个出现分歧的拒绝案例，每组再重跑三次。

怎么读这三张表。总分 39 对 40 说明不了什么，我们看的是两个模型在同一批案例上的分歧：7 个案例结论不同，旧模型对 3 个，新模型对 4 个，统计上没有差异。漏放那一格从 8/9 降到 7/9，看起来像退步；重跑之后发现，涉及的是任何模型都拿不稳的边界案例，三次里总有两次会放行。这类案例正是回归集里最该有的用例：要求的不是某一次判对，而是每一次都判对。结论是判断质量持平，过度保守的申请少了三个，成本降了 37%，耗时减半。我们上线了 Opus 5.5 · high。

最后，评估只是其中一层。生产本身也在持续出评估信号：机器放行后又被人撤销的比例、人推翻机器的比例、每一次推翻的理由，都写在审计轨迹里。它们和回放评估一起，替代了以前交接链上那些层层经手的眼睛。

七什么不适用

• 量。我们的处理量和大型金融科技公司不在一个量级。人工裁决中位数 21 小时，在我们的量上可以接受；量上去一两个数量级就不行了。到那时，要么让机器直接决定的范围更大，要么人的审批也要分级。
• 延迟。KYC 是异步的，可以花几十秒、十几美分认真看一个申请。支付授权的预算是 100 毫秒以内，这套做法不能直接搬过去。Coinbase 的交易审核 agent 只看一部分交易，原因就在这里。
• 标签。欺诈的真相依然来得慢。agent 提假设可以很快，验证假设还是要等结果。
• 一个人签字，本身也是风险。这七周所有的人工决定都压在一个人身上。它说明这个组织形态能跑，也说明它目前还有单点。
• 监管。风控模型在银行业的治理框架里怎么定位，还没有定论；美国监管机构 2026 年 4 月的新指引，明确把生成式和 agentic AI 留给了下一轮征询。

八下一步

自我演化。今天，这套系统的改进还需要一个人发起：人工推翻了一个结论，或者审计发现了新团伙，然后有人开一个 agent 会话去改指令或规则。下一步，我们要让演化自己发生，但每一步仍然停在人的批准之前。我们打算分三步走：

• 先演化指令和规则。每周，agent 读这一周机器和人之间的分歧，用反思式的提示词演化方法，在历史案例上搜索更好的审核指令，连同规则的修改一起，开成一份等待人审批的改动（pull request），附上回放对比：哪些案例变好了，哪些变坏了。这类方法的代表是 GEPA^{16GEPA，arXiv 2507.19457（ICLR 2026 口头报告）。}，在一两百个样本的规模上，效果已经超过了强化学习，正好匹配我们现在的标签量。
• 再扩大搜索。标签积累得更多以后，同时评估多个候选版本，先让它们跟着真实流量影子运行，确认表现后再切换。
• 最后训练自己的模型。当某一个窄的判断积累了足够多已经成熟的真实结果，我们会用强化学习训练一个专门的小模型，作为补充信号。Coinbase 在 2026 年 10 月公开了这条路：用真实欺诈结果训练的 90 亿参数开放权重模型，在他们的基准上超过了 Opus^{14Coinbase，“Part one: how Coinbase built, evaluated and post-trained a fraud agent”；Coinbase，“Owning Intelligence, Part 2”，2026-10-07。}。这条路缺的不是算力，而是大量可信的标签，这正是我们现在还没有的。

无论走到哪一步，有几条线不会动：判分标准是固定的，优化器碰不到判分方式，也碰不到留作最终检验的测试集；回放时只能看到申请当时已有的数据；每一次演化都是一份可读、可审计、可回滚的改动，由人批准后才上线。

从身份到全平台。今天这套系统只覆盖身份这一层。下一步，我们要把它扩展到平台上的每一个风险面，风控的单位也从“一次申请”变成“一个人”：同一个人的账户、设备、银行账户和钱包归到同一个实体下，身份、关系、资金和行为放进同一个案件里判断。

• 链下和链上的资金进出。入金来源筛查、出金目的地评分、钱包归属验证、签名前的交易模拟，这些能力市场上已经很成熟，我们会去买，不会自己造。我们要做的，是让 agent 把这些外部分数，和我们自己掌握的身份与关系数据放进同一个案件里一起判断。
• 平台内的经济行为。这一层外部厂商帮不上忙：我们的定价和结算机制是自己设计的，钻它空子的方式只有我们自己能定义。9 月，我们已经用 agent 对平台的定价结算做过一次全面审计，逐一排查了几类可能钻规则空子的手法。结论是没有发现系统性的钻空子，但发现了几处规则本身会偏向某类行为的地方，后来推动了结算机制的修改。下一步是把这种审计从一次性的变成持续的。

扩得越宽，有几件事越不会交给 agent：制裁名单的拦截是确定性的规则；签名、放款、价格和结算的计算，必须是可复现的代码；agent 只能让一笔交易多一道审查，不能放松任何一道；对用户不利的最终处置，永远由人决定。我们也不会声称能识别所有操纵：连行业里最大的链上分析公司，也只说它找到的是“模式”，而不是“意图”。在出金真正有拦截之前，我们不会说自己已经做到了从身份到资金的全程保护。

我们的押注

• 到 2027 年中，Jarsy 的风控里不再有“把一个 pattern 交给另一个人去实现”这一步。从发现、编码、验证到上线，每一次防线的改动，都是一份由 agent 起草、附带回放结果、由人批准的改动。
• 到 2027 年底，同一套 agent 会覆盖平台上所有的风险面：从身份认证，到链上链下的资金进出，再到平台内的交易行为。
• 再往远看，到 2029 年，我们相信大多数金融风控团队的形状都会改变：团队的人数不再随业务量线性增长，而是取决于这家公司需要做多少判断。风控团队的核心能力，会从“发现和编码”变成“定义、批准和问责”。