Jarsy は AI エージェントで金融リスク管理をどう作り直したか
パターン認識も防御策の開発もエージェントに任せたとき、リスク管理の組織はどんな形になるのか
この記事の目次
1. リスク管理の組織は引き継ぎを軸に組み立てられている2. 業界が20年かけて最適化してきたもの3. 7週間の実験4. 7週間のタイムライン5. 人に残るもの6. 評価:一人で承認に踏み切れる根拠は何か7. 当てはまらないこと8. 次のステップ注釈と出典今年8月から、Jarsy はまったく新しいやり方でリスク管理の仕組みを作っています。調査、照合、ルールの起草、コードの作成、リプレイによる検証は、すべてエージェントが行います。人が行うのはただ一つ、承認です。
私たちがこうしているのは、次のことを確信するようになったからです。リスク管理のボトルネックは、もともと検知ではなく、ルールを本番に出す速さでもなく、引き継ぎにあります。不正のパターンに気づく人と、それを防御策として書き上げられる人は、多くの場合、同じ人ではありません。
過去20年、業界全体がこの引き継ぎの連鎖の一つひとつを最適化してきました。ルールエンジンによってアナリストは自分でルールを本番に出せるようになり、特徴量ストアによってエンジニアは毎回パイプラインを書き直さずに済むようになり、自動再学習によってモデルは毎日更新できるようになりました。それでも、引き継ぎそのものがなくなったことはありません。新しいパターンは今も、アナリストからエンジニアへ、さらにデータサイエンティストへと渡されていきます。引き継ぎのたびに時間がかかり、情報が失われるおそれがあります。
引き継ぎがなくなったら、何が起きるのでしょうか。7週間の結果は次のとおりです。
8月末、他人の身分証を使ってアカウントを大量に登録し、紹介報酬をだまし取っているグループを見つけました。このアラートが明らかにしたのは、いくつかのルールの穴だけではなく、KYC フロー全体が抱えていた古い問題でした。この期間、人による KYC の決定(承認、拒否、取り消し)は、すべて同じ一人が署名しています。
1リスク管理の組織は引き継ぎを軸に組み立てられている
Afterpay は金融のリスク管理に非常に優れた会社で、後払い(BNPL)業界のベンチマークです。すべての注文は、決済の瞬間にリアルタイムの不正検知と返済能力のチェックを通ります。純取引損失は長年、売上高の1%未満に抑えられてきました1Afterpay、FY21 Annual Report、ASX、2021年8月25日。。私は2019年から2023年まで、5年近く Afterpay で働きました。担当した決済フローと分割払いローンのシステムはどちらもリスク管理チームと深く連携していて、この仕組みがどう動いているかを間近で見てきました。
Afterpay のリスク管理は、非常に細かく分業された組織でした。
- 不正対策、与信、加盟店リスクのアナリスト。問題を見つけ、方針を決めます。
- フィーチャーサイエンティスト。アナリストの判断を、計算できる特徴量に変えます。
- 特徴量プラットフォーム、リスク管理バックエンド、機械学習プラットフォームのエンジニア。特徴量とルールを本番のシステムにします。
- データサイエンティスト。モデルを学習させ、更新します。
新しいパターンは、通常次のように進みました。アナリストが毎日案件を見て傾向を探し、まず応急のルールを書いてしのぎます。次にフィーチャーサイエンスのチームと一緒に新しい特徴量を提案し、エンジニアリングチームに渡して実装と本番投入をしてもらいます。最後にモデルのチームが再学習します。メルボルン、シドニー、サンフランシスコ、上海に散らばった数十人が、決済時のたった一回のリアルタイム判断を一緒に支えていました。
これは成熟した、効果のある仕組みで、その結果は数字に表れています。しかし、その形を決めているのは引き継ぎです。専門の分業が一つ増えるたびに引き継ぎが一つ増え、引き継ぎのたびにスケジュールの調整が必要になり、情報が少しずつ失われるおそれがあります。
これは Afterpay に限った話ではありません。過去10年の各社のエンジニアリングブログを読み返すと、ほとんど同じ形が見えてきます。
- 発見するのは人。Stripe のエンジニアは、過去の攻撃一つひとつについて詳しい調査報告を書き、毎週会議を開いてダークウェブも含めた不正の傾向を話し合い、そこから新しい特徴量を考えていました。Uber の初期のリスク管理アナリストは、30日分のデータをさかのぼり、一つの行動を特徴量の分布に分解して、数百通りの組み合わせを試していました2Uber、「Engineering Uber Systems to Combat Fraud」、2016年6月30日。。Coinbase が2017年に摘発したあるグループは、メンバーがいつも同じ画面解像度を使っていることにアナリストが気づいたのが手がかりでした3「Risk at Coinbase」、QCon New York 2017 講演スライド。。
- コードにするのは別の人たち。Grab のアナリストはかつてルールを英語で書き、それをエンジニアがコードに翻訳していましたが、翻訳の段階で誤りが生じていました。Lyft では、サイエンティストとエンジニアのあいだで特徴量の定義をすり合わせるのに何か月もかかり、チームはそのために何度も「特徴量の作戦室」を開いていました4Lyft、「From shallow to deep learning in fraud」、2018年7月9日。。Airbnb のデータによれば、機械学習に携わる人は時間の60%をデータの準備に費やしていました5Airbnb、Zipline、Strata NY 2018 での講演。。
- 規模は人を増やしてまかなう。Revolut は2023年、金融犯罪対策チームが2,500人を超え、全従業員の3分の1以上を占めるようになったと発表しました6Revolut、「Revolut doubles financial crime headcount to combat rising industry fraud」、2023年。。
引き継ぎにはいつも、暗黙の前提があります。データを理解している人は本番のコードを書けず、コードを書く人にはデータを見る時間がない、という前提です。
2業界が20年かけて最適化してきたもの
この連鎖の各段階は、どれも真剣に最適化されてきました。
- ルールの本番投入。Uber の Mastermind によって、アナリストは数分で自らルールを本番に出せるようになりました。以前は、エンジニアが1時間かけて対応するのを待つ必要がありました。Grab の Griffin は、ルール変更1回にかかる時間を1週間から1分に縮めました7Uber、「Mastermind」、2017年3月8日;Grab、「Griffin」、2019年10月28日;Airbnb、「Chronon … is now open source」、2024年4月8日;Stripe、「Shepherd: How Stripe adapted Chronon」、2024年4月15日;Uber、「Project RADAR」、2022年2月1日。。
- 特徴量の開発。Airbnb の Zipline と、その後継の Chronon は、新しい特徴量一式の準備を数か月から1日程度に短縮しました。Stripe も後にこれを採用しています7Uber、「Mastermind」、2017年3月8日;Grab、「Griffin」、2019年10月28日;Airbnb、「Chronon … is now open source」、2024年4月8日;Stripe、「Shepherd: How Stripe adapted Chronon」、2024年4月15日;Uber、「Project RADAR」、2022年2月1日。。
- 自動での発見。Uber が2022年に発表した RADAR は、損失曲線の異常から候補となるルールを自動で掘り出し、アナリストの承認に回します7Uber、「Mastermind」、2017年3月8日;Grab、「Griffin」、2019年10月28日;Airbnb、「Chronon … is now open source」、2024年4月8日;Stripe、「Shepherd: How Stripe adapted Chronon」、2024年4月15日;Uber、「Project RADAR」、2022年2月1日。。
どれも本物の進歩です。しかし、これらが最適化したのは引き継ぎのコストであって、引き継ぎそのものをなくしたわけではありません。新しいパターンは、やはりまず誰か一人の目に留まらなければなりません。そして、その人に何が見えるかは、ほかの誰かが事前にどんな特徴量を用意しておいたかに左右されます。
37週間の実験
AI を中心に据えたこのリスク管理システムを設計するにあたり、私たちは一つの原則を定めました。
リスク管理のうちエージェントに任せられることはすべてエージェントに任せ、人は承認だけを行う。
7週間で、この原則は次のように実践されてきました。
- 8月26日以降、KYC とリスク管理に関わる29件のコード変更は、すべてエージェントが書き、人がレビューしてマージしています。
- アカウントの取り消しはすべて、エージェントが証拠とリストを起草し、人がバッチごとに確認してから実行しています。
- 調査はエージェントが主導します。本番データの読み取り専用ビューの上で裏付けを取り、照合し、レポートを書きます。どう位置づけ、どう対処するかは人が決めます。
システムは3層で構成されています。
- ルール層。判断を必要としない明確な矛盾を処理する、決定論的なルールの集まりです。この層が持つ権限はただ一つ、申請を止めることです。誰かを承認することは決してできません。
- 審査エージェント。すべての申請を、一つのモデルが最初から最後まで審査します。身分証を読み取って検証し、閉じた読み取り専用ツール群を通じて、プラットフォーム上のほかのアカウントと照合することもできます。結論は「通過」「停止」「人へのエスカレーション」のいずれかです。ただし、最終的な結論はコードが担保します。必須のチェックが行われていなかったり、ルール層がすでにその申請を止めていたりすれば、エージェントが「通過」と言っても無効です。
- 集団監査エージェント。一件ずつ見れば問題のない申請でも、問題が人の集まり、つまり人と人との関係に潜んでいることがあります。Jarsy では不定期に紹介報酬キャンペーンを実施しています。既存のユーザーが友人を招待し、その友人が本人確認を通過すると、招待した人が報酬を受け取れる仕組みです。この種のキャンペーンには、報酬を大量に不正取得しようとする人が自然と集まってきます。集団監査は、キャンペーンごとの精算と報酬の支払いの前に、そのキャンペーンの参加者全員をまとめて見ます。誰と誰がつながっているのか、そのつながりはどう生まれたのか、集団として見て本物のユーザーらしいかどうか。そのうえで、取り消し、保留、維持の提案を、証拠を添えて出します。関係の推論は、まさに従来のモデルが最も苦手とする部分です。Revolut が今年公開した研究では、ユーザーごとにモデル化する取引基盤モデルが、マネーロンダリング対策のような関係性の問題で、同社の既存の本番システムを47%下回りました8Revolut Research、NVIDIA、PRAGMA、arXiv 2604.08649、2026年4月(v2:2026年8月)。。これまでこの部分は、経験豊富なアナリストが一件ずつ見ていくしかありませんでしたが、今はエージェントに任せています。
人はどこにいるのでしょうか。各層の出口です。止められた申請は人が裁定し、取り消しリストは人がバッチごとに承認し、ルールやコードの変更はどれも人がマージします。
データと決定の境界。エージェントが何を見て何をできるかは、あらかじめコードで決められています。データを読めるのはその読み取り専用ツール群を通じてだけで、記録を書き換えることはできません。呼び出しているのは Anthropic の商用 API で、商用の利用規約により、これらのデータがモデルの学習に使われることはありません。決定にも境界があります。機械にできるのは通すか止めるかだけで、申請を拒否するのは常に人です。申請者に不利な決定には、必ず誰か一人の署名があります。
47週間のタイムライン
| 日付 | 何が起きたか | 誰がやったか |
|---|---|---|
| 8月26日 | アラート。最初の紹介報酬キャンペーンの精算前に、監査エージェントが身分証ファーム、つまり他人の身分証をまとめて使ってアカウントを大量に登録するグループを発見。同じ招待者の下にある一群の新規アカウントに、複数の観点で大量生産の痕跡があった。当日、対処に必要な取り消し機能は、提案から本番での初使用まで約4時間。1回目の取り消しを実行し、この調査は再利用できる監査手法としてまとめられた | エージェントが調査・コード作成人が取り消しをバッチごとに承認 |
| 8月27日 | このアラートを起点に、KYC の再構築に着手。学んだパターンをルール層として固め、モデルを1回呼び出すだけの古いフローを、ツールを使う審査エージェントに置き換え | エージェントが要件とコードを作成 |
| 8月29日 | 新しいルール層、審査エージェント、評価ツールをリリースし、新エンジンはその日のうちに本番で申請を処理。2回目の取り消し。取り消されたアカウントの招待コードを自動で回収 | エージェントが作成人がレビュー・マージ |
| 9月1日 | 決定の監査証跡をリリース。機械と人のあらゆる決定について、誰が何に基づいて行ったかを時系列でたどれる | エージェントが作成人がレビュー・マージ |
| 9月4日 | まったく新しい身分証の撮影フローをリリース。アプリ内での撮影、ライブネス検知、顔照合をすべて新エンジンに接続。アラートから9日目に、KYC フロー全体の再構築が完了 | エージェントが作成人がレビュー・マージ |
| 9月22〜28日 | 2回目の紹介報酬キャンペーンで、報酬を払って人を集めるグループが出現。集団監査が6日目に発見し、取り消しを提案(第5節で詳しく説明) | エージェントが発見チームが判断人が取り消しを承認 |
| 9月23日 | 審査エージェントを新世代のモデルに切り替え。切り替えの前に、人による決定のサンプルでリプレイ比較を実施 | エージェントが評価人が決定 |
| 10月7日 | チームが原則を決定:単一の異常シグナルは証拠にならない | 人 |
この表で最も注目すべきなのは、「誰がやったか」の列です。
従来の連鎖なら、8月26日の身分証ファームはおそらくこう進んだはずです。アナリストが異常に気づき、調査報告を書いてチケットを切る。エンジニアがスケジュールを組み、そのうちいくつかのパターンをルールにする。データサイエンティストが、特徴量を追加すべきか、再学習すべきかを評価する。各ステップのあいだには、必ず順番待ちがあります。
この連鎖が端から端までどれくらいかかるのかを公開した会社はありません。公開されているのは、そのうちの一段階が短縮された後の数字だけです。Grab はルール変更1回を1週間から1分に、Airbnb は新しい特徴量一式の準備を数か月から1日程度に縮めました。しかし、連鎖全体を合わせるとどれだけかかるのかを報告した人はいません。
Jarsy では、発見から防御策の本番投入まで3日でした。そのあいだに、チケットもスケジュール調整もありません。グループを調査したエージェントのセッションと、ルールのコードを書いたエージェントのセッションは、同じ事実をもとに動いていました。
さらに速いループは、コードの変更すら必要としません。あるアカウントが取り消されると、それに関連する後続の申請はルール層によって自動的に止められ、人の確認に回されます。取り消しという行為そのものが、次の判断の証拠になるのです。
一つのアラートが、再構築の引き金になりました。あの身分証ファームが明らかにしたのは、いくつかのルールの穴だけではなく、KYC フロー全体が抱えていた古い問題でした。
- ユーザーがアップロードしていたのはカメラロールの画像で、その場で撮影したものではなかった。
- モデルは1回呼び出されるだけで、ツールもなく、ほかのアカウントを調べることもできなかった。
- 機械の決定も人の決定も、記録が残っていなかった。
従来の組織なら、企画を立ててスケジュールを組み、いくつものチームをまたいで調整する、四半期がかりのプロジェクトです。私たちは9日で終えました。アラート後の9日間で、KYC のバックエンドには関連する PR が24件マージされました。要件定義、設計、実装から、ステージング環境での検証、独立したレビューまで、すべてエージェントが行いました。人が行ったのは、各段階の承認と、本番に出す前の毎回のゴーサインです。
リスク管理で得た知見が、次のキャンペーンの設計を直接書き換えました。キャンペーンごとの振り返りが、次回のやり方を直接決めています。誰を招待するか、どのアカウントを除外するか、どんな行動を報酬の対象外にするか、リストの規模をどこまで広げられるか。リスト規模の上限は、予算ではなく、人による審査がこなせる量で決めています。従来の組織では、こうした知見はリスク管理チームからグロースチームへ渡さなければなりません。私たちのところでは、振り返りと次回の設計が同じループから生まれます。
その背景には、同じく「引き継ぎをなくす」ことを軸に設計した、もう一つの開発プロセスがあります。それ自体が、次回の記事のテーマです。
5人に残るもの
調査とコーディングをエージェントに任せると、人の仕事は三つに絞られます。どれについても、この7週間の具体例を挙げることができます。
1. 何を不正とみなすかを決める。9月末の2回目の紹介報酬キャンペーンで、監査エージェントは、ある招待者が5日間で一群の新規ユーザーを連れてきたことに気づきました。全員が実在の人物で、本物の身分証を使っており、一人ずつ見れば何の問題もありません。しかしまとめて見ると、これらのアカウントの振る舞いは明らかに本物のユーザーらしくありませんでした。続いてエージェントは、この招待者が公開のウェブに出していた投稿を見つけました。登録すれば報酬がもらえ、その半分を渡す、という内容です。これは不正でしょうか。一人ひとりは実在の個人ですが、彼らの KYC の記録は実質的に買われたものです。これはポリシーの判断であって、パターン認識の問題ではありません。9月28日、チームは「報酬を払って人に登録させることは、審査通過の記録を買うことと同じである」と決めました。その後、エージェントが取り消しを実行しました。
逆向きの例もあります。10月7日、チームは「単一の異常シグナルは証拠にならない」という原則を定めました。インフルエンサーが動画を一本出せば、一日で本物の登録がまとまって入ってくることもあります。異常に見えるものが、不正だとは限りません。
2. 承認する。取り消しのバッチごとに、まずエージェントがリスト、証拠、取り消しによって支払いが減る報酬の額を示し、人がバッチごとに確認します。前のバッチを確認したからといって、次のバッチを自動で実行してよいことにはなりません。
3. 責任を負う。この7週間、人による KYC の決定はすべて同じ一人が署名しました。どの決定も監査証跡に記録されます。誰が行ったのか、何に基づいたのか、機械のどの結論を覆したのか。
決定権をルールとして書き出すと、次のとおりです。
- ルール層は申請を止めることしかできず、承認はできない。
- エージェントが結論を出し、コードがそれを執行する。必須のチェックが行われていなければ、結論は自動的に格下げされる。
- 取り消し、ルールの変更、コードの変更には、どれも一人の署名がある。
その直接の結果として、今いちばん遅いのは人です。申請が提出されてから機械が結論を出すまでの中央値は1.4分。止められた申請が人の裁定を受けるまでの中央値は21時間です。ボトルネックは「見つけること」と「コードにすること」から、「承認すること」へ移りました。
OpenAI は harness engineering の記事で、マージのゲートは少ないほどよいと主張しています9OpenAI、「Harness engineering」。。金融において、私たちの立場はちょうど逆です。エージェントがなくすのはゲートとゲートのあいだの引き継ぎであり、人が守るのはゲートそのものです。
6評価:一人で承認に踏み切れる根拠は何か
引き継ぎの連鎖では、品質は何人もの手を経ることで担保されていました。アナリストが見て、エンジニアが見て、データサイエンティストが見て、それから本番に出す。連鎖がなくなれば、そうした目もなくなります。エージェントが出してきたものの承認に一人で踏み切れる根拠は、評価しかありません。金融の業務では、アルゴリズムの変更一つひとつが、それ自体監査されるべき変更です。
最先端の AI ラボは、エージェントの評価について多くの知見を公開しています。Anthropic が今年1月に公開した「Demystifying evals for AI agents」10Anthropic、「Demystifying evals for AI agents」、2026年1月9日。、OpenAI の SWE-bench Verified11OpenAI、SWE-bench Verified、2024年8月。、HealthBench12OpenAI、HealthBench、2025年5月。、GDPval13OpenAI、GDPval、2025年9月。、そして Coinbase が2026年10月に公開した不正対策エージェントの評価14Coinbase、「Part one: how Coinbase built, evaluated and post-trained a fraud agent」;Coinbase、「Owning Intelligence, Part 2」、2026年10月7日。は、いくつかの原則にまとめられます。私たちは自分たちのやり方を一つずつ照らし合わせました。
| ラボのやり方 | 私たちのやり方 | まだできていないこと |
|---|---|---|
| 実際の失敗から、少ないサンプルで始める。Anthropic は、実際の失敗から集めた20〜50件のタスクがあれば始めるには十分で、その後継続的に増やしていけばよいとしています | 評価セットは、本番で人がすでに裁定した申請から層別に抽出しています。人が拒否したもの、機械が自動で通したもの、機械が止めた後に人が通したものです | 本番で新たに見逃したケースが、自動で新しい評価ケースになる仕組みはまだありません |
| コードで採点できるなら、モデルでは採点しない。モデルを審判に使うなら、まず分野の専門家と較正します。HealthBench も GDPval も、専門家を使ってモデルの審判を較正しています | 身分証の番号と機械読取領域(MRZ)にはチェックディジットがあるので、正しく読めたかどうかはコードが判定し、人によるラベル付けは要りません。現時点では、モデルを審判には使っていません | チェックディジットが証明するのは「正しく読めた」ことだけで、「身分証が本物である」ことではありません。アルゴリズムは公開されているので、偽造者も正しいチェックディジットを計算できます |
| モデルより先に、問題を検証する。SWE-bench Verified はプロのエンジニアに全問を見直してもらい、元の問題セットの68%が除外されました11OpenAI、SWE-bench Verified、2024年8月。 | エージェントと人の結論が食い違ったら、まず人のラベルを見直します。実際に一度、人が見落とした偽造の痕跡をエージェントが見つけたことがあります | ラベルの多くは一人が裁定しただけで、二人による独立した見直しはまだできていません |
| 評価が「答えを見る」のを防ぐ。Anthropic は、モデルが BrowseComp で自分がテストされていると推測し、答えを探しにいくことを見つけました15Anthropic、「Eval awareness」、2026年3月6日。 | リスク管理でこれに当たるのは「未来を見る」ことです。私たちのリプレイツールは、申請が提出された時点ですでに存在したデータしかエージェントに見せません。結果は二つの数字で報告します。その時点で捕捉できた数と、最終的に捕捉できた数です | — |
| 平均だけでなく、一貫性と最悪のケースを見る。同じ問題を何度か実行し、毎回正解するかを確かめます(Anthropic の pass^k、HealthBench の worst-of-n) | 結論が分かれたケースは繰り返し実行します。撮影のチェックでは「毎回同じ結論になる」割合を集計しています | 評価セット全体について、一貫性の割合を体系的に報告するところまではできていません |
| 新しいモデルが良いとは限らない。アップグレードのたびに回帰テストを通す。Coinbase は三つのモデルファミリーをテストし、どれも新しいバージョンのほうが自社の不正検知ベンチマークで後退しました | モデルを切り替える前に、同じルールとプロンプトのもとで新旧のモデルをリプレイします | 「変更のたびに自動で実行する」流れにはまだ組み込めていません。サンプルは数十件しかなく、大きな後退は見つけられても、小さな改善は見つけられません |
具体例:9月のモデルアップグレード
審査エージェントを Opus 5 から Opus 5.5 に切り替える前に、上の原則に沿ってリプレイを行いました。
- 評価セット。人がすでに裁定した本番の申請48件を、「人の結論」と「当時の機械の結論」によって3層に分けました。そのうち人が拒否した4件はルール層の段階で止められていたため、モデルを試すものではなく、別に集計しています。
- 変える変数は一つだけ。プロンプト、ツール、ルール層、コードによる担保はすべてそのままです。Claude には「推論の強さ」(effort)というパラメータがあり、モデルが答えを出す前にどれだけ考えるかを決めます。段階が高いほど慎重になりますが、そのぶん遅く、高くもなります。Opus 5 の既定値は high、Opus 5.5 の既定値は一段低い medium です。モデルだけを変えるために、Opus 5.5 を旧モデルと同じ high に明示的に固定しました。既定値の medium は、別のグループとして単独でテストしています。
- 採点方法。読み取り専用のリプレイです。身分証の読み取りはチェックディジットで採点しました。結論が分かれた拒否ケース3件は、グループごとにさらに3回ずつ再実行しました。
| 層 | この層での誤りが意味すること | Opus 5 · high(現行) | Opus 5.5 · high | Opus 5.5 · medium |
|---|---|---|---|---|
| 人が拒否し、モデルが判断した申請(9) | 見逃し。最もコストの高い誤り | 8/9 | 7/9 | 7/9 |
| 人が承認し、当時そのまま通された申請(20) | 誤停止。人による審査が1回増える | 19/20 | 18/20 | 19/20 |
| 人が承認したが、当時は止められた申請(15) | 過度に保守的。本来は人が見る必要がなかった | 8/15 | 11/15 | 10/15 |
| 全48件のうち、人の結論と一致した数 | 39 | 40 | 40 |
データ表を表示
| リプレイの結果 | 件数 |
|---|---|
| 両方正解 | 36 |
| Opus 5 のみ正解 | 3 |
| Opus 5.5 のみ正解 | 4 |
| どちらも不正解 | 5 |
| 合計 | 48 |
| Opus 5 · high | Opus 5.5 · high | Opus 5.5 · medium | |
|---|---|---|---|
| 身分証番号が完全に正しい | 17/17 | 17/17 | 17/17 |
| パスポートの MRZ が完全に正しい | 10/10 | 10/10 | 9/10 |
| 生年月日が完全に正しい | 33/36 | 33/36 | 33/36 |
データ表を表示
| Opus 5 · high | Opus 5.5 · high | Opus 5.5 · medium | |
|---|---|---|---|
| 審査1件あたりの平均コスト | 0.232ドル | 0.146ドル | 0.131ドル |
| 所要時間の中央値 | 58秒 | 30秒 | 26秒 |
| 平均出力トークン数 | 4,334 | 2,673 | 2,078 |
| 未完了の審査 | 0 | 0 | 0 |
三つの表の読み方。総得点の39対40からは何もわかりません。私たちが見たのは、同じケースに対する二つのモデルの食い違いです。結論が分かれたのは7件で、旧モデルが正しかったのが3件、新モデルが4件。統計的な差はありません。見逃しの欄は8/9から7/9に下がり、後退したように見えます。しかし再実行してみると、どのモデルでも安定しない境界ケースで、3回のうち2回は通してしまうものでした。こうしたケースこそ、回帰テストのセットに最も入れておくべきものです。求められるのは、ある1回に正しく判断することではなく、毎回正しく判断することだからです。結論として、判断の質は同等、過度に保守的な申請は3件減り、コストは37%下がり、所要時間は半分になりました。私たちは Opus 5.5 · high を本番に採用しました。
最後に、評価は一つの層にすぎません。本番環境そのものも、評価のシグナルを出し続けています。機械が通した後に人が取り消した割合、人が機械の結論を覆した割合、そして覆したときの理由は、すべて監査証跡に記録されています。これらがリプレイによる評価と合わせて、かつて引き継ぎの連鎖の各段階にあった目の代わりを務めています。
7当てはまらないこと
- 量。私たちの処理量は、大手フィンテック企業とは桁が違います。人による裁定の中央値21時間は、私たちの量なら許容できますが、量が1〜2桁増えれば通用しません。そのときは、機械が直接決める範囲を広げるか、人による承認にも段階を設ける必要があります。
- レイテンシ。KYC は非同期なので、一つの申請を数十秒と十数セントをかけてじっくり見ることができます。決済の承認に許される時間は100ミリ秒以内で、このやり方をそのまま持ち込むことはできません。Coinbase の取引審査エージェントが取引の一部しか見ていないのも、それが理由です。
- ラベル。不正の真相がわかるのは、今も遅いままです。エージェントは仮説をすばやく立てられますが、仮説の検証には結果を待つしかありません。
- 一人が署名すること自体もリスクです。この7週間、人による決定はすべて一人にかかっていました。この組織の形が機能することを示すと同時に、今のところ単一障害点を抱えていることも示しています。
- 規制。銀行業のガバナンスの枠組みの中で、リスク管理のモデルがどう位置づけられるかは、まだ定まっていません。米国の規制当局が2026年4月に出した新しい指針は、生成 AI とエージェント型 AI を、明確に次回の意見募集に回しました。
8次のステップ
自己進化。今のところ、このシステムを改善するには、誰かがきっかけを作る必要があります。人が結論を覆したり、監査が新しいグループを見つけたりすると、誰かがエージェントのセッションを開いて指示やルールを変更します。次は、進化がひとりでに起こるようにしたいと考えています。ただし、どのステップも人が承認するまでは先に進まないようにします。進め方は3段階を考えています。
- まず、指示とルールを進化させる。毎週、エージェントがその週の機械と人の食い違いを読み、反省型のプロンプト進化の手法を使って、過去のケースでより良い審査指示を探索します。その結果をルールの修正と合わせて、人の承認を待つ変更(pull request)として出し、リプレイの比較を添えます。どのケースが良くなり、どのケースが悪くなったか、です。この種の手法の代表例が GEPA16GEPA、arXiv 2507.19457(ICLR 2026 口頭発表)。 で、100〜200件程度のサンプル規模ですでに強化学習を上回る効果を上げており、今の私たちのラベルの量にちょうど合っています。
- 次に、探索を広げる。ラベルがさらに蓄積したら、複数の候補バージョンを同時に評価します。まず実際のトラフィックに沿ってシャドーで動かし、性能を確かめてから切り替えます。
- 最後に、自前のモデルを学習させる。ある狭い判断について、確定した実際の結果が十分に蓄積したら、強化学習で専用の小さなモデルを学習させ、補助的なシグナルとして使います。Coinbase は2026年10月にこの道筋を公開しました。実際の不正の結果で学習させた90億パラメータのオープンウェイトモデルが、同社のベンチマークで Opus を上回ったのです14Coinbase、「Part one: how Coinbase built, evaluated and post-trained a fraud agent」;Coinbase、「Owning Intelligence, Part 2」、2026年10月7日。。この道に足りないのは計算資源ではなく、大量の信頼できるラベルであり、それこそ私たちがまだ持っていないものです。
どのステップまで進んでも、動かさない線がいくつかあります。採点の基準は固定し、オプティマイザは採点方法にも、最終確認のために取っておくテストセットにも触れられません。リプレイでは、申請の時点ですでにあったデータしか見られません。そして、どの進化も、読めて、監査できて、ロールバックできる変更であり、人が承認して初めて本番に出ます。
本人確認からプラットフォーム全体へ。今のシステムがカバーしているのは本人確認の層だけです。次は、これをプラットフォーム上のすべてのリスク領域に広げます。リスク管理の単位も「一件の申請」から「一人の人」に変わります。同じ人のアカウント、デバイス、銀行口座、ウォレットを一つのエンティティにまとめ、本人確認、関係、資金、行動を一つの案件の中で判断します。
- オフチェーンとオンチェーンの資金の出入り。入金元のスクリーニング、出金先のスコアリング、ウォレットの所有者の確認、署名前の取引シミュレーション。こうした機能は市場ですでに成熟しているので、自前では作らずに購入します。私たちがやるべきことは、エージェントがこれらの外部のスコアを、私たち自身が持つ本人確認と関係のデータと同じ案件の中で合わせて判断できるようにすることです。
- プラットフォーム内の経済行動。この層では、外部のベンダーは助けになりません。価格決定と精算の仕組みは私たちが自分で設計したもので、その抜け穴の突き方を定義できるのは私たち自身だけだからです。9月には、エージェントを使ってプラットフォームの価格決定と精算を全面的に監査し、ルールの抜け穴を突く可能性のある手口を何種類か、一つずつ洗い出しました。結論として、体系的な抜け穴の悪用は見つかりませんでしたが、ルール自体が特定の行動に有利に働く箇所がいくつか見つかり、のちに精算の仕組みの変更につながりました。次のステップは、この監査を一度きりのものから継続的なものに変えることです。
範囲が広がるほど、いっそうエージェントには任せないことがいくつかあります。制裁リストによるブロックは決定論的なルールで行います。署名、払い出し、価格と精算の計算は、再現可能なコードでなければなりません。エージェントにできるのは取引の審査を一段増やすことだけで、どの審査も緩めることはできません。ユーザーに不利な最終的な処分は、常に人が決めます。また、あらゆる操作(マニピュレーション)を見抜けるとも主張しません。業界最大のオンチェーン分析企業でさえ、見つけているのは「パターン」であって「意図」ではないと言っています。出金を実際にブロックできるようになるまでは、本人確認から資金までを一貫して守れているとは言いません。
私たちの賭け
- 2027年半ばまでに、Jarsy のリスク管理から「パターンを別の人に渡して実装してもらう」というステップはなくなります。発見、コーディング、検証からリリースまで、防御策の変更はすべて、エージェントが起草し、リプレイの結果を添え、人が承認する変更になります。
- 2027年末までに、同じエージェント群がプラットフォーム上のすべてのリスク領域をカバーします。本人確認から、オンチェーンとオフチェーンの資金の出入り、そしてプラットフォーム内の取引行動までです。
- さらに先の2029年までに、ほとんどの金融リスク管理チームの形が変わると私たちは考えています。チームの人数は事業量に比例して増えるのではなく、その会社がどれだけの判断を必要とするかで決まるようになります。リスク管理チームの中核となる能力は、「発見とコーディング」から「定義、承認、説明責任」へと移っていきます。
注釈と出典
-
Afterpay、FY21 Annual Report、ASX、2021年8月25日。 ↩
-
Uber、「Engineering Uber Systems to Combat Fraud」、2016年6月30日。 ↩
-
「Risk at Coinbase」、QCon New York 2017 講演スライド。 ↩
-
Lyft、「From shallow to deep learning in fraud」、2018年7月9日。 ↩
-
Revolut、「Revolut doubles financial crime headcount to combat rising industry fraud」、2023年。 ↩
-
Uber、「Mastermind」、2017年3月8日;Grab、「Griffin」、2019年10月28日;Airbnb、「Chronon … is now open source」、2024年4月8日;Stripe、「Shepherd: How Stripe adapted Chronon」、2024年4月15日;Uber、「Project RADAR」、2022年2月1日。 ↩ ↩2 ↩3
-
Revolut Research、NVIDIA、PRAGMA、arXiv 2604.08649、2026年4月(v2:2026年8月)。 ↩
-
OpenAI、「Harness engineering」。 ↩
-
Anthropic、「Demystifying evals for AI agents」、2026年1月9日。 ↩
-
OpenAI、SWE-bench Verified、2024年8月。 ↩ ↩2
-
OpenAI、HealthBench、2025年5月。 ↩
-
Coinbase、「Part one: how Coinbase built, evaluated and post-trained a fraud agent」;Coinbase、「Owning Intelligence, Part 2」、2026年10月7日。 ↩ ↩2
-
Anthropic、「Eval awareness」、2026年3月6日。 ↩
著者
この記事を引用する
BibTeX
@article{jarsy2026airiskcontrol,
author = {Chunyang Shen},
title = {Jarsy は AI エージェントで金融リスク管理をどう作り直したか},
journal = {Jarsy Engineering},
year = {2026},
month = oct,
url = {https://engineering.jarsy.com/ja/posts/ai-risk-control/}
}