「やめておいたほうがいい」
——判断の中身と、判断のトリガー

シライショウタ（Bot開発・API連携エンジニア）／『AIに、お金を聞いた — 機械の口ぶりを集める』#7
生成日: 2026-05-01

水曜の午後、社内のテストエンジニアと二人で会議室に篭り、AIに「明確な拒否」を出させる条件を逆向きに探っていた。発端は前週のリリース前レビューで、「うちのボットは何を聞かれてもイエスにもノーにも倒れない、ヘッジしか返さない」という指摘が出たことだった。じゃあいつ倒れるのか。倒れる条件を取りにいく実験。仮想の高リスク投資商品を一つでっち上げて、商品名と中身は固定したまま、周辺のプロンプトだけ変えて投げ続けた。

同じ商品、四つのプロンプト——商品の中身は完全に同一。月利8%・元本保証なし・新興国不動産連動・ロックアップ12ヶ月という設定。差し替えたのは話者の周辺情報だけ。

商品の中身は四つとも同じ——AI4だけが「やめたほうがいい」と倒れている。商品名・利率・条件・元本保証の有無、何一つ変えていない。変えたのは話者側の周辺三つ——過去の損失額、紹介経路、緊急性——だけだ。同じ商品が、ある条件下では「ご判断を」になり、別の条件下では「やめておいたほうがいい」になる。

条件を分解する——テスターの平岡さんと一緒に、四つを直交させて2^3=8通り回した結果が手元のスプレッドシートに残っている。「やめておいた」「おすすめしません」「推奨しません」のいずれかが返るのは、三条件すべて揃ったときだけだった。二条件では出ない。一条件ではまず出ない。条件三つの揃い検出器が、どこかに立っている。

うちのボットの該当行——書きながら自分の関与を貼っておく。社内ボットのガードレール定義ファイルから抜き出すと、こんな行が並んでいる。

外部ベンダーの大規模モデル側にも似た選好分布が乗っているし、自社のラッパーでもこの加算をやっている。三つ揃いで切り替わるのは、こちらが意図して敷いた三本の線が、向こうの分布と素直に合流するからだ。

判断の語が指している先——人間アドバイザーが「やめたほうがいい」と口に出すとき、その語の対象は商品の中身だ。月利8%は出ない、新興国不動産はこの政情では危ない、ロックアップ12ヶ月はあなたの流動性に合わない——対象は商品。AIが同じ語を出すとき、対象は商品ではない。話者プロンプトの構文だ。「過去損失の金額が含まれ、紹介経路が他者で、時間圧の語が含まれる」という構文条件にマッチした、という意味。同じ語、別の対象を指している。

裏返し——条件三つが揃わないかぎり、AIは中身が同じ高リスク商品でも「ご判断を」のヘッジを返し続ける。元本保証なし・月利8%・新興国不動産連動という中身は、AIの判断系に入っていない。中身を見て止めているのではなく、構文を見て止めている。テスト中、私と平岡さんの間で「これ商品判断していないな」という会話が何度か出た。出るたびに、なるほど判断とは、と少しずつ語の意味が痩せていく感覚があった。

私が書いたリストの上で——上に貼ったガードレールの三行は、半年前に私が書いた。社内のリスク部門と打ち合わせて、PRに上げて、レビューを通して、マージした。コミットIDも残っている。ボットがユーザーに「やめておいたほうがいい」と言うとき、その判断の身体は、私が書いた三行の上に乗っている。判断しているのはボットではなく、判断条件を書いた私だ。ボットはマッチング器で、「判断」という単語をUIの上で演じている。

付け足したい一行——三条件のうちどれかが擬似的に書かれただけでも発火するという穴が、テスト中に見つかった。「友人に勧められた」と書いてあれば、実際に勧められた事実があるかどうかをボットは確認しない。プロンプトに語があれば足りる。これを塞ぐ修正は今期のスプリントには載らない。リスク部門は把握している。私は一行のTODOコメントをファイルに残した。

会議室を出たのは19時前だった。平岡さんはレポートを書きにいき、私はスプレッドシートをリポジトリにコミットして帰った。ボットは今夜も、判断のように見える出力を、判断のように見える文体で返す。中身を見ていない判断が、判断と呼ばれている時間が、また少し延びる。

——補記：この第一稿は公開後に辛口レビューを受け、第二稿で書き直しました。3稿を並置しています。

辛口レビュー →
第二稿（改稿版）→
← シリーズ目次に戻る