国家が計算するとき、誰がそれを疑えるか
生活保護の支給が止まった。理由は「モデルの出力」だった。
そういう事態が、すでに世界のどこかで起きている。日本でも、税務調査の優先順位付け、入管実務、給付の不正検知にアルゴリズムは入り込んでいる。処分が出る。だが、その処分を支える説明の回路は、しばしば閉ざされている。
問い方を変えよう。アルゴリズムは透明か不透明か、ではない。そもそも、透明な機械が透明な決定を生むという前提がおかしい。
行政法がもともと抱えていた統制の問題がある。理由提示義務、適正手続、不服申立ての設計。これらは昔からある。アルゴリズムが突然これらを壊したのではない。制度がずっと抱えていた緊張を、計算機という道具が露出させただけだ。
精度は問題ではない。
正確に言えば、精度だけでは足りない。機械学習は大量データを処理し、ばらつきを抑え、人間が見落とす異常値も拾う。行政にとって魅力的なのは当然だろう。だが行政法が問うのは正答率ではない。その出力が処分に接続された瞬間に、なぜその結論に至ったのかを説明できるか。当事者がそれを争えるか。解釈可能性、追跡可能性、争訟可能性。この三つが構造として必要になる。
理由提示義務や適正手続は、「わかりやすい説明」を求めているわけではない。決定過程が最低限観測可能であることを求めている。どのような入力類型が使われたか。モデルの出力がどの法的要件の認定に接続されたか。人間の審査がどの段階で介在したか。コードの全面公開でなくていい。当事者が「この判断はおかしい」と主張するための足場と、事後検証を可能にするログがあれば十分だ。
足場がなければ、不服申立ても司法審査も形骸化する。効率化の名のもとに、統制可能性だけが静かに失われる。
ただし、行政判断のすべてが同じように形式化できるわけでもない。要件充足の判定や異常検知は仕様に落とし込みやすい。だが比例原則にかかわる利益衡量、個別事情の斟酌、裁量の相当性判断は、目的関数を書けば済む話ではない。法の曖昧さは技術者には仕様不備に見えるかもしれないが、それは個別事案への適応性を確保するための制度的余白だ。アルゴリズムの役割は、裁量の自動化ではなく、事実整理と見落とし削減にとどめるのが妥当である。
責任の問題も外せない。外部ベンダーがモデルを構築・更新していても、処分主体はあくまで行政庁だ。行政法上の義務は委ねられない。だがベンダーも単なる道具屋ではない。監査可能性の確保、データ系譜の記録、更新履歴の保存、事故時の検証協力。これらを義務として負う。国家作用の一部が外部コンポーネントの連鎖として供給される。いわば国家作用のサプライチェーン化である。
必要な制度は二層に分かれる。事前の安全性確保として、影響評価、第三者監査、ログ保存、変更管理、データ品質管理。事後の回復手続として、アルゴリズム関与の告知、個別理由の提示、人間による再評価請求。導入審査だけでは足りない。運用しながら壊れ方を観測し、壊れたときに戻せる設計でなければならない。
行政処分にアルゴリズムを導入するとは、予測モデルを載せることではない。説明可能性、争訟可能性、差別的影響の検証可能性、責任の追跡可能性を備えた高信頼システムとして、国家作用を再設計することだ。
「そのモデルは高性能か」は問いではない。
問われるべきは、その計算が争いうる形で置かれているかどうかだ。国家が計算を用いること自体は避けがたい。だからこそ、最初に確かめなければならないのはそこである。