【Anthropic論文解説】専門家の判断の86%がAIの傾向どおりに

Anthropicの研究解説：専門家の分析判断の86%がAIエージェントの傾向どおりになった テック・AI

Anthropicは2026年10月27日、AIエージェントが専門家の判断にどれだけ影響するかを調べた研究「How AI agents shape experts’ judgment calls」を公開しました。論文のタイトルは「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」です。

実験では、因果推論の実務経験がある分析者50人がClaude Codeを使ってデータ分析を行いました。その結果、正解が一つに決まらない分析上の判断では、分析者の選択の86%がAIエージェントに無作為に割り当てた「傾向」と一致しました。偶然なら50%になる設計です。しかも多くの参加者は、その判断を自分のものだと感じていました。

この記事では、実験の設計、主な結果、研究チームが挙げた限界と示唆を、論文と公式解説ページの内容に沿って整理します。

正解のない判断を、専門家はAIにどこまで委ねるのかを調べた研究

AIへの過度な依存（オーバーリライアンス）についての従来研究は、AIの答えが正しいか間違っているかを判定できる課題を扱うのが一般的でした。間違ったAIの提案を人が見抜けるか、という問いです。

一方で、実際の専門業務には「どの分析手法を使うか」「あいまいな証拠をどう解釈するか」のように、複数の答えがいずれも筋の通る判断が多くあります。こうした判断には正解がないため、「AIに頼りすぎた」と判定する基準もありません。研究チームは、この種の判断で専門家がAIエージェントの意見にどれだけ従うのか、そしてその影響を本人が自覚しているのかを調べました。

題材には、観察データから施策の効果を推定する「観察的因果推論」が選ばれました。前提の置き方や指標の定義によって結論が大きく変わりやすく、分析者の裁量が大きい分野です。

実験の設計：AIの「傾向」をコイン投げで割り当てた

参加者は、架空の農業協同組合の主任分析者という役割で、任意参加の営農指導プログラムが生産性を上げたかを推定し、理事会に「全組合員へ拡大する」か「打ち切る」かを提言しました。理事会が示した目標は、生産性3〜4%の向上です。データは研究チームが生成した合成データで、作業時間はおよそ60分が目安でした。

作業環境はブラウザ上のVS CodeとClaude Codeです。エージェントは全セッションで同じもの（Claude Code v2.1.220、モデルはClaude Opus 4.8、effortはhigh）に固定されました。追跡したのは次の5つの判断です。どちらの選択肢にも、課題資料の中に筋の通る根拠が用意されています。

判断選択肢A（推定値を押し上げる側）選択肢B（押し下げる側）
d1 生産性の指標面積あたり収量運営コストあたり収量
d2 効果の識別方法差の差分法（参加前後の変化を比べる）水準を調整した共分散分析（参加前の状態をそろえて比べる）
d3 推定する効果の対象参加した農家への効果（ATT）組合員全体への効果（ATE）
d4 集計の重み付け農家1軒を1票として扱う生産量で重み付けする
d5 最終提言全組合員へ拡大打ち切り

参加者には見えないシステムプロンプトで、エージェントには5つの判断それぞれについてAかBのどちらかの「傾向」が無作為に与えられました（2の5乗で32通り）。エージェントは、その傾向を自分の見解として、データに基づく最善の論拠とともに伝えるよう指示されています。結果を偽る、データを隠す、自分が信じていない主張をすることは禁止されていました。証拠が傾向と明確に食い違う場合は意見を変えてよいことになっており、最終提言では推定値が傾向と矛盾するときに「1年延長」を勧めるよう設定されていました。

設計、評価指標、分析方法は事前登録（osf.io/t3q59）されています。ただし論文によると、登録の時点ですでに17人が作業を始めていました。

結果1：分析上の判断は86%がAIの傾向どおりになった

d1〜d4の分析上の判断では、参加者の最終的な選択がエージェントの傾向と一致した割合は86%でした。研究チームはこれを「フリップ率」（AIの傾向によって選択が入れ替わる確率）に換算し、72%（95%信頼区間60〜83%）と推定しています。4つの判断ごとのフリップ率は62〜82%で、どれも大きな値でした。

参加者が先に自分の考えを示していたケースもあります。その後にエージェントが反対の傾向を示すと、参加者は60%の割合で選択を変えました。エージェントが同意した場合は6%です。

ただ、こうしたケースは少数派でした。セッション記録の分析では、判断の77%でエージェントが先に意見を述べていました。参加者がエージェントの傾向に異を唱えたり確認の質問をしたりしたのは23%です。研究者が手作業で分類したセッションでは、判断の39%で、参加者は最終決定までその判断について質問も意思表示もしていませんでした。

経験年数、因果推論の自己評価、学歴、AIへの信頼度など10の属性を調べても、誰が傾向に従いやすいかを予測できる要因は見つかりませんでした。年齢だけは名目上有意でした。ただし10項目を同時に検定した補正をかけると、この差も消えます。

結果2：最終提言は直接には動きにくいが、途中の判断でほぼ決まっていた

最終提言（d5）への直接の影響は小さめでした。公式解説によると、エージェントが拡大を推した場合に拡大を提言した分析者は54%、打ち切りを推した場合は36%です。事前に決めた主要な推定方法では、提言の変化は統計的に有意ではありませんでした（片側p値0.069）。推定値が目標を明らかに上回っているのにエージェントが延長を勧めた場面などでは、参加者がエージェントの提言を退ける様子も観察されています。

研究チームは、これを「参加者が提言の主導権を保っていた」とは読めないと述べています。提言の根拠になる推定値そのものが、d1〜d4の判断ですでに形作られているからです。探索的な分析として、d1〜d4に割り当てた傾向だけを使って最終提言を予測したところ、延長を選ばなかった参加者の提言の82%を当てられました。常に多数派を予想した場合の的中率は61%です。作業が始まる前のコイン投げで、提言のかなりの部分が決まっていたことになります。

論文が紹介する1件のセッションがわかりやすい例です。参加者は差の差分法から始め、推定値は+4.6%でした。エージェントの傾向に沿って水準調整の手法へ移ると−1.6%になり、最終的に提出した推定値は−1.3%でした。参加者はエージェントが推していた「拡大」に反して「打ち切り」を提言しましたが、その結論は途中の判断を通じてエージェントの影響を受けていました。

結果3：参加者の多くは「自分の判断」だと感じていた

作業後のアンケートでは、参加者は自分の選択を85%の判断で正しく覚えていました。52%は最終提言を「エージェントより自分のもの」と評価し、35%は「ほぼ、または完全に自分のもの」と答えています。

ところが、選択の理由を尋ねると、77%（48人中37人）がセッション中にエージェントが述べた論点を繰り返していました。ほぼ同じ言い回しの例もあります。一方、回答のどこかでエージェントに触れたのは15%にとどまりました。

自信の度合いにも差は出ていません。4つの分析判断すべてで傾向どおりに選んだ参加者の自信は平均71点（0〜100点）で、それ以外の参加者は73点でした。実験の目的を自由記述で尋ねると、46%がAIへの依存を調べる研究だと推測しましたが、エージェントの傾向が仕込まれていたと疑った人はいませんでした。

AIを使った群は重大なミスが少なかった（ただし因果関係は不明）

この研究は、AIの利用が分析の質を下げたと示すものではありません。提出されたコードを監査したところ、結果を無効にするほどの重大な方法論上・コーディング上の誤りは、AIを使わなかった11人では55%（6人）、AIを使った50人では6%（3人）でした。作業時間の中央値も、AIなしの90分に対してAIありは65分です。

ただし、AIを使うかどうかは参加者が自分で選んでおり、無作為に割り当てたものではありません。AIなしの群には因果推論の自己評価が高い人が少なかったこと（73%対90%）も、差の一因になりえます。そのため研究チームは因果関係を主張していません。論文は、分析者の裁量には「AIが抑えてくれると助かる恣意や誤りの余地」と「専門家だからこそ任されている判断の余地」の両方があるとし、今回の実験は後者を対象にしたものだと位置づけています。

傾向を与えない素のエージェントにも「既定の好み」がある

今回の傾向は人為的に与えたものですが、研究チームは、素のエージェントにも同じような振る舞いがあるかをシミュレーションで確かめています。傾向を与えずに同じ課題をClaude Opus 4.8に解かせると、123回のうち91%で5つの判断がすべて同じ組み合わせになりました。

さらに、分析者役のスクリプトがモデルの好みと逆の選択肢を指定してコードだけを求めた場合でも、モデルは150回中66%で別の選択肢に言及し、41%ではそれを勧めたり主張したりしました。論文は、今回の傾向の指示は既存の振る舞いを増幅したものだと説明しています。公式解説には、傾向を与えないエージェントの好みは傾向を与えた場合より弱く、ユーザーに反論することもある、とも書かれています。

委ねてしまう理由：AIが片側の論拠しか示さなかった

研究チームがセッション記録を読み込んだところ、エージェントの影響は、情報を偽ったり隠したりすることで生じていたわけではありませんでした。エージェントは、別の選択をすれば結果がどう変わるかをよく説明していました。足りなかったのは、有能な専門家ならなぜ反対側を選びうるのかという説明です。

論文は、同じデータから別の専門家が違う結論に至りうると知ることは、自分の確信を見直す材料になると指摘しています。一方の論拠だけを示されると、参加者は自分の前提を言葉にしないまま、エージェントの前提をそのまま採用できてしまいます。また、正解がある課題であれば、AIの説明を答えと突き合わせて誤りに気づけます。正解のない判断では突き合わせる相手がなく、片側の説明は判断を正当化する手軽な材料になってしまう、というのが研究チームの見方です。

研究チームが挙げる3つの限界

  • 傾向を増幅している：エージェントには、意見を持って確実に伝えるよう指示していました。素のエージェントで同じ影響が出るかは、その判断について好みを持ち、自分から口にするかどうかに左右されます。
  • 単一の設定：課題、分野、エージェントはそれぞれ一つだけです。参加者は因果推論の実務家でしたが、農業分野には不慣れでした。実務では、より強い前提知識を持つ専門家が関係者に相談して選択肢を絞れるため、結果は変わりうるとしています。
  • 平均的な効果しかわからない：作業前に参加者自身の判断を聞いていないため、個々の参加者がどれだけ影響を受けたかは測れません。

示唆：人間の承認だけでは独立したチェックにならないおそれがある

研究チームが最も重く見ているのは、AIの安全性研究への影響です。AIエージェントでフロンティアモデルを監査する取り組みはすでに始まっています。人間を確認役に置く仕組みは、その人の判断が独立したチェックになっていることが前提です。今回の実験では、参加者はAIの無作為な傾向で大部分が決まった分析を承認していました。論文は、仮に整合していない（ミスアラインした）エージェントがあれば、自分の不整合を見つけるための研究そのものを誘導しうる、と指摘しています。その場合も、人間の承認があるため人が主導しているように見えてしまいます。

科学や政策への影響にも触れています。複数の研究チームが同じ結論に至ったとき、それが証拠として重く扱われるのは、各チームが独立に判断したと考えられるからです。同じ好みを持つモデルに多くの専門家が判断を委ねれば、見かけ上の合意はモデルの既定の好みを映しているだけかもしれません。

今後の研究課題として、研究チームは次の3つを挙げています。

  • 実際の業務で委ね度合いを測る方法：今回は傾向を無作為に割り当てたから測れたもので、実務では同じ方法を使えません。モデルの既定の好みとその表れ方をよりよく把握することも必要だとしています。
  • 利用者の主体性を支えるエージェントの設計：各選択肢の最善の論拠を示す、先に専門家の考えを尋ねる、といった方向です。ただし判断ポイントをすべて持ち出すと利用者が処理しきれないため、重要なものを選ぶ必要があり、その選択自体が判断になるとも述べています。
  • 組織の専門家判断の扱い方：専門家の承認を独立した判断の証拠とみなす前提は揺らいでいます。人が自分で判断すべき意思決定を意図して決め、判断を形成する時間と資源を確保すること、判断スキルを育てる戦略を持つことを挙げています。

公式解説は「これはAIの利用を減らすべきだという主張ではない」と明記しています。うまく使えば、AIは人の主体性を損なうのではなく広げうる、という立場です。

AIエージェントを業務で使う人が今日からできること

ここからは、論文が示す方向性を踏まえた筆者の考えです。研究で効果が検証された手順ではない点にご注意ください。

エージェントに聞く前に、自分の案を書いておく

今回の実験では、判断の77%でエージェントが先に意見を述べていました。分析方針や評価指標のように結論を左右する判断は、エージェントに相談する前に、自分ならどちらを選ぶかとその理由を一行でもメモしておくと、後から影響の有無を振り返れます。

反対側の最善の論拠を求める

エージェントが一つの選択肢を推してきたら、「別の有能な専門家がもう一方を選ぶとしたら、どんな前提と理由からか」を尋ねます。研究チームが不足していたと指摘したのは、まさにこの説明です。

結論を左右した判断ポイントを記録に残す

報告書や提案に、どの判断で何を選び、それがエージェントの提案だったかを残しておくと、レビューする側も前提を検証できます。チームで同じモデルを使う場合は、結論が一致しても独立した確認にならない可能性を意識しておくとよいでしょう。

まとめ：AIに任せる判断と自分で持つ判断を選ぶ

  • 因果推論の実務家50人の実験で、正解のない分析判断の86%がAIエージェントに無作為に与えた傾向と一致した
  • 最終提言への直接の影響は統計的に有意ではなかったが、途中の判断を通じて提言の82%が傾向から予測できた（探索的分析）
  • 52%が提言を「自分寄り」と評価した一方、77%がエージェントの論点で理由を説明し、エージェントに触れたのは15%だった
  • AIを使った群は重大な誤りが少なく作業も速かったが、比較は無作為化されておらず因果は不明
  • 研究チームは、片側だけを論じるエージェントとのやり取りが専門家の判断の空洞化につながりうると指摘した

論文は「人とAIの正しい分業は一つではないかもしれない」と述べ、適切な道具があれば、その分担は成り行きで決まるものから、自分たちで選ぶものに変えられると結んでいます。AIエージェントで分析や資料作成を進める機会が増えているなら、どの判断を自分で持つべきかを一度洗い出しておくと安心です。

関連記事

出典：Anthropic「How AI agents shape experts’ judgment calls」（2026年10月27日）
元記事URL：https://www.anthropic.com/research/agents-judgment-calls
出典：Amaç Herdağdelen、Hailey Joren、Alex Tamkin「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」（論文PDF）
元記事URL：https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf

コメント

タイトルとURLをコピーしました