因果推論とは？AIの効果測定・ROI算出で押さえるべき統計の落とし穴

「AIを導入したら問い合わせが20%減った」「チャットボットで作業時間が半分になった」。こうした報告は現場でよく出てきます。数字を見ると効果があったように見えますが、その数字が本当にAI導入の成果なのか、それとも季節要因・偶然・別の施策の影響なのかを区別するのが「因果推論」の役割です。

本記事では、AI効果測定やROI算出で陥りやすい統計の落とし穴を、数式を使わずに非エンジニアの方にもわかる言葉で整理します。

因果推論とは？相関分析との根本的な違い

因果推論（Causal Inference）とは、「AがBを引き起こしたのか」を統計的に推定する分析手法です。一方、よく耳にする「相関分析」は「AとBが一緒に動く」という事実を確認するにとどまり、どちらが原因かは教えてくれません。

相関がある場合、その背後には4パターンのいずれかが潜んでいます。

• A→B：AがBの原因（導入した施策が効果を生んだ）
• B→A：逆因果（業績が良い企業がAIを先に導入できる）
• 相互作用：AとBが互いに影響しあっている
• 交絡因子：第三の変数Cが両方を押し上げている（見かけの相関）

有名な例がアイスクリームの売上と水難事故の相関です。夏になるとアイスの売上が上がり、水難事故も増えます。しかし「アイスを食べると溺れやすくなる」わけではありません。「気温」という第三因子（交絡因子）が両方を動かしているだけです。

因果推論が目指すのは「もしAI導入をしなかった場合、結果はどうなっていたか」という反実仮想（counterfactual）との比較です。現実には「導入した世界」しか観測できません。だからこそ、因果を推定するための設計と分析手法が必要になります。

統計的因果推論は「平均の効果」を推定する

統計的因果推論では、同じ対象について「施策を受けた場合の結果」と「施策を受けなかった場合の結果」の2つを考え、その差を施策の効果と定義します。ところが、1人のオペレーターについて観測できるのは、AIを使った場合か使わなかった場合のどちらか一方だけです。個人単位の効果は直接には測れません。

そこで統計的因果推論では、個人ではなく集団の平均で効果を推定します。AIを使ったグループの平均と、使わなかったグループの平均を比べ、その差をAIの平均的な効果とみなします。この比較が成り立つのは、2つのグループが「AIを使ったかどうか」以外の点で似ている場合に限られます。後で紹介する手法は、どれも「似たグループをどう作るか」を工夫したものだと捉えると理解しやすくなります。

因果を主張するための3つの条件

「AIを導入したから指標が改善した」と言えるためには、少なくとも次の3つの条件がそろっている必要があります。

1. 時間的な順序：原因（AI導入）が、結果（指標の改善）より先に起きている
2. 一緒に動いている：AIを使った対象ほど、指標の改善が大きい
3. ほかの説明を排除できている：季節の変動や、同じ時期に行った別の施策など、ほかの要因では説明できない

実務の報告で抜け落ちやすいのは3つ目です。1つ目と2つ目は、導入前後のデータを並べれば示せます。しかし3つ目を示すには、「AIを使わなかった場合」と比べる設計が要ります。本記事の後半で扱う落とし穴と手法は、ほとんどがこの3つ目の条件に関わっています。

相関を因果と取り違えるときの3つの落とし穴

落とし穴①：交絡因子を見逃す

「AI導入企業は業績が良い」というデータを見ると、AIが業績を押し上げたように感じます。しかし実際には「業績が良い企業だからこそ先行投資でAIを導入できる」という逆因果の可能性もあります。さらに「経営者のITリテラシーが高い・優秀な人材がいる・DXに積極的な企業文化がある」という共通の交絡因子が、AI導入と業績の両方を引き上げている可能性もあります。

社内の効果測定でも同じ構造が起きます。たとえば、生成AIを積極的に使っている社員ほど、業務の処理件数が多いというデータが出たとします。ここから「生成AIが処理件数を増やした」と結論づけるのは早計です。もともと仕事が速く、新しい道具を試す余裕のある社員が、先に生成AIを使い始めた可能性があるからです。この場合、「もともとの仕事の速さ」が交絡因子になっています。

交絡因子を疑うチェック視点は3つです。

1. 原因と結果の双方に効いている第三因子はないか
2. 原因は結果より時間的に先に起きているか
3. 全体の相関をセグメント別に分けても同じ向きか

3つの視点を実際に使うときは、報告書の数字を受け取った段階で、作成者に次の問いを投げると確かめやすくなります。「AIを使った人と使わなかった人は、導入前の時点でも差があったか」「AIを使い始めた時期と、指標が改善し始めた時期はどちらが先か」「部署別、経験年数別に分けても同じ傾向が出るか」。1つでも答えられない問いがあれば、その数字を因果の根拠として使うのは保留します。

落とし穴②：シンプソンのパラドックス

全体集計では「改善した」ように見えても、セグメント別に分けると「どちらのセグメントでも悪化している」というケースがあります。これをシンプソンのパラドックスといいます。

たとえば、全社でAI活用後の生産性が向上したように見えても、新規採用社員グループ・既存社員グループそれぞれで分けると、どちらのグループでも実は下がっていた、という状況が起こりえます。全体集計にはグループ構成比の変化が混入するため、セグメント別の確認は常に必要です。

数字で確かめてみましょう。次の表は、あるチームの1人1日あたりの処理件数を、説明のために作った仮の数値で示したものです。

グループ	導入前の処理件数	導入後の処理件数	導入前の構成比	導入後の構成比
既存社員	50件	48件	40%	80%
新規社員	20件	18件	60%	20%
全体	32件	42件	100%	100%

既存社員は50件から48件に、新規社員は20件から18件に、どちらも2件ずつ減っています。それなのに全体では32件から42件に増えました。理由は、導入後の期間に、処理件数の多い既存社員の割合が40%から80%に増えたからです。全体の数字の変化は、AIの効果ではなく、チームの人員構成の変化で生まれています。

この落とし穴を避けるには、効果を報告する前に、処理件数に影響しそうな属性（経験年数、担当業務、拠点など）で分けた集計を作り、全体と同じ向きかを確かめます。向きが食い違った場合は、全体の数字ではなく、セグメント別の数字を報告の根拠にします。

落とし穴③：選択的バイアス・生存者バイアス

「AI活用の成功事例」として紹介される企業は、うまくいった一部です。失敗した事例・効果が出なかった事例は表に出てきません。成功事例だけを見て「AIを導入すれば必ず効果が出る」と判断するのは、生存者バイアスそのものです。

期待値で考えるクセをつけることが重要で、成功事例の背後に何十件の失敗事例があるかを常に意識します。

社内のPoC（概念実証）でも、同じ偏りが入り込みます。効果が出やすい部署を選んで試し、その結果を全社展開の根拠にすると、ほかの部署では同じ効果が出ないことがあります。PoCの対象を選ぶ時点で、なぜその部署を選んだのかを記録しておき、全社に広げる判断では「選ばれた部署だから出た効果ではないか」を確かめます。

測定設計の3つの罠

「AI導入前と後を比較した」という前後比較は直感的に分かりやすいものの、3つの大きな問題を抱えています。

①季節性のトレンド：チャットボットを導入した直後に問い合わせ件数が減っても、それが繁忙期の終わりによる自然な減少である可能性があります。

②平均への回帰：悪い値が出た後には、何もしなくても次の計測で平均に戻る統計的な現象があります。「不良率が高いタイミングでAI検査を導入したら改善した」は、平均への回帰だけで説明できる場合があります。

③ホーソン効果：「注目されている」こと自体で、一時的に生産性が上がる現象です。新しいツールを導入した直後は、それがAIかどうかに関わらず、メンバーの意識が高まって指標が改善することがあります。

本質的に必要なのは「AI導入をしたグループ」と「AI導入をしなかったグループ」の比較です。どちらの世界にも自分は同時に存在できないため、設計によってこの比較を疑似的に作り出す必要があります。

3つの罠への対処

比較するグループを用意できない場合でも、前後比較の弱点はある程度まで補えます。

季節性には、前年の同じ月と比べる方法が有効です。導入後の問い合わせ件数を導入直前の月と比べるのではなく、前年の同じ月と比べ、さらに前年と前々年の差とも比べます。例年と同じ程度の減り方なら、AIの効果とは言えません。

平均への回帰には、導入前の数字を1時点ではなく、数か月から1年程度の期間で見る方法が有効です。不良率がたまたま悪化した月の直後に導入すると、何もしなくても数字は平均に戻ります。導入前の期間の平均と比べれば、一時的な悪化を基準にしてしまう誤りを避けられます。

ホーソン効果には、導入直後の数週間を評価の期間から外す方法が有効です。新しいツールへの注目が落ち着いた後の数字で評価すれば、注目されたことによる一時的な上昇を差し引けます。

ベースラインは導入前に決めて記録する

どの対処法も、導入前のデータ（ベースライン）が残っていることが前提です。導入後に「導入前はどうだったか」を調べ始めても、必要なデータが記録されていないことがよくあります。

ベースラインは次の順番で準備します。まず、AIで改善したい指標を1つか2つに絞ります。次に、その指標をどの単位（人、チーム、日、月）で、どのシステムから取るかを決めます。そのうえで、導入の少なくとも数か月前から同じ方法で記録を始めます。指標の定義を導入の前後で変えると比較できなくなるため、定義は文書に残しておきます。

AI効果を正しく推定する3つの手法

ABテスト（ランダム化比較試験・RCT）

最も強力な因果推定の手法です。対象者をランダムに2群（AI支援あり/なし）に分け、同じ期間に並行して比較します。コールセンターのオペレーターをランダムに分けてAI支援の有無で比較する、Webサービスのレコメンド機能をあり群/なし群に振り分けて比較する、といった形で使われます。

ランダム割付により、交絡因子も2群にほぼ均等に分散するため、差をAIの効果と見なしやすくなります。

社内業務でABテストを設計するときは、割り付ける単位の選び方が結果を左右します。オペレーター1人ずつに割り付けると、同じチームの中で「AIあり」の人が「AIなし」の人に使い方や回答例を共有し、なし群の成績まで上がることがあります。こうした影響の漏れが起きやすい業務では、チームや拠点の単位で割り付けます。

割付の方法も、担当者の判断に任せません。「やる気のある人をAIあり群に」と選ぶと、交絡因子が入り込み、ランダム化の意味がなくなります。社員番号の末尾で分けるなど、結果と関係のない機械的な規則で決めます。

試験の期間と人数は、指標がふだんどの程度ぶれるかを基準に決めます。導入前の数か月分のデータで、週ごとの処理件数が平常時にどれだけ上下しているかを確かめます。期待する効果がそのぶれより小さい場合、1〜2週間の試験では効果とぶれを区別できません。その場合は、期間を延ばすか、対象の人数を増やします。試験を始める前に「何週間続け、どの差が出たら効果ありと判断するか」を決めておくと、都合の良い時点で試験を打ち切る誤りも防げます。

差分の差分析（DID）

ABテストが難しい場合に有効な手法です。似た特性を持つ「AI導入グループ」と「非導入グループ」を見つけ、導入前後の変化量の差を比較します。商品AにのみAIレコメンドを導入し、商品Bは従来のままにして、売上の変化量の差が施策効果となります。

仮の数値で計算してみましょう。AI支援を導入した拠点Aでは、1件あたりの対応時間が導入前の12分から導入後に9分へ、3分短くなりました。導入しなかった拠点Bでは、同じ期間に13分から12分へ、1分短くなりました。拠点Bの1分は、季節の変動や全社的な業務改善など、AI以外の要因による変化と考えられます。拠点AもAIを導入しなければ拠点Bと同じ1分だけ短くなり、導入後は11分だったと考えます。実際の9分との差、つまり拠点Aの3分からこの1分を差し引いた2分が、AI支援による短縮の推定値になります。

単純な前後比較なら「3分短縮」と報告していたところを、DIDでは「2分短縮」と見積もります。この差の1分が、前後比較に混じっていたAI以外の要因の分です。

DIDが成り立つには、「AIを導入しなかったら、拠点Aも拠点Bと同じ幅で変化していた」という前提（平行トレンドの仮定）が必要です。この前提は直接には確かめられませんが、導入前の数か月分のデータで、2つの拠点の数字が同じように動いていたかを確認することで、ある程度まで裏づけられます。導入前から動き方が違っていた場合は、比較相手の拠点を選び直します。

傾向スコア法

事後的にデータを分析する必要がある場合に使います。導入グループと非導入グループの属性（業種・規模・導入前の指標など）を統計的に揃えることで、選択バイアスを補正します。

ただし、傾向スコア法で揃えられるのは、データとして記録されている属性だけです。「新しいツールへの意欲」のように記録されていない要因が導入の有無と成果の両方に効いている場合、その偏りは補正できません。事後分析の結果を報告するときは、どの属性で揃えたかと、揃えられていない要因が残る可能性を併記します。

実務での使い分けの目安は下記のとおりです。

条件	推奨手法
ランダム割付が可能	ABテスト
類似した非導入グループが取れる	DID
後付けのデータ分析	傾向スコア
どれも難しい	前後比較を補助指標として使用・解釈に注意書きを付ける

どの手法を選ぶかは、分析の段階ではなく、導入を計画する段階で決めておきます。ABテストは導入の前に割付を決めなければ実施できず、DIDは導入前のデータが両方のグループに残っていなければ計算できません。導入の順番を「全拠点に一斉」ではなく「一部の拠点から段階的に」とするだけで、先に導入した拠点と後から導入する拠点を比べるDIDの設計が可能になります。効果測定の設計は、AI導入の計画書の一部として作るのが望ましい進め方です。

ROI算出でよくある10の落とし穴

AI導入の費用対効果を計算するとき、無意識に数字が良く見えるよう操作が入ることがあります。以下の10項目をチェックリストとして使ってください。

1. 分子を盛る：「作業時間が50%削減」でも、浮いた時間をどこに再配置したかが重要。時間削減だけでは利益にならない
2. 分母を圧縮：初期構築費用だけを計上し、運用コスト・保守・データ整備・社内教育を除外している
3. チェリーピッキング：効果が出た部門・事例だけを取り上げ、効果が出なかった部門を無視している
4. ベースライン未設定：導入前の「Before」のデータを取らずに導入後の数字だけを見ている
5. 小さすぎるサンプル：PoCの1〜2週間・数十件のデータではランダム変動の範囲内に収まってしまう
6. 効果の持続性を無視：初期の高い効果は運用が伴わないと縮小し、運用コストは積み上がる
7. 隠れコスト：API従量課金・ライセンス費用・ガバナンス体制の構築・セキュリティ対応が計上されていない
8. グッドハートの法則：「問い合わせ件数を20%削減」という目標を設定した結果、問い合わせ自体を回避させる方向にボットが最適化されてしまう
9. セグメント別確認の省略：全社集計では改善して見えても、部門別・顧客属性別では悪化しているケースを見落とす（シンプソンのパラドックス）
10. 反実仮想の欠如：「AI導入後に売上が10%上がった」は、AI導入がなくても同じく上がった可能性を否定できていない

浮いた時間を金額に換算する前に確かめること

10項目のうち、実務で最も起きやすいのが1つ目の「分子を盛る」です。AIで月100時間の作業が減ったとき、100時間分の人件費をそのまま効果として計上する報告をよく見かけます。しかし、浮いた時間が別の業務に使われず、残業も人員も減っていなければ、会社の支出は変わっていません。

金額に換算する前に、浮いた時間がどうなったかを3つに分けて確かめます。1つ目は、残業の削減や外注費の削減など、支出が実際に減った分です。これは効果として計上できます。2つ目は、売上につながる業務に振り向けた分です。振り向けた業務の成果が測れる場合に限って、効果として計上します。3つ目は、使い道が決まっていない分です。この時間は、金額に換算した効果には含めません。

経営層に報告するROIの書き方

ROIを報告するときは、1つの数字だけを示さず、前提と幅を添えます。効果の見積もりは、控えめな場合、中くらいの場合、楽観的な場合の3通りで示し、それぞれの前提（削減時間の見積もり方、再配置の割合、含めたコストの範囲）を書きます。

あわせて、効果をどの方法で測ったかも明記します。「ABテストで測定」「DIDで推定」「前後比較のみ（ほかの要因を排除できていない）」のように書き分けると、読み手は数字の確からしさを判断できます。前後比較しかできなかった場合も、そのことを隠さずに書けば、次の測定で改善すべき点が共有されます。

効果を示す指標は、1つだけにせず、対になる指標と組み合わせます。チャットボットの効果を「問い合わせ件数の削減」だけで測ると、問い合わせをしにくくするだけでも数字が改善します。グッドハートの法則で挙げたこの問題は、「問い合わせ件数」と「利用者の自己解決率」や「顧客満足度」を並べて報告すれば見抜けます。片方だけが良くなり、もう片方が悪化している場合は、指標だけが最適化されていると判断します。

まとめ

• 相関は「2つの数字が一緒に動く」事実を示すにとどまり、どちらが原因かは分からない
• 因果推論は「もしAI導入をしなかった場合との比較」を統計的に推定する手法
• 因果を主張するには、時間的な順序・一緒に動いていること・ほかの説明の排除の3条件がそろう必要がある
• 測定設計には季節性・平均への回帰・ホーソン効果という3つの罠がある。導入前にベースラインを決めて記録しておく
• 因果関係を正しく推定するにはABテスト・DID・傾向スコアを使い分ける。手法は導入を計画する段階で決める
• ROI算出は10の落とし穴のチェックリストで見落としを防ぎ、報告には前提と幅、測定方法を添える

DXやAIに着手している国内企業は増えていますが、AI導入のROIを実証できると確信している日本企業は35%にとどまり、グローバルの54%を下回っています（オープンテキスト（2026年2月26日））。数字が取れていないだけで、実際には効果が出ている場合も少なくありません。落とし穴を完全に避けるのは難しくても、知っているだけで測定の精度は大きく上がります。AI投資の効果を最大化する鍵は、社内に「数字を読める人」を増やすことです。

ウェビナー資料（ホワイトペーパー）のダウンロード

本記事の内容は、2026年9月開催のウェビナー「AI導入効果を数字で語る前に：相関と因果とROIの落とし穴」でも解説しました。当日のスライド資料はホワイトペーパーとして無料公開しています。

⇨ウェビナー資料のダウンロードはこちら

AI効果測定・ROI算出の相談は「リベルクラフト」

ここまで、因果推論の基礎から測定設計の罠・ROI算出の落とし穴まで解説してきました。

統計の知識を正しく使った効果測定を設計することと、実際に自社のAI施策に当てはめることの間には距離があります。

• AIを導入したが、本当に効果が出ているのか数字で確認できていない
• 経営層への報告に使えるROI計算の根拠が薄い
• ABテストやDIDを自社でどう設計すればいいか分からない

という方は、リベルクラフトへお気軽にご相談ください。

リベルクラフトでは、AI活用の方針策定・要件定義・ロードマップ作成から、PoC設計（AI・RAG環境構築）・本開発支援・法人向けAIリテラシー研修まで、要件定義から本番運用までを一貫して支援しています。効果測定の設計から数字の解釈まで伴走する点が特長です。

⇨リベルクラフトへの無料相談はこちら