【第七話】インパクト評価に登場するRCTの意義と注意点

連載につぐ連載を重ねているインパクト評価についてです。

インパクト評価という表現を使っていますが、実際は、CSRやサステナビリティーの成果をいかに測定したり、どのように改善していくのか？という広いテーマにおいても、その前提となる情報です！

サステナビリティーなどに配属された人も、必ずしもその分野の専門家とは限りません。 また、事業会社においては、そもそもそうしたナレッジや情報などがなかったり、引継ぎもないこともあるでしょう。

是非、参考にしてみてもらえればと思います！

今までの部分をまだチェックしていない方は、こちらから読み進めてみてください。

・【第一話】企業の社会的インパクトを如何に測定し公開していくべきか？
・【第二話】社会的インパクト評価と実施するための重要概念
・【第三話】社会的インパクト測定における対象範囲と波及効果の論点は？ ・【第四話】社会的インパクトマネジメントとリーンな評価 ・【第五話】企業の取り組みの社会性の測定方法～With Without～ ・【第六話】社会的インパクト測定における主要な考慮事項

今回は、第五話で紹介した、With-Withoutの考え方の補足、その文脈でよく登場するRCT（ランダム化比較試験：randomized controlled trial）の意義や、課題点についてです。

まず、簡単な復習ですが、With-Withoutというのは、Before Afterとは違い、何かをやった前と後で効果を測定するのではなく、何かをする際に、その対象者と、非対象者に分けて、効果があるかを測定する方法です。（また、その対象を恣意的に選ぶのではなく、ランダムに選ぶことがポイントです）

第五話でも説明しているので、もしもいまいち理解が進まない場合は、こちらもチェックしてみてくださいね。

・【第五話】企業の取り組みの社会性の測定方法～With Without～

RCTを実行することで、アクションの効果の説明を一定の合理性を持ってできるというものです。

これをいうと、RCT最強じゃん！と思うかもしれませんが、ちょっと待ってください。

いくつか課題がありますが、まず、代表的な問題点として、下記が挙げられます。

・範囲限界性

・統計学限界性

・非リーン性

まず、範囲限定性です。

これは例えば、第五話でも事例に出した、何らかの教育サービスを考えてみましょう。

その上で、RCTを用いて効果を検証して、その効果が立証されたとしましょう。

そしてそのサービスはアフリカのある地域で実施されたとします。

では、このサービスは、他の地域に持っていっても効果のある教育サービスであることは立証されているでしょうか？

残念ながら答えはNoです。

もちろん効果が出るかもしれませんが、出ないかもしれないのです。

注目すべき点は、そのサービスが効果を及ぼす前提事項が、他の地域と同じか？ということが重要になります。

ある画期的な、スマートフォン教育サービスがあったとしても、そもそもスマフォがなかったり、それを操作するなどの、「前提状況」が整っていない地域に持ち込んでも、効果はないのです。（「交絡バイアス」や交絡因子（第三の因子）と呼ばれることもあります）

これは、例えば、特定に言語での教育サービスも、その言語が違ったりなどなどなど・・・前提事項となりうる事項は、相当数に考えられる話ですよね。

つまり、RCTを用いることは、その効果は証明できても、他への適応可能性については、それが成り立つ前提条件が何かを見極める必要があるということです。

他への適応可能性と関連し、サンプル数をどこまで取るべきか？

という統計的な課題もあります。

サンプル数が十分でなかったり、RCTの設計をうまく行わないと、例えば、犯罪抑止の為に電灯や図書館を作ったとしても、その地域からは犯罪が減って、他の地域で増えてました、ということが発生し得ます。（ディスプレースメントと呼ばれるもので、そうした主要懸念は第六話でも紹介しましたね！）

また、RCTで出てきた結果自体も統計的に、解釈されることがありますが、そうした際に、気を付けるべき事項の一つとして、（また数学上の面白い性質として）、シンプソンのパラドックスというものがあります。

男性や女性がある治療を受けるべきか否かを判断する際に、例えばサンプル調査を実施した結果が上記であった場合についてです。

数字を扱っているとたまに出くわすのですが、男性という観点で見ると、確率論的には、治療を受けるべきという結論になります。女性という観点でも同じ傾向が見受けられます。

ただ、集計してみると、治療すべきでないという結果になります！

数字を少なくしているのは、計算が容易なためで、どんなにサンプル数自体を増やしても同じパラドックスは生まれ得ます。

その他の課題については次回に回したいと思いますが、まず前提として、RCTはインパクト評価を行う上で強力なツールであることは間違いありません。

ケースによってはRCTが適任だったりもするのです。

そうした際にも、連載等で記載している注意点などは是非、気をつけてもらえればと思います！

今日の部分を纏めると、下記です。

・インパクト評価を行う際の、With-Withoutの具体的手法としてRCTがある。

・RCTは強力だが、範囲限定性や統計学上の制約などには注意する必要がある（その他第六話で紹介した、ディスプレースメント等々も）