AIの回答をそのまま使わず、吟味する

前回は、AIの回答に対する違和感を、思考が動き始めたサインとして扱いました。

「なんか違う」と感じたとき、その感覚をすぐに消さない。事実、前提、価値、粒度、自分自身の反応に分ける。そうすることで、違和感は単なる不満ではなく、次の問いへ進む入口になります。

しかし、違和感を分解しただけでは、まだ十分ではありません。

AIの回答を読んで、違和感の正体が少し見えてきた。そのあとに必要なのは、その回答を採用してよいかどうかを点検することです。

ここで大切なのは、AIの回答を「正解」として受け取らないことです。

同時に、AIの回答を「どうせ間違っているもの」として捨てないことです。

ブレインフルプロンプトでは、AIの回答を結論ではなく、吟味すべき下書きとして扱います。

一文で言えば、こうです。

吟味とは、AIの回答を根拠、前提、反例、影響、責任に分けて点検し、自分の判断として引き受けられる形へ戻すことである。

AIが出した文章は、どれほど整っていても、そのままでは自分の判断ではありません。

それを使うかどうかを決める過程で、はじめて自分の思考になります。

「疑う」と「吟味する」は違う

AIの回答をそのまま信じてはいけない。

この言い方は、今ではかなり一般的になりました。生成AIは事実と異なる内容をもっともらしく述べることがあります。存在しない文献、古い制度、誤った数値、文脈に合わない助言が混ざることもあります。

だから、確認は必要です。

ただし、「疑う」だけでは不十分です。

疑うだけだと、AIとの対話は防御的になります。

これは本当か。
また間違っているのではないか。
結局、自分で調べた方が早いのではないか。

もちろん、その姿勢が必要な場面もあります。法務、医療、財務、契約、制度、公開情報など、間違いの影響が大きい領域では、外部資料や専門家による確認が不可欠です。

しかし、すべてを疑うだけでは、AIを共同思考者として使うことはできません。

大切なのは、盲信と拒絶のあいだにある態度です。

それが吟味です。

吟味とは、AIの回答を敵として扱うことではありません。
AIの回答を自分の代わりに決めるものとして扱うことでもありません。

吟味とは、回答をいったん受け取り、どこまで使えるのか、どこから保留すべきか、どこを自分で判断し直すべきかを分けることです。

この態度を持つと、AIの回答は「当たり外れ」ではなく、「判断材料」になります。

まず根拠を見る

吟味の第一歩は、根拠を見ることです。

AIの回答には、根拠が明示されている場合もあれば、明示されていない場合もあります。もっと厄介なのは、根拠がありそうに見えるが、実際には確認できない場合です。

たとえば、AIが次のように答えたとします。

「最近の研究では、多くの企業がAI導入によって業務効率を大幅に改善しています。」

この文は、なんとなく正しそうです。しかし、吟味するなら、すぐに採用してはいけません。

最近とはいつか。
多くの企業とは、どの地域、どの規模、どの業種か。
業務効率とは、時間短縮か、品質向上か、売上増加か。
大幅とは、何パーセント程度か。
その研究は、査読済みなのか、企業調査なのか、宣伝資料なのか。

根拠を見るとは、AIに出典を出させることだけではありません。

その主張が、どの種類の根拠を必要としているのかを見分けることです。

一般論として使うなら、幅広い調査や複数の資料で足ります。
制度説明として使うなら、一次情報や公式情報が必要です。
経営判断に使うなら、自社の状況に照らした検証が必要です。
人に影響する判断に使うなら、数値だけでなく、関係者への影響も見る必要があります。

根拠の確認は、AIを責めるためではありません。

自分がどの強さでその主張を使ってよいかを決めるために行います。

次に前提を見る

根拠が正しくても、前提がずれていれば、回答は使えません。

AIは、問いの中で明示されていない条件を補って答えます。その補い方は便利ですが、同時に危うさもあります。

たとえば、AIが「社内で生成AIを導入するには、まず全社研修を行い、利用ガイドラインを整備し、推進チームを設けるべきです」と答えたとします。

これは一見、妥当です。

しかし、前提を見れば、いくつもの条件が隠れています。

全社研修を設計できる人がいる。
従業員が研修に参加する時間を確保できる。
推進チームを置く余力がある。
ガイドラインを守れる業務設計がある。
導入目的がすでに明確になっている。

これらの前提が合っている会社もあります。合っていない会社もあります。

特に中小企業、個人事業、現場型の組織では、「正しい手順」が重すぎることがあります。

AIの回答は、平均的な助言としては正しいかもしれません。しかし、自分の文脈では使えないかもしれません。

だから、前提を点検する必要があります。

この回答が成り立つために、どのような前提が置かれていますか。
私の状況に合っていない可能性がある前提を、重要度順に挙げてください。

この問いを挟むだけで、AIの回答はかなり扱いやすくなります。

答えが間違っているのではなく、置かれている前提が違うのだと分かるからです。

反例を見る

吟味の第三歩は、反例を見ることです。

AIの回答は、こちらの問いに対して協力的に答えようとします。そのため、問いの方向に沿った説明が強くなりがちです。

「この企画のよい点を教えて」と聞けば、よい点を探します。
「この方針で進める手順を教えて」と聞けば、その方針で進める手順を出します。
「この文章を説得力ある形にして」と聞けば、説得力を高めます。

これは便利です。

しかし、意思決定の前には危険でもあります。

なぜなら、うまくいかない場合、見落としている条件、反対意見、別の説明が弱くなるからです。

そこで、反例を求めます。

この回答がうまく当てはまらないケースを挙げてください。
また、この回答に対する最も強い反論を三つ出してください。

反例を見ると、回答の輪郭がはっきりします。

どの条件では使えるのか。
どの条件では使えないのか。
どの反論に耐えられるのか。
どの反論を受けると修正が必要なのか。

反例は、回答を壊すために見るのではありません。

回答を使える範囲まで小さくするために見ます。

大きすぎる主張は、現場では危険です。
範囲が分かった主張は、使えます。

影響を見る

AIの回答は、しばしば「最適化」の言葉で書かれます。

効率化する。
自動化する。
標準化する。
削減する。
改善する。
最大化する。

どれも大切な言葉です。

しかし、何かを最適化するとき、別の何かが圧迫されることがあります。

業務時間を短縮すると、学習の機会が減るかもしれない。
問い合わせ対応を自動化すると、顧客の不安が見えにくくなるかもしれない。
評価を数値化すると、数字になりにくい貢献が軽く扱われるかもしれない。
標準化すると、現場の工夫が失われるかもしれない。

AIの回答を吟味するときは、その提案によって誰が影響を受けるのかを見る必要があります。

この提案を採用した場合、
1. 得をする人
2. 負担が増える人
3. 見えにくくなるリスク
4. 短期的には良く見えるが長期的に悪化しうる点
を分けてください。

これは倫理の話であると同時に、実務の話でもあります。

人への影響を見ない提案は、現場で続きません。

最後に責任を見る

AIの回答を吟味するとき、最後に必ず見なければならないものがあります。

責任です。

AIは文章を出します。選択肢を出します。理由も出します。ときには、かなり強い調子で「こうすべきです」と言います。

しかし、その判断の責任をAIが引き受けるわけではありません。

採用するのは人間です。
人に説明するのも人間です。
失敗したときに修正するのも人間です。
価値判断を引き受けるのも人間です。

だから、AIの回答を使う前に、こう問う必要があります。

この回答のうち、AIに任せてよい部分、人間が確認すべき部分、人間が最終判断すべき部分を分けてください。
特に、私が責任を持って説明できなければならない点を明示してください。

この問いは、AI活用の最後の砦です。

AIの回答を使ってもよい。
AIに助けてもらってもよい。
AIの整理を土台にしてもよい。

しかし、自分が説明できない判断を、そのまま外に出してはいけません。

ブレインフルプロンプトは、AIに責任を渡す技術ではありません。

AIとの対話を通じて、人間が自分の判断を引き受け直すための技術です。

吟味のための基本プロンプト

ここまでを、実際のプロンプトにするとこうなります。

以下のAI回答を、そのまま採用してよいか吟味してください。

1. 根拠
   事実確認が必要な主張、確認すべき一次情報、根拠の弱い表現を挙げてください。

2. 前提
   この回答が暗黙に置いている前提を挙げ、私の状況に合わない可能性を示してください。

3. 反例
   この回答が当てはまらないケース、最も強い反論、代替説明を出してください。

4. 影響
   採用した場合に影響を受ける人、見えにくくなるリスク、長期的な副作用を整理してください。

5. 責任
   AIに任せてよい部分、人間が確認すべき部分、人間が最終判断すべき部分を分けてください。

最後に、使える部分、保留すべき部分、捨てるべき部分に分けて要約してください。

このプロンプトは、万能ではありません。

しかし、AIの回答をきれいな文章のまま受け取るのではなく、判断できる部品へ分ける助けになります。

吟味したあとに、自分の言葉へ戻す

吟味の最後に、もう一つ必要なことがあります。

自分の言葉へ戻すことです。

AIに点検してもらっただけでは、まだ判断は外側にあります。

根拠、前提、反例、影響、責任を確認したあと、自分はどう考えるのかを短く書く必要があります。

AI回答を吟味した結果、私はこの案を＿＿として扱う。
採用できるのは＿＿の範囲である。
保留するのは＿＿である。
追加確認が必要なのは＿＿である。
最終判断として、私は＿＿を選ぶ。
その理由は＿＿である。

この再記述によって、AIの回答は自分の判断へ戻ります。

AIに考えさせるのではなく、AIとの対話を通じて自分が考えた形になる。

ここに、ブレインフルプロンプトの大切な線があります。

AIの回答は、思考の完成品ではない

AIの回答は、便利です。

速い。整っている。広い。こちらが思いつかない観点を出すこともあります。

だからこそ、危うい。

流暢な回答は、判断が終わったように見せます。きれいな構成は、論点が整理されたように見せます。専門用語は、根拠があるように見せます。

しかし、AIの回答は思考の完成品ではありません。

それは、思考を始めるための材料です。

根拠を見る。
前提を見る。
反例を見る。
影響を見る。
責任を見る。
そして、自分の言葉で判断し直す。

この過程を経て、AIの回答ははじめて、自分の仕事や学びの中で使えるものになります。

ブレインフルプロンプトにおいて、AIの回答をそのまま使わないことは、AIを軽視することではありません。

むしろ、AIを本当の意味で活かすための態度です。

AIに答えを出させるのではなく、AIの答えを吟味することで、自分の理解を深くする。

第7回では、「自分の言葉で再記述する」というテーマを扱います。

参考文献

• Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., Ishii, E., Bang, Y. J., Madotto, A., and Fung, P. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), Article 248. https://doi.org/10.1145/3571730
• Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT ’21. https://doi.org/10.1145/3442188.3445922
• Amershi, S., Weld, D., Vorvoreanu, M., Fourney, A., Nushi, B., Iqbal, S., Bennett, P. N., Inkpen, K., Teevan, J., Kikin-Gil, R., and Horvitz, E. (2019). Guidelines for Human-AI Interaction. CHI ’19. https://doi.org/10.1145/3290605.3300233
• Parasuraman, R., and Riley, V. (1997). Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors, 39(2), 230-253. https://doi.org/10.1518/001872097778543886

ファクトチェック注記

• 本稿では、生成AIが事実と異なる内容をもっともらしく出力する問題を、自然言語生成におけるハルシネーション研究に基づく一般的リスクとして扱った。
• AIの回答をそのまま採用しない態度は、ヒューマンAIインタラクションにおける適切な信頼、確認、介入の必要性と整合する。ただし、本稿は特定のAI製品や利用場面での効果を実証したものではない。
• 法務、医療、財務、制度、契約、安全に関わる判断では、AIの回答だけで結論を出さず、一次情報や専門家による確認を前提とする。