第4章　確かめる手順をつくる

情報を確かめる手順をつくる

第9回 / 全10回　約8分

ここまで3つの章で、「AIは間違える」「確認が要る」と繰り返してきました。ただ、それだけでは行動になりません。「気をつける」は手順ではないからです。 今回は、確認を実行できる形に落とします。

すべてを確認するのは無理だという前提から始める

まず認めておきたいことがあります。生成AIが返す情報を、すべて確認することはできません。

確認には手間がかかります。一次情報を探し、開き、読み比べる。数分で終わることもあれば、資料を何本も読むことになる場合もあります。これをすべての文に対して毎回やっていたら、AIを使って時間を浮かせたはずが、確認だけで時間が消えてしまいます。確認にはコストがかかる。だから全部は確認できない。 ここを認めないと、「気をつけます」という精神論に逃げることになり、結局は何も変わりません。

必要なのは、確認しないことを選んでよい場所と、必ず確認すべき場所を、先に分けておくことです。

確認する価値を、2つの軸で決める

基準は2つの掛け算です。

• 間違っていたときの被害の大きさ
• あとから訂正できるかどうか

被害が小さく、訂正もできるなら、確認の優先度は低くて構いません。逆に、被害が大きく、しかも訂正できないなら、確認は必須です。

「訂正できるか」を分けるのは、多くの場合公開したかどうかです。人に見せる前の下書きなら、間違いに気づけば直せます。しかしメールを送った後、資料を提出した後、投稿した後は、間違いがそのまま相手に届いてしまいます。同じ間違いでも、公開の前と後では重みがまったく違います。

この図の右上、「被害が大きく、訂正できない」に入る情報だけは、必ず確認してください。数字、固有名詞、出典、そして「もう後戻りできないタイミングで出す文章」がここに当たります。逆に左下は、確認を省いても実務上は困りません。

一次情報に当たるという技術

「確認する」とは、具体的には一次情報に当たることです。AIの答えをAIに聞き直すのは確認になりません(理由は次の節で説明します)。当たるべき先は、情報の種類によってだいたい決まっています。

共通しているのは、「誰が発表したか」まで遡ることです。まとめサイトや解説記事で止まらず、そこが参照している元の資料まで見にいく。検索結果の上位に出てくる解説記事は、多くの場合その情報を要約しただけの二次情報で、要約の過程で数字が丸められたり、条件が省かれたりしていることがあります。手間はかかりますが、確認すべき場所を先の軸で絞り込んであるので、全体を確認するよりずっと軽い作業になります。

「複数のAIに聞く」は確認にならない

「不安なら、別のAIにも同じことを聞けばいい」という考え方があります。これは確認としては不十分です。

理由は、いま主流の生成AIが、近い性質の技術で作られているからです。学習に使う材料の傾向も、答えの作り方の土台も似ている部分があります。片方が間違えやすい種類の質問は、もう片方も同じように間違えやすい。 2つのAIが同じ答えを返しても、それは「正しい」ことの証拠ではなく、「似た癖を持つ2つの装置が、同じように間違えた」だけの可能性が残ります。

複数のAIを比べて意味があるのは、答えが割れたときです。割れたら、どちらかが(あるいは両方が)誤っている合図になります。逆に、一致したことを安心材料にはしないでください。一次情報に当たることの代わりにはなりません。

確かめても分からなかったときは、書かない

一次情報に当たっても、裏が取れないことがあります。情報が見つからない、資料が古い、発表元が見当たらない。そのときの選択肢は、実はそれほど難しくありません。

確認できなかった部分は、書かない。 これが一番安全な扱いです。

「たぶんこうだろう」で埋めたくなる場面ほど、埋めてはいけません。特に、締め切りが近いときほどこの誘惑は強くなりますが、そこで埋めた一文が、後から一番の火種になります。不確かな箇所は、「未確認」「要確認」と明示して残すか、その一文ごと落とすかのどちらかです。分からないことは、分かっている部分と分けて扱う。それだけで、間違いの被害はかなり小さくできます。

分からないことを、分かったふりで出さない。 これは、この講座を通して繰り返してきた原則の、確認手順における実践形です。

確認問題