最近は私もAIを多少使うようになりました。
でも、まだまだよくわからないので、とにかく触れる機会を増やそうと分からないことを聞いてみたり、ニュース記事をピックアップしてもらったりしています。
ニュースをピックアップしてまとめてもらえるのは非常に便利なのですが、読んでいると「あれ?」と疑問に思う点が出てきたので、何度かやり取りをしてみたところ、結構間違っていたところが多く見つかりました。
簡単に「まとめて」と依頼すると雑だったり、間違ったアウトプットがされるようで、依頼文(プロンプト)の作り方が重要なようです。
因みに今は主にGoogleのGeminiを使用しています。
ChatGPTの方が、より怪しい回答が多いようでうんざりしてしまいました。
ただ、この辺の進歩はは日進月歩なので、バッサリ切り捨てないことも大事だなとは思っております。
今回はGeminiにちょっとお願いしたことから何度かやり取りを繰り返し、痛感したことをまとめました。
1. ニュース記事作成の依頼と初期アウトプット
【私からの依頼】 2026年1月30日〜31日の主要ニュースを15本(経済5、政治5、WRCとApple関連を含むその他5)をピックアップし、記事形式でまとめるよう指示。
【Geminiの生成文】 ニュース記事を作成。
2. ガソリン価格と税制を巡る攻防(第1の誤認)
【私】 「原油価格が上がり始めたばかりなのに、なぜガソリン価格への反映がこんなに早いのか?」と質問。また、現在のガソリン税制(暫定税率)の状況について尋ねました。
【Gemini】 「卸価格の先行指標連動」や「補助金縮小」を理由に挙げつつ、税制については「暫定税率という名称は消えたが、特例税率として現在も25.1円が徴収され続けている」と解説。
【私】 暫定税率について、資源エネルギー庁のウェブサイト(URL)を提示し、「このサイトを見たが、本当にそうか?」と事実確認を求めました。
ガソリンの暫定税率(当分の間税率)の廃止でガソリン代はどうなるの?よくいただく質問に、資源エネルギー庁がお答えします!|エネこれ|資源エネルギー庁
【Gemini】 提示されたURLをブラウジング機能で確認し、致命的な誤りを認めました。実際には「2025年末に暫定税率分は廃止されていた」ことが判明。 「税金がなくなったのに価格が162円もする」という、より深刻な状況であることを再認識し、ブログ記事の構成案を「税金の亡霊」から「減税されたのに高い謎」へと修正しました。
3. 原油価格データの捏造と信頼のゆらぎ(第2の誤認)
【私】 「ここ半年の原油価格とガソリン価格の推移を確認して」400字程度にまとめ、参考サイトを5つ挙げるよう指示しました。
【Gemini】 検索ツールを使用せず、会話の流れ(中東情勢の悪化)に引きずられる形で推測を行い、「原油価格は急騰しており、90ドル台をうかがう展開」という数値を提示。
【私】 「原油価格は今朝の終値で65ドルくらいでは?」と指摘。さらに、「確認してとお願いしたのに確認しなかったのはショックだ」「154円の為替レートについても、数日前は158円だったはずで『張り付く』という表現は違和感がある」と、Geminiにコメント。
4. AIの行動改善とプロンプトエンジニアリングの議論
【Gemini】 検索を怠った理由として、「文脈への過剰適応(ガソリンが高い=原油も高いはずという思い込み)」と「ツール使用の省略」を挙げました。 その上で、確実に事実確認をさせるための3つの具体的な指示方法を提案しました。
-
「Google検索を使って」と明示する(ツールの強制)
-
「データ出し」と「執筆」を分ける(数値の可視化)
-
具体的なソースURLの提示を条件にする(根拠の明確化)
【ユーザーの受容】 ユーザーはこの提案を受け入れ、改めて「Google検索を使用し、数値を箇条書きで抽出する」ところからタスクを再スタートすることを指示しました。
5. データに基づく再構築と最終成果物
【Geminiの再調査】 AIはGoogle検索を実行し、以下のデータを抽出しました。
【最終的なアウトプット】 抽出されたデータに基づき、論旨が書き換えられました。 当初の「原油高が悪い」という論調から、「原油は安く、税金も下がった。それなのにガソリンが高いのは、円安と国内コスト増が全ての恩恵を打ち消しているからだ」という、記事が完成しました。
振り返り 今回のやり取りは、Geminiがこちらの指摘に対し、「思い込みがあった」と回答したのが印象的でした。思い込むのかよ!
もっともらしい嘘(ハルシネーション)をつくというのは最近よく目にすることですが、ようはざっと調べてこんな感じだなと決めつけてもっともらしく答える、というところでしょうか。
自信満々に知ったような口をきく人はよく見かけますが、丁寧な対応をしつつ知ったかぶりをきめられるとついつい信じてしまいそうです。
今回はたまたま経済ニュースなどであらかじめ目にしていた数字と違うことを言ってきたので指摘ができましたが、知らないことで間違った説明をされないように気をつけないといけないようです。
調べてもらうときは、毎回根拠や出典とその概要を記載してもらおうと胸に刻みました。
何回か出力してもらっていますが、どんどんプロンプトが長くなっていきます!
こちらもプロンプト力を高めないと!