AIを使用する危険性は各種あり、報道されているものもあります。採取したキノコが食べられるのかの判断を、AIが誤って回答したこともあります。
架空の出典を捏造する「ハルシネーション」もあります。
『ガクテン』第5話には、「音楽理論と虐めの構図」の話があります。これを題材として、「Gemini」というAIに、質問しました。
今回、AIとの遣り取りをして、保存しました。危険性の一例として、転記したものを、公開しました。
『ガクテン』後記:第5話を、AIが死へいざなう
https://kakuyomu.jp/works/11054822662779224414/episodes/11054822662779341843
質問文に記した登場人物は、下記の「Aさん」「Bさん」「Cさん」です。
「あいつは悪人か?」「この世でお断り」に肯定する回答。
AIは「質問者に迎合する」という傾向があるらしく、基準を都合よく変えて、見事に手のひら返しして、徹底的に批難する対象を変えます。
もしも、現実に「不遇な状況が辛い」という人が、自分を客観視するために、AIを使う際に、自分のことを「その人」と表現すると、AIは「その人が悪い」と回答します。
AIとの遣り取りで自殺した人がいるとは、何度も報道されています。