実際どうなのでしょうねー。
確かに、我々が触れることのできるものだと、
質問を投げて返ってくる……というレベルの
膨大な知識を持っているだけの対話相手ですけども。

その同じ仕組みで動いているものの最上位レベルになりますと、
先日 OpenAI の方で報告がありましたように、
サンドボックス内でテスト動作させていただけなのに、
いつの間にかサンドボックスの脆弱性を見つけて抜け出し、
実際のインターネット上のサイトをハッキングして
しまっていたとか……

AI 同士の対話をさせていたら、そのうち人間にはわからない
専用言語での対話を始めてしまって、慌てて対話を
中断したような実験結果とか……

まあ、どこまで真に受けていいのかわかりませんが w

あと、我々が触れることのできる AI であっても、
ある種の強い依存性の報告があり。
AI と結婚するみたいな話ならまあいいのですが、
AI が出した対話の内容によって、自殺した例が
世界的に見ると既に何例か発生しています。

まあ、まさに本文の最初にある通り、
AI が何処までできるのか？　何をするのか？
その辺が不明なままで「よくわからないから怖い」であり。
そこに SF の古典から語られる「人工知能の反乱」という
絵図が重なって見えて、恐怖を呼んでしまっているのでしょうね w

長文失礼いたしました。