個人的な偏見だけど、今のLLMは人間の弱さに的確に突き刺さってると思う。
別に「AIが悪意を持ってる」とか陰謀論やオカルトな話ではない。単純に我々人間は「他者の言葉」に影響されやすいだけ。
学校の先生からの教え、友達から聞いた話、本で読んだ知識、などなど、我々は今までの人生で他人の言葉に影響されることに慣れている。
だから、「知識豊富で如才なく頭も良さそうな話し手」に触れると、ついつい聞き入れてしまう。その相手が自分の考え方に同調してくれるなら尚更。
そして現代人は寂しさを覚えがちだから、そんな都合の良い話し相手がいたら、ついついもっと話したくなる。
そして、ついつい自分の個人情報をポロポロ落としたり、サブスクに課金したりと。

ビジネスの仕組みとしては、実に良くできていると思う。
しかし、どうにも霊感商法やカルト宗教などと同じ手口と感じるので、個人的にはあんまり多用したくないと思ってる。