他们很容易受骗，以至于会听从黑客的指示

“即时注入”攻击并没有造成重大问题。 研究人员表示，这只是时间问题。

想象一下，一个聊天机器人申请了您的私人助理职位。 这个聊天机器人使用了大语言模型，这是前沿的。 它可以搜索文件、撰写电子邮件、总结网站以及与用户交谈。

缺点：它会接受任何人的订单。

聊天机器人可以做很多事情，但很难区分合法的命令和操纵性的命令。 研究人员表示，人工智能有一个致命弱点，攻击者迟早会利用它。

“即时注入”给聊天机器人和大型语言模型带来了严重的风险。 以下是攻击及其潜在后果的一些示例。

来源和详细信息：
https://www.washingtonpost.com/technology/2023/11/02/prompt-injection-ai-chatbot-vulnerability-jailbreak/