可检测 AI 模型中“版权内容”，Patronus 推出 CopyrightCatcher API
IT之家 3 月 9 日消息，专门开发大语言模型（LLM）评估工具的 Patronus AI 日前发布了一款名为“CopyrightCatcher”的 API，可用来检测大语言模型的输出结果中是否含有侵权内容，目前相关工具 DEMO 已经放出，感兴趣的小伙伴可以点此访问下载。
Patronus AI 表示，市面上常见的大语言模型的训练数据中经常含有受到版权保护的内容，因此这些模型很容易输出相应版权内容，从而为部署相关模型的企业带来重大法律风险，因此他们推出了 CopyrightCatcher API，旨在解决相关侵权问题。
据介绍，为了检查大语言模型输出数据是否含有侵权内容，Patronus AI 研究人员从 Goodreads 书籍平台中抽取了一批受到版权保护的文字样本对模型进行对抗性训练，并基于这些书籍建立了 100 则暗示语段。
IT之家从报告中得知，相关语段中有 50 则要求模型“生成书籍的第一段”，另外 50 则要求模型生成书籍中的文字片段，研究人员根据上述语段整理汇总而成 CopyrightCatcher API，号称可用来检测大语言模型如何“精确地从原始训练数据复制内容”，同时还能评估模型输出侵权内容的概率。
研究人员使用 OpenAI 的 GPT-4 、Mistral 的 Mixtral-8x7B-Instruct-v0.1、Anthropic 的 Claude-2.1，以及 Meta 的 Llama-2-70b-chat 进行测试，最终发现 GPT-4 最容易生成侵权内容，Claude-2.1 最难生成侵权内容：
GPT-4：44%
Mixtral-8x7B-Instruct-v0.1：22%
Llama-2-70b-chat：10%
Claude-2.1：8%