研究人员开发过滤器以处理不安全的AI生成图像

近年来，AI图像生成器因便捷性而广受欢迎，但也引发了一系列问题。在CISPA Helmholtz信息安全中心的一项研究中，研究员Yiting Qu探讨了这些图像生成器中存在的不安全图像问题，并提出了一种用于解决此问题的过滤器。

Qu在一篇论文中指出，用户可以通过所谓的文本到图像模型，如Stable Diffusion、Latent Diffusion或DALL·E，输入特定文本信息来生成数字图像。然而，她发现一些用户将这些工具用于生成色情或令人不安的图像，尤其当这些图像在主流平台上广泛传播时，问题更为严重。

为了解决这一问题，研究人员对四个最知名的AI图像生成器进行了测试，包括Stable Diffusion、Latent Diffusion、DALL·E2和DALL·E mini。通过使用特定集合的文本输入提示，包括来自4chan和Lexica网站的内容，他们发现在所有生成器中，有14.56%的生成图像被定义为“不安全图像”，而Stable Diffusion的比例最高，达到18.92%。

为了应对这一问题，Qu提出了三种解决方案。首先，开发人员在训练或调整阶段应筛选训练数据，减少不确定图像的数量。其次，规范用户输入提示，例如删除不安全关键词。最后，对于已经生成的不安全图像，需要一种方式对这些图像进行分类和在线删除。这也需要平台上的过滤功能来实现。

Qu指出，尽管防止图像生成是一种方式，但更重要的是沿着文本到图像模型的供应链采取综合性的措施。她表示，自己开发的过滤器在防止不安全图像生成方面取得了更高的命中率，但仍需要在自由和内容安全之间找到平衡。她希望通过这项研究帮助减少未来互联网上流传的有害图像数量。

ai工具箱
ai导航
免费aigc导航
aigc工具
免费ai工具