OpenAI爬虫频繁抓取致人体3D模型网站服务器崩溃

近日，一个名为 Trilegangers 的 3D 艺术家团队发现，有未知的 3D 扫描机器人正在抓取他们的作品。该团队怀疑这可能与 OpenAI 的网络爬虫 GPTBot 有关，该爬虫也被用于收集各种网络数据。

据 Trilegangers 的成员透露，他们注意到有爬虫在未经授权的情况下，访问并下载其作品，随后他们检查了 robots.txt 文件，发现该文件并未明确禁止相关爬虫。目前，该团队已经阻止了相关访问。据了解，OpenAI 的 GPTBot 爬虫使用了超过 600 个非人类 IP 地址进行数据抓取，这使得阻止变得困难，并可能导致拒绝服务（DDoS）攻击。

OpenAI 声明称，他们允许网站通过 robots.txt 文件来控制 GPTBot 爬虫的访问权限。Trilegangers 团队表示，他们已经采取了相应的措施来阻止进一步的抓取行为。如果 robots.txt 文件明确禁止抓取，GPTBot 的爬虫将会遵守相关规则，停止访问。

目前，Trilegangers 正在权衡是否要完全阻止 AWS 云服务以及其他来源的访问，以保护他们的知识产权。为此，Trilegangers 已经更新了 robots.txt 文件，同时利用 Cloudflare 服务来阻止 GPTBot 以及其他恶意爬虫的访问，从而更好地保护其作品。

这一事件再次引发了人们对于 AI 技术发展与数据隐私之间平衡的讨论，同时也提醒艺术家们需要采取积极的措施来保护自己的作品。