robots.txt 的兴衰

几十年来，Robots.txt 一直控制着网络爬虫的行为。

随着肆无忌惮的人工智能公司争夺更多数据，互联网上的基本社会契约正在崩溃。

来源和详细信息：
https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders