robots.txt 的演变:从治理到混乱

robots.txt 的兴衰

几十年来,Robots.txt 一直控制着网络爬虫的行为。

随着肆无忌惮的人工智能公司争夺更多数据,互联网上的基本社会契约正在崩溃。

来源和详细信息:
https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders