51Degrees数据显示,截至2026年5月,AI机器人已占网站访问会话的13%,较一年前8%显著上升,其中AmazonBot和Meta-External-Agent合计占比高达63%。研究覆盖72种AI爬虫,AhrefsBot和BingBot紧随其后,四者合计占85%。出版商对内容被抓取日益担忧,但目前仅通过robots.txt屏蔽约21%的AI机器人。

扫码关注二维码
2026-08-31 09:15
2026-08-31 09:12
2026-08-31 11:24
2026-08-31 11:22
2026-08-31 10:14
2026-09-01 10:48
合作咨询
扫码加入社群
扫一扫
关注亿恩公众号