@starfish 看各地的规则，比如robot.txt文件就是禁止爬虫协议（君子协定，印象中没有强制作用），里面有两个参数，user-agent表示禁止什么爬虫，disallow表明禁止抓取哪些目录。一般友好爬虫都会遵守这个协定

AO3的话我印象中是不禁止爬虫的，但是AO3希望在服务器压力较小（深夜之类的时间）进行。具体说明得找找了。