什么是robots.txt？robots文件怎么写

什么是robots.txt？robots文件怎么写 robots文件简单的来说就是给你的网站做一个权限清单，一般是针对做SEO优化的。在这个文件里面写上哪些文件、哪些形式的链接允许搜索引擎抓取，哪些不允许。 为什么要放这个文件？放哪里？ ...