个人网站如何做到被各大搜索软件收录 ， 网站收录入口 。这个问题金纳莱为您提供更多相关信息让你了解 。
robot.txt文件
大部分的网站收录问题都是因为被robot.txt文件拦截导致的网站收录入口 。
robots.txt是一个纯文本文件 ， 在这个文件中网站管理者可以声明该网站中不想被robots访问的部分 ， 或者指定搜索引擎只收录指定的内容 。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时 ， 它会首先检查该站点根目录下是否存在robots.txt ， 如果存在 ， 搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在 ， 那么搜索机器人就沿着链接抓取 。
格式：
1.User-agent：
【网站收录入口 个人网站如何做到被各大搜索软件收录】用于指定搜索引擎的名称 ， 如谷歌为User-agent: Googlebot ， *代表所有搜索引擎
2.Disallow：
表示禁止蜘蛛访问的文件
User-agent: *
Disallow:
表明：允许所有搜索引擎访问网站下的所有内容 。
User-agent: *
Disallow: /
表明：禁止所有搜索引擎对网站下所有网页的访问 。
User-agent: *
Disallow: /cgi-bin/
表明：禁止所有搜索引擎进入网站的cgi-bin目录及其下所有子目录 。需要注意的是对每一个目录必须分开声明 。
User-agent: Roverdog
Disallow: /
表明：禁止Roverdog访问网站上的任何文件 。
User-agent: Googlebot
Disallow: cheese.htm
表明：禁止Google的Googlebot访问其网站下的cheese.htm文件 。
3.注释
以”#”开头的行 ， 均被视为注解内容 ， 注释需要单独成一行
Disallow: bob #comment是错误的
4.Allow行
Allow行还未普遍使用 ， 对于网站地图 ， 直接写为Sitemap: /sitemap.xml
编辑模式：
在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传 。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端 ， 所以在编辑robots.txt文件时 ， 一定要确保你的文本编辑器是在UNIX模式下 。
或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台 。
检测robots是否生效：
在百度站长后台检测robots
二 robots和nofollow的区别是什么
robots只用于站内链接 。禁止蜘蛛抓取进行收录；
nofollow的链接蜘蛛依然可以收录 ， 但是不会传递权重 ， 一般用于站外链接或者是公司电话 ， 地址的页面有助于网址权重的集中 。
三 网站误封robots后的处理
1.解封robots ， 然后到百度站长后台检测并更新Robots 。
2.在百度站长后台抓取检测 ， 此时显示抓取失败 ， 通常更改完robots不会立即生效 ， 需要等待几天 ， 可以多点击抓取几次 ， 触发蜘蛛抓取站点 。
3.在百度站长后台抓取频次 ， 申请抓取频次上调 。
4.百度反馈中心 ， 反馈是因为误操作导致了这种情况的发生 。
5.百度站长后台链接提交处 ， 设置数据主动推送（实时） 。
6.更新sitemap网站地图 ， 重新提交百度 ， 每天手工提交一次 。
四.新站robots的设置
对于已经上线但是还没有设置好的新站在robots中用
User-agent：*
Disallow:/
来禁止蜘蛛进行访问
meta标签
meta robots 标签是页面head部分meta标签的一种 ， 用于指令搜索引擎禁止索引（收录）本页内容 。
推荐阅读
- 哪个网站建站好 要装修,有什么好的装修网站推荐
- 百度网站提交 新手如何掌握制作和提交网站地图
- 我要招聘网 招聘网站哪个最好怎么快速招聘
- 买书上什么网 有什么卖二手书的网站或APP
- 看电影不卡的网站 有什么看电影不卡的网站吗
- 成人h动漫网站 想找稀有的动漫资源,必须知道哪些网站？
- 刷外链 网站权重是什么如何提高网站权重
- 创建百度指数 像那种百度指数没有收录的关键词要怎么做
- it前沿技术 国内发布前沿科技的科技网站有哪些
- 有谁知道成人网站 成人学历机构有哪些有什么推荐吗