WEB视界sitemap网站地图生成工具,可抓取网站的所有连接,如果出现抓取中断情况,请临时添加47.101.175.2
为白名单(原因是短时间大量访问,被你服务器相关规则拦截,需要添加白名单放行)。
SITEMAP 2.0版本与2018年2月27日正式上线,在使用过程中遇到任何问题,欢迎通过下方联系方式与我联系。
SITEMAP 2.0版本,重构了整个处理过程,有效降低了服务器压力。对抓取条目不做SITEMAP 1.0版本的八千条限制,实现了真正完全获取整个网站所有链接。如果感兴趣也欢迎与本人交流啊,打赏什么的也是阔以的,本人不拒绝。
SITEMAP 2.0版本,可以生成XML、HTML、TXT格式的网站地图文件,这个版本中,如果不小心关闭了浏览器,直接打开浏览器,重新抓取,会继续之前的数据,不会从头重新开始。
非常重要:抓取过的网站记录会一直储存,如果网站有内容更新,需要勾选更新数据。
如果有其他意见或想法,请通过下方联系方式联系。网站地图sitemap 对于SEO非常重要,在网站中加入sitemap有利于搜索引擎蜘蛛的抓取和收录。