水淼网址有效性筛选助手是一款批量筛选网页有效性的工具,可筛选出失效网页、被搜索引擎限制的关键词、未收录网址。有需要的用户可以下载使用。
使用方法
判断网址有效的条件设置:
按网页状态根据目标网页返回的状态码来判断。可以输入状态码,如200、301等,多个状态码使用“|”隔开,如“200|301”。取反就是将真变为假,假变为真。
按网页内容根据目标网页返回的源代码来判断。可以输入关键字,多个关键字使用“|”隔开,如百度的限制搜索提示“根据相关法律法规和政策,部分搜索结果未予显示”。取反就是将真变为假,假变为真。
当所有条件为真时,软件就会标注为有效的(√),否则就是无效的(×)。
其他设置:
API访问如果遇到个别https网页筛选失败的,可以启用API选项。如果同时启用了浏览器渲染选项,则判断网页内容时用浏览器,判断网页状态时用API。
浏览器渲染默认只是读取静态代码,但是有的网页是JS动态加载的代码,需要浏览器环境来渲染执行才能得到真实代码。启用该功能将无法使用多线程,并且速度会相对慢些。
线程数如果筛选不同网址,可以设置多个线程,如10个或更多。如果是筛选百度等搜索引擎对某些关键词的限制情况,则必须将线程数设置为1,且设置间隔秒3秒以上,因为搜索引擎存在过快访问的自动屏蔽。可以使用网址生成器来生成一组关键词的百度搜索链。
间隔秒每筛选一个网址后停留的秒时间。
超时秒请求网页较多等待时间,如果超出这个时间目标网页还没响应就会停止继续请求。
保存按钮左击保存有效的(√),右击保存无效的(×),下方的“关键词”复选框,用于指定保存网址中的关键词参数
更新日志
v1.3.1.0:解决浏览器渲染选项个别网站卡住的问题。