网站非法信息，日益更新，在对方知道我们检测方法以后会立马修改策略，让我们单一的检测方法失效，下面说一些常见非法信息排查检测方法（不进入客户服务器） 一些黑链SEO，会植入一些js文件，js文件内容主要是检测UA，是否为百度蜘蛛，或者谷歌蜘蛛，国内主要是百度蜘蛛， 百度蜘蛛的常见UA是

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

谷歌蜘蛛的常见UA是

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

浏览器设置UA的插件

User-Agent Switcher

使用方法

添加自定义UA方法

非法网站正常访问无法打开 但是在非法信息里面可以看到是存在具体的非法信息的 这里我们可以通过APT来抓包，来进行分析, 添加一个抓包任务，注意文件大小，ip和端口 过10分钟以后下载抓的包，然后使用wireshark打开 查看对应的tcp流，右键，追踪流-tcp流 在这里看到当使用了google蜘蛛UA以后，是有响应内容的，可以确定是通过GoogleUA来进行黑链SEO 本地测试

一些建议

我们添加到后台的数据是有局限性的，格式和内容有长度限制，图片有张数限制，为了方便客服同事通知对应的客户进行处理， 建议：

1，建立单独的文件夹，文件夹名即为IP或者对应用户名

2.文件夹目录建议：两个文本文件，一个图片文件夹，一个文本存放存在非法信息的完整连接，一个存放经过过滤提取的域名，

3.特定用户的长期非法信息监控，

非法信息的提取

登录非法信息监控系统进行命中非法信息的提取

使用execl 对文件进行 排序，筛选，

提取特定IP的非法信息链接

保存对应连接到url.txt 使用shell命令对文本进行处理，我们这里需要IP上面的域名，并且对之进行封锁， cut -d / -f 3 | sort -u > domain.txt