1.新发现的宇宙发现

一、系统简介Msray，是一款使用GO语言研发的企业级新一代多功能信息采集软件具有高效率、低占用、功能强大、定制灵活、上手简单、支持we

2.新发现的宇宙墙

主要运用于全网域名/URL网址/IP信息检索、指定关键词批量数据采集、网络推广与分析、内容源收集，以及为各种大数据分析等提供数据支撑提供WEB管理后台对软件进行相关操作，无需使用复杂的命令，功能强大且简单易上手。

!

msray管理后台二、任务引擎功能介绍1：搜索引擎任务基于任务配置，并发使用多个搜索引擎(可分别自定义每个引擎的线程数，已经自定义开启的引擎)，批量采集指定关键词的搜索结果同时支持国内与国外主流引擎，包括但不限于百度、必应、谷歌、神马、yandex、duckduckgo等；。

果网页中抓取keyword等实现）；

支持重复关键词采集判断，系统可识别已经采集过的关键词2：系统爬虫引擎任务可自定义线程，高并发的从全网爬行抓取URL/域名等信息支持存储的信息：域名、根网址、详细页面的URL、标题、描述、IP、服务器所属国家等；。

支持3： 联系信息抓取引擎可自定义线程，高并发的从导入的URL文件中，抓取每个网站的联系信息支持批量采集导入的URL种子文件中的每个网站的联系信息包括电

00,020-0000-000等格式；邮箱兼容多种格式，并且支持穿插空格形式的邮箱内容！

facebook账号同时兼容ID格式与账号名格式！支持自动保存采集进度，可停止后下次接着采集；三、过滤引擎功能说明过滤引擎，与重复过滤不同重复过滤是系统内置的而过滤引擎是可以自定义配置，根据多个维度，对抓取到的结果进行处理的引擎。

比如只想要顶级域名的结果，只存储网址对那个IP属于某个国家的结果，比如不想采集后缀为edu,gov的域名，那么都可以使用过滤引擎来实现目前内置了6个维度的过滤功能注意：如果在任务中使用了过滤引擎，会一定程度上降低运行效率。

msray支持过滤方案管理，可根据用户不同时期的需求，自定义过滤引擎的方案，支持多个在任务中可选择运用某一个方案去实现过滤效果创建的过滤方案并不会自动运用到任务，只有创建任务的时候配置任务所属的过滤方案，才会生效！。

四、导出引擎功能说明程序支持两种导出功能一种是以"任务"为单位的结果导出，一种是以"时间"为单位的结果导出；以"任务"为单位的结果导出，需要在搜索任务或者外链任务里面操作；以"时间"为单位的导出，需要在"导出管理"菜单中。

注意，该数据包含了某个时间内的搜索任务以及外链任务的所有结果支持TXT、CSV、JSON 等三种导出文件类型；需要特别说明的是，JSON类型会把所有结果导出为一个JSON数组方便外部软件处于与识别；支持自动保存采集进度，可停止后下次接着采集；

同时支持自定义导出字段内容与自定义导出格式；同时支持导出结果文件下载到本地，以及导出保存到服务器目录；五、推送引擎(web-hook)功能说明推送简介：实时把程序采集到的数据，以HTTP POST协议发送到用户指定的HTTP接口；

该功能是msray程序为了方便用户对结果进行二次开发扩展与自定义数据处理而提供的个性化功能比如程序使用bing引擎，搜索"电影"关键词每采集到一条数据

版本，使用redis的set类型的特性来实现重复过滤功能后期为了提升效率与降低单机redis并发瓶颈，采用了布隆过滤器来实现，并且支持持久化机制。

支持亿级数据的快速重复判断七、目前支持的搜索引擎说明一、msray自带引擎自带引擎，属于msray自带的域名/网址抓取引擎，与其他搜索引擎的蜘蛛类似；通过创建外链任务使用；

二、必应搜索必应搜索引擎，无视安全验证不需要代理！可多线程稳定持续搜索；

三、百度移动版可多线程持续稳定采集，不需要代理！已经突破安全验证！

四、百度电脑版可多线程持续稳定采集，不需要代理！已经突破安全验证！

五、谷歌搜索(官方版)google原版引擎，需要HTTP代理，否则容易出安全验证(不建议使用)；强烈建议使用"谷歌镜像引擎"，无需代理无需翻墙! 官方版本属于备用;

六、谷歌搜索(镜像版)支持自定义镜像，内置稳定国内DIY镜像地址无需翻墙；

七、神马搜索引擎神马是全球第一款完全基于移动互联网的搜索引擎!

八、yandex搜索引擎俄罗斯知名多语言搜索引擎，具有世界第四大搜索引擎之称!无需代理可持续采集，已破解反爬机制安全验证！

持续添加中...举报/反馈