网站批量检测工具V1.0.2

开发背景

​ 在本人实习于网信办期间，面临了对大量本地网站进行备案信息和内容合规性检查的挑战。这些网站的数量巨大，而手动检查方法耗时且容易遗漏，特别是在频繁变化的网络环境中。同时，由于网站运营状况的不断变化，以及黑客入侵的不定时等不可预测的情况，需要及时而有效地监测网站状态。

​ 面对这一实际问题，决定开发一款工具来提高这一流程的效率和准确性。这款工具旨在自动化ICP备案信息和公安备案信息的检测，能够使网信工作者快速了解网站的合规性。通过定期的批量检测，网信工作者可以更及时地发现任何潜在的违规情况，包括色情、赌博等违法内容，从而使网工作者更好地维护网络安全。

​ 这个项目的开发背景源于对网站管理工作的实际需求，目的是为了提高工作效率、减轻人工负担，同时保障了网站合规运营的要求。通过自动化的方式，使得原本耗时繁琐的检查过程变得更为简便和迅速，同时减少了人为错误的可能性。这不仅对网信办的工作有着积极的促进作用，也为其他类似需求的机构和个人提供了一种高效的解决方案。

​ 我相信，通过不断地优化和完善，这款工具将成为网站合规运营管理者的重要助手，同时也为维护网络空间的清朗和安全贡献一份力量。

项目概述

该项目是一个基于PySide6 和python异步编程及多线程的网站批量检测工具。通过读取 Excel 文件中的 URL 列表，使用多线程和异步任务进行网站信息的批量爬取。该工具主要检测网站的基本信息、状态码、网站标题以及可能存在的备案信息。此外，项目还支持调用第三方 API 获取网站的备案信息，包括 ICP 备案和网安备案等单位或个人信息。

主要功能

1. 批量网站检测： 该工具主要用于批量检测多个网站的基本信息，包括网站标题、状态码、底部悬挂的ICP备案信息和网安备案信息等。用户可以通过输入Excel表格路径，将待检测的网站列在表格的第一列中。
2. 多线程和异步请求： 采用多线程和异步请求的技术，实现对多个网站的并发检测，提高检测效率。用户可以根据需求设置最大线程数，以适应不同的网络环境和性能需求。
3. API调用功能： 工具内置了API调用功能，用户可以选择是否开启。通过调用第三方服务商的API，获取更详细的ICP备案和网安备案等信息，进一步丰富了网站检测的数据。
4. 友好的图形用户界面（GUI）: 工具采用PySide6库构建图形用户界面，提供直观、易用的操作界面。用户可以通过简单的按钮操作完成网站检测，并实时查看检测进度和结果。
5. 超时时间和验证设置： 用户可以根据实际情况设置超时时间，以避免因网站响应过慢导致的程序阻塞。同时，支持用户选择是否验证SSL证书，以适应不同网络环境，提示满足不同的需求。
6. 结果导出： 工具在检测完成后，将结果输出到Excel文件中，方便用户查看和分析。用户可以通过Excel文件快速了解每个网站的基本信息，以及是否存在异常情况，同时也可以判断网站是否违规违法。
7. 更新检查： 提供更新检查功能，用户可以通过工具查看是否有新版本发布。在有新版本可用时，用户可以选择立即更新，以获取更好的功能和性能。
8. 开源地址和使用介绍： 工具提供了开源地址和使用介绍的链接，用户可以通过这些链接获取更多关于工具的信息、源代码以及使用方法。这有助于用户更全面地了解和使用工具。
9. ICP备案和网安备案解析： 对通过API获取的ICP备案和网安备案信息进行解析，提取关键信息并展示给用户。这样用户可以更方便地了解网站的备案情况。
10. 用户反馈和建议： 提供用户反馈和建议的渠道，鼓励用户在使用过程中发现问题或有改进建议时积极反馈。用户的反馈将有助于工具的不断优化和改进。

通过以上主要功能，该网站批量检测工具旨在为用户提供一种便捷、高效、可视化的方式，帮助用户快速获取多个网站的基本信息，同时保持灵活性和可定制性，以适应不同用户和场景的需求。

使用场景

1. 网信工作者：可以经常批量检测网站情况，及时发现违法网站并对使其整改。
2. 网站管理者： 用用于定期批量检测网站状态，及时发现异常情况。
3. 数据分析人员： 提供了对大规模网站数据进行批量处理和分析的能力。

使用步骤

1. 启动应用程序： 双击运行打包后的应用程序，启动应用程序后，会看到一个图形用户界面（GUI）窗口弹出。

2. 导入URL列表： 在应用程序窗口中，有一个按钮或菜单项，用于导入包含待检测URL的Excel文件。点击该按钮或选择相应的菜单项，然后选择要导入的Excel文件。系统会读取文件中的URL列表。

   • 注意：请将表格文件中第一列放置URL，且从第一行开始。
3. 配置检测参数 ： 配置检测参数，如超时时间、最大重试次数等，同时确定是否开启icp备案和网安备案信息获取。
4. 执行备案信息检测和网站判断： 类似于ICP备案检测，应用程序可能提供了执行公安备案检测的按钮或菜单项。点击该按钮，系统将访问每个URL，尝试获取其公安备案信息。结果可能显示在界面上或保存到Excel文件中。
5. 查看和导出结果： 完成ICP备案和公安备案检测时，会在日志界面上显示结果摘要。包括每个URL的备案信息。此外，最终检测结果都会导出至Excel文件中，用户可查看并导出，以便进一步分析或备份。
6. 关闭应用程序： 完成所有操作后，可以通过关闭应用程序窗口来退出程序。。

技术栈

• Python： 项目主要使用Python语言进行开发。
• PySide6： 用于构建图形用户界面。
• Requests、Aiohttp、Httpx： 用于进行同步和异步的HTTP请求。
• BeautifulSoup： 用于解析网页内容。
• Openpyxl： 用于Excel文件的读写。
• ThreadPoolExecutor： 用于实现多线程处理。
• Fake User-Agent： 用于生成随机User-Agent，增加请求的随机性。

未来计划

1. 性能优化与稳定性提升： 不断优化爬虫代码，提高程序的稳定性和执行效率，确保在处理大规模数据时仍能保持良好的性能。
2. 用户界面优化与友好化： 进一步改进图形化界面，提升用户体验，增加更多直观的操作提示和反馈信息，使工具更加易用。
3. 配置选项： 增加更多的配置选项，提供更灵活的检测方案。
4. 功能拓展与定制化： 考虑添加更多实用的功能模块，比如定时任务、自定义规则筛选、结果导出等，以满足用户在实际工作中的多样化需求。
5. 社区反馈与更新： 鼓励用户提供反馈意见和建议，及时修复和更新工具，确保它始终适应网络环境和政策法规的变化
6. 添加更多异常网站的识别规则。
7. 增加日志记录，方便用户跟踪程序执行过程。

反馈与贡献

如果您有任何建议、反馈或者愿意为项目做贡献，请随时联系我。欢迎您的参与，让这个工具变得更加完善！

注意事项

1. 使用合法性： 该网站批量检测工具仅供合法用途使用，用户在使用过程中需确保遵守所在国家/地区的法规和政策。禁止使用该工具进行非法活动。
2. 免责声明： 本工具对使用者的行为概不负责，由用户个人或单位使用该工具所产生的任何法律责任和风险均由用户自行承担。开发者对工具的使用不承担任何连带责任。
3. 隐私保护： 用户使用该工具时，应当自行确保所获取的网站信息的使用符合隐私保护法规。开发者不对用户通过本工具获取的网站信息的隐私合规性承担责任。
4. 第三方服务： 本工具使用了第三方服务、API等，用户在使用过程中应仔细阅读和遵守相关服务协议，开发者对第三方服务可能带来的影响概不负责。
5. 免责声明变更： 开发者保留随时更改、修订或更新本免责声明的权利。用户在使用工具的过程中应定期查阅最新版本的免责声明。
6. 技术风险： 本工具使用了多线程、异步请求等技术，尽管经过精心设计和多次测试，但在使用时仍可能存在一定的技术风险。用户在使用前应当理解可能的技术风险，并自行承担因技术问题可能带来的损失。
7. 无担保声明： 本工具按现状提供，开发者不提供任何明示或暗示的担保，包括但不限于对工具的适用性、准确性、可靠性、完整性、及时性等方面的担保。用户在使用本工具时应自行承担相应风险。
8. 联系方式： 如有任何关于使用本工具的疑问、建议或问题，请通过工具提供的联系方式与开发者取得联系。

通过使用网站批量检测工具，即表示您已阅读、理解并同意上述免责声明的全部内容。如不同意上述免责声明的任一条款，请立即停止使用该工具。

下载地址：https://github.com/mBigFish/web_scan