广东
网站地图生成器
一个功能强大的网站地图生成工具，使用PyQt5制作界面，支持快速深度抓取并导出多种格式的网站地图。
下载地址：https://www.ygrjk.com/net/4.html
功能特点
️ 深度爬取整个网站的所有页面
支持导出 XML、TXT、HTML 三种格式的网站地图
⚡ 异步并发爬取，速度快效率高
⏱️ 智能延迟机制，防止频繁请求被屏蔽
配置参数
网站URL: 输入要爬取的网站首页地址（必须以 http:// 或 https:// 开头）
并发数: 同时爬取的页面数量，建议 10-50（默认20，数值越大速度越快）
延迟范围: 每次请求之间的随机延迟时间（秒），防止被封（默认0-1秒，可设为0以提升速度）
. 开始爬取
1. 点击"开始爬取"按钮
2. 程序会自动深度遍历网站的所有页面
3. **实时显示**每个页面的抓取状态和发现的URL
4. 可随时点击"停止"按钮**优雅停止**爬取
5. 停止后仍可导出已爬取的URL
4. 导出网站地图
爬取完成后，选择导出格式和分割选项：
导出格式：
XML格式 - 标准sitemap.xml格式，符合搜索引擎规范
TXT格式 - 纯文本URL列表，每行一个URL
HTML格式- 美观的HTML页面，可直接在浏览器中查看
文件分割：
不分割 - 所有URL导出到单个文件
自动分割 - 按指定数量自动分割成多个文件
- 可设置每个文件最多包含的URL数量（建议10000个）
- 例如：100000个URL，设置10000/文件，将生成10个文件
- 文件命名：sitemap_1.xml, sitemap_2.xml, sitemap_3.xml...
⚠️ 使用建议
首次使用建议设置较小的并发数（5-10）
大型网站建议增加延迟时间（2-5秒）
确保网络连接稳定
遵守目标网站的 robots.txt 规则
⚠️ **声明**
- 本工具仅供学习和合法用途使用
- 请遵守目标网站的服务条款和爬虫协议
- 请勿用于恶意爬取或攻击网站
- 使用本工具造成的任何后果由使用者自行承担
常见问题
Q: 爬取速度慢怎么办？
A: 可以适当增加并发数，但要注意不要设置过高以免被封。
Q: 为什么有些页面没有爬取到？
A: 可能是动态加载的内容（JavaScript渲染），本工具目前只支持静态HTML页面。
Q: 导出的sitemap.xml能直接用于SEO吗？
A: 可以，导出的XML格式符合搜索引擎标准，可以直接提交给百度、Google等搜索引擎。
Q: 会被目标网站封禁吗？
A: 工具已实现延迟和User-Agent优化，但仍需合理设置参数。建议首次使用时保持默认设置。
本文转自阳光软件库https://www.ygrjk.com/net/4.html
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
