【总结备忘】socks5 UDP ASSOCIATE(UDP转发)过程 1. Socks5认证。关于认证的详细过程可以看这篇文章http://t.cn/A6xG9ncw,这里不是重点。 2. 发送请求连接命令。 (1)客户端发送CMD值为0x03(UDP ASSOCIATE)的命令。如图1所示(rfc1928截图)。 (2)服务端应答情况一:如果S5服务器不支持UDP AS ​

11月13日 14:10转发|评论

【经验分享】推荐一款大CSV文件查看器csviewer 官网地址:http://t.cn/A6xGVjlN 据说最大支持5亿行的CSV文件。 我没试过那么大的,试了一个“安居客2021年的二手房小区数据”,约73万条(行),508MB(http://t.cn/A6xGVjlp),加载耗时18秒,界面如下图所示。 ​

11月13日 09:37转发|评论

【经验分享】如何在Linux虚拟机里探测虚拟化(软件)的类型? 使用virt-what命令即可实现,ubuntu下可用直接apt-get去install。 我分别拿手边的下列机器做了测试: 1. 物理机,如图1,物理机没有输出任何信息。 2. 自己配置的Vmware、ESxi虚拟机,如图2和3所示,被识别为vmware。 3. 自己配置的Hyperv ​

11月4日 09:36转发|评论

【经验分享】关于彻底关闭Nox模拟器虚拟机 背景: 命令行关闭Nox虚拟机可以使用"NoxConsole.exe quit <-name:nox_name | -index:nox_index>", 但是有时候会失败。 这里采用一种保险的思路,先调用"NoxConsole.exe quit"进行安全关闭,若干秒后检测虚拟机对应虚拟机的Nox.exe进程(考虑到多开的情况,根 ​

11月2日 10:16转发|评论

【经验分享】如何计算阿里系Ajax请求中的sign签名? 有过阿里系采集经验的开发者都应该知道,淘宝(天猫)H5版、1688、淘宝司法拍卖H5版等阿里系网站,在Ajax请求中都会有一个sign签名参数(如下图1、2、3所示),要是值不正确将无法获取到有效的数据(例如返回“非法请求”提示)。如果我们无法构造出 ​

10月18日 14:59转发|评论

【经验分享】mysqldump时的两点技巧 (1)如何避免锁表? 加上--single-transaction=TRUE参数即可。 来源:http://t.cn/A6MakpD3 (2)如何排除某张表?例如 避免导出尺寸太大的日志表。 使用--ignore-table=dbname.tablename指定即可,如果要排除多个,加上多个--ignore-table=dbname.tablename参数。 ​

10月9日 11:40转发|评论

【经验分析】urllib2使用"User-Agent"设置UA会无效原因的分析 (1)如下代码,尝试使用"User-Agent"设置UA为"test",会失败: 服务端接收到的UA信息为"Python-urllib/2.7",而不是"test"。 urllib2.build_opener().open(urllib2.Request(url='http://192.168.1.200:1234', data=None, headers={'User- ​

8月15日 13:48转发|评论

【经验分享】在分析别人代码的时候,通过打印调用栈可以帮助我们快速掌握调用函数的上下文调用逻辑。Python中如何打印调用栈呢?如下。 import traceback traceback.print_stack() 参考>>> http://t.cn/A6I6vuly 例如,我们想知道httplib.py中_send_request()函数的调用上下文,在_send_request()中加 ​

8月15日 13:17转发|评论

【经验分享】如何给python函数增加一个timeout功能? 想要实现的效果: 在调用一个函数(不固定)的时候如果在指定的N秒内没有返回,就强制停止。 在github上找到了一些方案例如func_timeout,timeout_decorator。经过测试对比,func_timeout比较理想,项目主页:github.com/kata198/func_timeout,“ ​

6月24日 14:11转发|评论

【演示】得物APP商品"最近购买列表"采集演示 (1)根据商品的spuid从APP端采集。 (2)得物的“最近购买”列表展示了最近3个月的销售记录,可以借以分析商品的价格和销量波动情况。包括字段“昵称、日期、规格、价格”,采集好的示例数据见:http://t.cn/A6fy0X5f http://t.cn/A6fy0Xpm ​

6月24日 13:17转发|评论

【经验分享】某特来电APP采集方案 我们分析的是V5.11.0版本,加了360的壳,用了ssl证书固定。 (1)经过ssl unpinning之后,Fiddler成功抓到包,如图1-3所示,分别对应“充电站搜索返回的列表”,“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数,例如AVER,它是怎么构造出来 ​

6月8日 12:10转发|评论

【经验分享】com.google.gson.Gson的toJson()方法在插桩分析的时候太有用了,赞赞赞。 function toJson(javaObject) { return Java.use("com.google.gson.Gson").$new().toJson(javaObject); }; 通过toJson(javaObject)可以将Java对象(数据结构)转换成JSON格式,非常方便。想想之前都是通过字符 ​

6月4日 10:57转发|评论

【经验分享】某美丽修行APP反采集策略分析 采用的反采集策略: (1)加了360的壳。 (2)ssl证书固定。 (3)部分接口返回的数据有加密,例如附图1所示。 (4)商品搜索部分需要登录(不登录实际可以拿到前10条数据)。 解决方案: (1)通过frida脚本绕过证书固定,成功拦截到交互过程,如附图1所示 ​

6月3日 14:41转发|评论

【经验分享】一例网站反爬机制分析 某网站,网址:http://t.cn/Rm6yxny(microchip官网)。浏览器访问正常,用Python urllib2和curl命令获取超时,修改成浏览器相同UA也同样结果。 根据经验,网站是根据“是否使用了长连接”来识别爬虫的。现代浏览器默认都会使用长连接(Connection: keep-alive)来提 ​

5月28日 11:25转发|评论

【经验分享】如何在命令行下执行单个SQL语句? 例如 定期清理django_session表 示例: mysql -u root -p 123456 somedb -e "delete from django_session" ​

5月27日 17:05转发|评论

【经验分享】某http proxy server远程连接老被reset,如图所示,curl连接总是返回“ Connection reset by peer”,偶尔也能成功一下。nc连接,能连上,但连上后马上断开。 在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪,联系IDC无果。 proxy server用的是delegate,看命令行参数,偶然 ​

4月8日 10:37转发|评论

【经验分享】使用httping来测试http/socks5 proxy的稳定性 httping是一款http连通性测试工具,通过跟踪持续http请求的结果,来评估目标平台的稳定性。它支持http/https以及socks5代理,因此我们可以借以测试http/https/socks5代理的稳定性。 示例1: 测试http代理的稳定性,命令如下: httping --pro ​

3月26日 12:23转发|评论

【经验分享】mysql修改数据存储目录datadir之后,无法正常启动。syslog显示错误信息如下: apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1" 有很多类似行,见图1,跟文件权限有关。 apparmor 是一款Linux下的应用程序权限控制软件,这里是 ​

3月18日 13:26转发|评论

【经验分享】python lxml xpath 如何获取元素的原始xml(html)? 考虑场景:xpath遍历到某个element后,想用正则regex提取这个元素原始html的部分信息,那么如何获取元素的原始html呢? 使用etree.tostring(element, encoding='unicode')即可,注意这里的encoding参数: encoding is the output encodin ​

3月11日 11:26转发|评论

【经验分享】Python中如何将被转义过的字符串还原?使用.decode('string-escape') 例如: escaped_str = '{\"payload\":{\"0\":{\"k1\":\"v1\", \"k2\":\"v2\", \"k3\":\"v3\"}, \"1\":{\"k4\":\"v5\", \"k6\":\"v4\", \"k5\":\"v6\"}}}' 经过escaped_str.decode('string_escape')之后,还原成: '{"pa ​

3月9日 15:34转发|评论