【总结备忘】socks5 UDP ASSOCIATE（UDP转发）过程 1. Socks5认证。关于认证的详细过程可以看这篇文章http://t.cn/A6xG9ncw，这里不是重点。 2. 发送请求连接命令。 （1）客户端发送CMD值为0x03（UDP ASSOCIATE）的命令。如图1所示（rfc1928截图）。 （2）服务端应答情况一：如果S5服务器不支持UDP AS
【经验分享】推荐一款大CSV文件查看器csviewer 官网地址：http://t.cn/A6xGVjlN 据说最大支持5亿行的CSV文件。 我没试过那么大的，试了一个“安居客2021年的二手房小区数据”，约73万条（行），508MB（http://t.cn/A6xGVjlp），加载耗时18秒，界面如下图所示。
【经验分享】如何在Linux虚拟机里探测虚拟化（软件）的类型？ 使用virt-what命令即可实现，ubuntu下可用直接apt-get去install。 我分别拿手边的下列机器做了测试： 1. 物理机，如图1，物理机没有输出任何信息。 2. 自己配置的Vmware、ESxi虚拟机，如图2和3所示，被识别为vmware。 3. 自己配置的Hyperv
【经验分享】关于彻底关闭Nox模拟器虚拟机 背景: 命令行关闭Nox虚拟机可以使用"NoxConsole.exe quit <-name:nox_name | -index:nox_index>", 但是有时候会失败。 这里采用一种保险的思路，先调用"NoxConsole.exe quit"进行安全关闭，若干秒后检测虚拟机对应虚拟机的Nox.exe进程（考虑到多开的情况，根
【经验分享】如何计算阿里系Ajax请求中的sign签名? 有过阿里系采集经验的开发者都应该知道，淘宝（天猫）H5版、1688、淘宝司法拍卖H5版等阿里系网站，在Ajax请求中都会有一个sign签名参数（如下图1、2、3所示），要是值不正确将无法获取到有效的数据（例如返回“非法请求”提示）。如果我们无法构造出
【经验分享】mysqldump时的两点技巧 （1）如何避免锁表? 加上--single-transaction=TRUE参数即可。 来源：http://t.cn/A6MakpD3 （2）如何排除某张表?例如 避免导出尺寸太大的日志表。 使用--ignore-table=dbname.tablename指定即可，如果要排除多个，加上多个--ignore-table=dbname.tablename参数。
【经验分析】urllib2使用"User-Agent"设置UA会无效原因的分析 （1）如下代码，尝试使用"User-Agent"设置UA为"test"，会失败： 服务端接收到的UA信息为"Python-urllib/2.7"，而不是"test"。 urllib2.build_opener().open(urllib2.Request(url='http://192.168.1.200:1234', data=None, headers={'User-
【经验分享】在分析别人代码的时候，通过打印调用栈可以帮助我们快速掌握调用函数的上下文调用逻辑。Python中如何打印调用栈呢？如下。 import traceback traceback.print_stack() 参考>>> http://t.cn/A6I6vuly 例如，我们想知道httplib.py中_send_request()函数的调用上下文，在_send_request()中加
【经验分享】如何给python函数增加一个timeout功能？ 想要实现的效果： 在调用一个函数（不固定）的时候如果在指定的N秒内没有返回，就强制停止。 在github上找到了一些方案例如func_timeout，timeout_decorator。经过测试对比，func_timeout比较理想，项目主页：github.com/kata198/func_timeout，“
【演示】得物APP商品"最近购买列表"采集演示 （1）根据商品的spuid从APP端采集。 （2）得物的“最近购买”列表展示了最近3个月的销售记录，可以借以分析商品的价格和销量波动情况。包括字段“昵称、日期、规格、价格”，采集好的示例数据见：http://t.cn/A6fy0X5f http://t.cn/A6fy0Xpm
【经验分享】某特来电APP采集方案 我们分析的是V5.11.0版本，加了360的壳，用了ssl证书固定。 （1）经过ssl unpinning之后，Fiddler成功抓到包，如图1-3所示，分别对应“充电站搜索返回的列表”，“充电站详情”和“充电站的终端列表”。可以看到请求头中有很多陌生的参数，例如AVER，它是怎么构造出来
【经验分享】com.google.gson.Gson的toJson()方法在插桩分析的时候太有用了，赞赞赞。 function toJson(javaObject) { return Java.use("com.google.gson.Gson").$new().toJson(javaObject); }; 通过toJson(javaObject)可以将Java对象（数据结构）转换成JSON格式，非常方便。想想之前都是通过字符
【经验分享】某美丽修行APP反采集策略分析 采用的反采集策略： （1）加了360的壳。 （2）ssl证书固定。 （3）部分接口返回的数据有加密，例如附图1所示。 （4）商品搜索部分需要登录（不登录实际可以拿到前10条数据）。 解决方案： （1）通过frida脚本绕过证书固定，成功拦截到交互过程，如附图1所示
【经验分享】一例网站反爬机制分析 某网站，网址：http://t.cn/Rm6yxny（microchip官网）。浏览器访问正常，用Python urllib2和curl命令获取超时，修改成浏览器相同UA也同样结果。 根据经验，网站是根据“是否使用了长连接”来识别爬虫的。现代浏览器默认都会使用长连接(Connection: keep-alive)来提
【经验分享】如何在命令行下执行单个SQL语句？ 例如 定期清理django_session表 示例： mysql -u root -p 123456 somedb -e "delete from django_session"
【经验分享】某http proxy server远程连接老被reset，如图所示，curl连接总是返回“ Connection reset by peer”，偶尔也能成功一下。nc连接，能连上，但连上后马上断开。 在服务器上本地测试就没问题。刚开始怀疑是机房防火墙搞的怪，联系IDC无果。 proxy server用的是delegate，看命令行参数，偶然
【经验分享】使用httping来测试http/socks5 proxy的稳定性 httping是一款http连通性测试工具，通过跟踪持续http请求的结果，来评估目标平台的稳定性。它支持http/https以及socks5代理，因此我们可以借以测试http/https/socks5代理的稳定性。 示例1： 测试http代理的稳定性，命令如下： httping --pro
【经验分享】mysql修改数据存储目录datadir之后，无法正常启动。syslog显示错误信息如下： apparmor="DENIED" operation="open" profile="/usr/sbin/mysqld" name="/data/sdi/mysql_data/mysql/ibdata1" 有很多类似行，见图1，跟文件权限有关。 apparmor 是一款Linux下的应用程序权限控制软件，这里是
【经验分享】python lxml xpath 如何获取元素的原始xml(html)? 考虑场景：xpath遍历到某个element后，想用正则regex提取这个元素原始html的部分信息，那么如何获取元素的原始html呢？ 使用etree.tostring(element, encoding='unicode')即可，注意这里的encoding参数： encoding is the output encodin
【经验分享】Python中如何将被转义过的字符串还原？使用.decode('string-escape') 例如： escaped_str = '{\"payload\":{\"0\":{\"k1\":\"v1\", \"k2\":\"v2\", \"k3\":\"v3\"}, \"1\":{\"k4\":\"v5\", \"k6\":\"v4\", \"k5\":\"v6\"}}}' 经过escaped_str.decode('string_escape')之后，还原成： '{"pa