【经验分享】一例正则表达式效率低问题的分析 一直以来都觉得正则表达式的效率非常高，今天遇到一例正则匹配耗时特长的情况，mark一下。 目标是判断目标网页（大小约350KB）中是否有符合以下要求的子串： "至少要有一个不为'的字符<div class="tips_unresult">" 想当然的写出了如下的代码：
【经验分享】“supervisor实现无限重试”中的坑 背景：Debian 10系统，Wifi联网，需要实现系统启动时自动启动autossh。 问题：如果网络未连接成功（例如，Wifi是在用户登录之后才会连接），启动autossh会失败退出。因此不能直接使用rc.local（在网络连接成功之前就执行了）。于是想到使用supervisor，
【经验分享】python2 pip安装frida-tools，在安装prompt-toolkit依赖时出现"No matching distribution found for prompt-toolkit<4.0.0,>=3.0.3 (from frida-tools)"问题（如附图1所示）的解决。 问题分析：需要的prompt-toolkit版本是 <4.0.0,>=3.0.3，而python 2库中prompt-toolkit的最高版本才是2.
【视频演示】受客户委托对淘宝APP直播弹幕数据抓取的可行性进行评估。实测可行，如录屏所示。 http://t.cn/A6hZeFf3
【经验分享】Linux下如何查看服务器的型号，出厂日期？ 可以使用dmidecode命令查看BIOS信息来实现。 e.g. # 查看机器型号 sudo dmidecode -s system-product-name # 查看出厂日期 sudo dmidecode -s bios-release-date 如图1所示为我最近折腾的TDE上网本的情况； 如图2所示为公司某服务器的情况; 如图
【经验分享】这两天被冠状病毒困在家，翻出了一台10年前的上网本（TDE山寨货），配置如图1（i686 CPU 1.6GHz，1G RAM）。 折腾了一下安装各种系统，可能驱动兼容性问题，期间遇到了各种问题，总结如下： （1）Chrome OS： 安装比较顺利，运行也比较流畅，进入系统之后就是一个谷歌浏览器。 但由于国内
知名本地生活信息平台各品类商户数据2019年更新，本次共采集到超过5303万条（53032367条，总数统计如附图1所示）POI数据，点击这里了解详情 >>> http://t.cn/A6PeMPyq
【经验分享】利用QEMU Monitor实现程序对Qemu虚拟机的控制 背景：公司用“Qemu + Android X86”跑了大量安卓APP的爬虫，但是偶尔会出现安卓虚拟机卡死的情况，需要人工干预处理（重启对应的Qemu虚拟机）。有没有什么自动化的实现方案呢？ 经过查询得知QEMU提供了Monitor机制，可以通过Monitor提供的接
【经验分享】PC通过使用“远程ADB”（ADB over network）时连接设备时出现“unauthorized”,且设备不出现授权对话框问题的解决方法： （1）ADB客户端和服务端（安卓设备的adbd服务）之间的权鉴是通过公钥私钥对比进行的； （2）如果安卓设备保存有ADB客户端的公钥（Linux: ~/.android/adbkey.pub, Win
【经验分享】Bliss OS X86系统如何开启自动开始“远程ADB”（ADB over network）？ 在开发者选项中可以手动开启“ADB over network”，但是重启后会自动关闭（This setting is reset on reboot）。 解决方法： 在/etc/init.sh中加入 setprop service.adb.tcp.port 5555 stop adbd start adbd 重启后“
【经验分享】Android X86模拟器如何修改屏幕分辨率大小？ 目的：设置屏幕分辨率为 1080x1920 方法： (1) Alt + F1，切换到终端模式; (2) su，获取root权限;] (3)执行wm size 1080x1920，再按Alt + F7返回图形界面即可； 如果想要在启动的时候自动设置，可以把上述命令添加到/etc/init.sh中，Bliss OS
【经验分享】“KVM(QEMU) + Bliss OS X86 + MockLocation APP"打造支持虚拟定位的Android模拟器，用于APP数据采集小试牛刀： 采集某外卖平台数据。 MockLocation APP是什么？ 详见我这篇文章 >>> http://t.cn/AisHGPoY
【经验分享】推荐一款开源Android x86系统Bliss OS (x86)，项目主页是http://t.cn/AiseUYtj。 经过实测我觉得Bliss有如下优点： (1) 比原生的Android x86（http://t.cn/AiN9tQGl）稳定，特别是应用兼容性较好，好多在原生Android x86下闪退的App，在Bliss下都能稳定运行。如图3和4所示，美团APP可以稳
【经验分享】qemu-system-x86_64使用网桥出现 failed to parse default acl file `/etc/qemu/bridge.conf` qemu-system-x86_64: -net bridge,br=br0: bridge helper failed 问题（如附图1所示）的解决方法： 原因是缺少/etc/qemu/bridge.conf文件。 (1) mkdir /etc/qemu (2) echo 'allow br0' > /et
【开源分享】发布一款Android X86虚拟定位的App，支持命令行设置经纬度参数，无需UI操作，专为安卓App自动化模拟操作设计。 用法举例： # 切换定位到"秦始皇陵"（34.384225, 109.254423） adb shell am start -n cn.webscraping.qi.mocklocation/cn.webscraping.qi.mocklocation.MainActivity --es
【经验分享】Chrome + Remote Debugging模式（注意：不是Selenium + Chromedriver模式）登录淘宝出现“验证码爆错”（如附图所示）。原因Chrome V79版本在Remote Debugging模式时会爆出navigator.webdriver属性，从而被风控。换用V72或V73版本可以顺利登录！（前一条微博也说得是这个事儿）
【经验分享】不经意见发现Chrome v73版本在Remote Debugging模式下（注意：不是Selenium + Chromedriver模式）不会暴露出navigator.webdriver！如附图1所示。 作为对比，我又测试了其它的版本： （1）如图2所示，是Chrome V63版本，在Remote Debugging模式下会暴露出navigator.webdriver； （2）如图3
【Mark收藏】MurmurHash3.js - A javascript implementation of MurmurHash3's hashing algorithms. >>> http://t.cn/z8Yont3 Usage // Return a 32bit hash as a unsigned int: > murmurHash3.x86.hash32("I will not buy this record, it is scratched.") 2832214938 // Return a 128bit has
"浏览器指纹"之 "HTML5 Canvas指纹" 【原理】 在HTML5中可以使用JS + Canvas标签生成图片，利用"canvas.toDataURL()"可以获取到图片的Base64码。 同样的JS Canvas绘图代码，在同一个浏览器下生成的图片是相同的（字节码相同）。 但是由于系统的差别、渲染引擎的不同，同样的JS Canvas绘图代码，在不同
