如何稳定爬取中国移动话费账单

bainiu

    本坛里对水电燃气费爬取的帖子比较多，搜索移动话费爬取的感觉不多。

   尊敬的客户，您绑定共享的主卡号码139****1788已欠费停机，在此期间您无法共享主卡资源，将按照您本机号码标准资费收取。【中国移动】

     那么问题来了，爬取手机话费余额对部分人还是很有用的，如何抓取，目前我尝试了几种方法：

    一、入口

    1、网页中国移动官网登录查询。结果一堆堆加密字串，无法解出，已放弃。
    2、微信客户端桌面上公众号网页抓包，能爬到数据明文，但cookie有时间限制，没具体测试失效时间，好像30分钟左右吧。
    3、重点研究对象还是集中在网页端，目前感觉掌上营业厅有可能，登录稍微简单一点，网址：https://wap.XX.10086.cn/  XX就是各省的拼音，比如湖北https://wap.hb.10086.cn/ ，当然有些省份没有，但应该也会有其他各省的掌上登录入口。

    二、爬取

    掌上营业网址的入口第一次需要短信验证，如果后续可以凭服务密码登录就又少了一个技术门槛了。目前尝试的几种：
    1、用python selenium模拟登录网页，提取数据。困难：需要短信验证。
    2、用chrome automa插件自动登录网页，完全模拟人工登录，轻量，图形化，基本无代码。困难：短信验证。
    3、构建appium环境，用安卓模拟器登录中国移动APP 。目前未尝试。可以实现网页登录自动化。
    4、通过短信提取：手机上安装app 定时向运营商发送查询话费账单短信，收到短信后读取，再通过webhook 、mqtt、其他api发送 到HA服务器。苹果手机上有捷径 安卓手机有Tasker ，未尝试。
    5、通过话费查询api接口实现，这种最方便，只是好像没有免费的，目前查到的是0.1元/次。
    6、具体实现可能每个省入口不一样，不知道能否爬取。

ghostist

没想到这么麻烦....当初我考虑的时候就没考虑抓数据（猜测token过期啥的很难搞定）
我用的方式就是你说的4，有好几个月了吧 挺稳定
快捷指令每天定时发短信查询话费、流量
自动化检测收到短信的关键字，摘取有用数据，webhook到HA
NR里检测事件，创建传感器

缺点就是依赖手机，每天更新一次，自动化运行的时候手机会有两条提示无法去除，短信记录里大量的这种查询短信（倒也没啥影响）
有需要我发出来

bainiu

ghostist 发表于 2024-8-16 16:36
没想到这么麻烦....当初我考虑的时候就没考虑抓数据（猜测token过期啥的很难搞定）
我用的方式就是你说的4 ...

期待大佬分享

csl0524

ghostist 发表于 2024-8-16 16:36
没想到这么麻烦....当初我考虑的时候就没考虑抓数据（猜测token过期啥的很难搞定）
我用的方式就是你说的4 ...

请问定时发短信怎么实现的，安全吗？

Zerolone

用4最简单， 360的软件都是用4

fay000fay

bainiu 发表于 2024-8-17 09:44
期待大佬分享

苹果手机的话就用快捷指令。先建一个自动化，定时发送查询短信到10086；再建个自动化，当收到某某字样，收到来自10086的短信时，获取URL，然后POST等一系列操作，然后去到Node-Red里操作。哈哈，我说不下去了。还是私下沟通比较方便。和楼上说的一样。

conanlau

加密逻辑倒是都能破解，都在前端。从 10086 官网能扒出来。我看了下大概是这两段：

if (a.data && a.data.hasOwnProperty("outParam")) {
    S.map(function (a) {
        C && C.indexOf(a) > -1 && (O = !0)
    });
    var D = utf8to16(base64decode(a.data.outParam)).replace(/\s*/g, "");
    if (O)
        try {
            var j = v.getDAesString(D, _, _);
            a.data = JSON.parse(j && j.length > 0 && D && D.length > 0 ? j : D)
        } catch (I) {
            a.data = JSON.parse(D)
        }
    else
        a.data = JSON.parse(D)
}

复制代码

St = function (a, c, h) {
    var c = CryptoJS.enc.Utf8.parse(c)
        , h = CryptoJS.enc.Utf8.parse(h)
        , v = CryptoJS.AES.decrypt(a, c, {
            iv: h,
            mode: CryptoJS.mode.CBC,
            padding: CryptoJS.pad.Pkcs7
        });
    return v.toString(CryptoJS.enc.Utf8)

复制代码

我试了下比较麻烦的是，官网现在没法短信验证码登录了，直接提示“对不起，短信随机码暂时不能发送，请一分钟以后再试！”，必须扫码。
也不知道 cookie 的过期时间，看 login 接口 set-cookie 写的是 session 级别，前端把浏览器或 tab 退了 cookie 就清掉了。