android-bot

翻译

中文 | 英文-GPT

android-bot

android-bot 是基于 AutoBot 得 JavaScript SDK，同时支持 浏览器环境 和 Node 环境，Node 环境下，支持自动扫描局域网客户端

NPM| Github| AutoBot 文档

目前已经实现了什么功能 API？

• 获取系统信息（型号信息，硬件信息...）
• 屏幕图像（支持 jpg，base64，支持 websocket 实时输出）
• 触控输入（单指手势，多指手势，支持 websocket 实时输入）
• 按键输入（按键模拟，文字输入，支持中文）
• 屏幕布局（支持 XML，JSON）
• 文件管理（上传，查询，删除）
• 剪切板管理（读取和修改）
• 应用管理（安装，卸载，清除数据，启动停止，详情查看）
• 联系人管理 (增删改查)
• 录制屏幕，熄屏控制，播放音乐，短信查询等
• 通知监听，剪切板监听等

成功案例

• Tntok 投屏（一个可以脱离 adb 的投屏工具）

相关案例

• AutoJS PC 版（一键自动化生成 autox.js 代码）
• Autox.js-集成 autobot 版本（不用无障碍实现自动化）

它可以用来干什么？

• 局域网内无线投屏/实时控制,按键模拟，录制屏幕，布局分析，文件管理，应用管理，通讯录管理
• 通过 NodeJS，Python，Java，C++等语言，只需要调用 Http Api，即可开发譬如：远程投屏控制，自动化测试，自动化运营、批量处理、机器人、自动回复等等

支持浏览器和 NodeJS 环境

在 Node 环境下，支持局域网的网络发现，能自动扫描同个局域网下的设备， 在浏览器环境下，则需要获取设备的 ip 和端口，手动连接

使用方法

准备工作

需要设备安装 AutoBot APP，且成功运行服务，具体可以参考AutoBot 官网->准备工作部分

重要的事情说三遍：

• 此库是基于 AutoBot 官方 Http API 和 WebSocket API 封装，请你务必先仔细阅读AutoBot 文档
• 此库是基于 AutoBot 官方 Http API 和 WebSocket API 封装，请你务必先仔细阅读AutoBot 文档
• 此库是基于 AutoBot 官方 Http API 和 WebSocket API 封装，请你务必先仔细阅读AutoBot 文档

安装支持库

npm i android-bot -s

浏览器内使用

• 浏览器环境下由于不支持 udp，需要主动创建设备

//引入库
import { BrowserWebSocket, Device } from "android-bot";

async function main() {
  //创建一个设备，设备的ip和端口来源于AutoBot APP，此处需要修改为你自己设备的ip和端口
  const device = new Device("192.168.1.100:18080");
  //获取屏幕信息
  let iScreenInfo = await device.screenInfo();
  //获取屏幕截图
  let screenImg = await device.screenShot();
  //获取系统信息
  let iDeviceInfo = await device.getSystemInfo();
  //获取屏幕ui布局的JSON格式
  let iuiObjectJSON = await device.screenJson();
  //获取屏幕ui布局的XML格式，可以使用
  let iuiObjectXML = await device.screenXml();
  //手势滑动（左滑）
  await device.gesture({
    duration: 200,
    points: [
      { x: 168, y: 558 },
      { x: 172, y: 562 },
      { x: 276, y: 562 },
      { x: 306, y: 560 },
      { x: 348, y: 552 },
      { x: 390, y: 548 },
      { x: 442, y: 540 },
      { x: 470, y: 540 },
      { x: 500, y: 538 },
      { x: 520, y: 538 },
      { x: 548, y: 538 },
      { x: 566, y: 538 },
      { x: 596, y: 540 },
    ],
  });
  //....
}

main();

Node 使用

• Node 环境下，可以使用 AdbDevice 扫描局域网内的设备

import { AdbDevice, NodeWebSocket, Device } from "android-bot";
import FormData from "form-data";
import fs from "fs";
async function main() {
  //node环境下可以自动扫描局域网内的设备
  const devices = await AdbDevice.listWifiDevices();
  if (devices[0]) {
    let device = devices[0];
    //使用Node环境下的websocket client
    device.setWebSocketClient(new NodeWebSocket());
    let mScreenControl = device.mScreenControl;
    //监听屏幕方向发生改变的消息
    mScreenControl.addScreenOrentationChangeListener(function (
      width,
      height,
      rotation,
      isLandscape
    ) {
      console.log(
        "屏幕发生改变:" +
          `宽度：${width},高度：${height},是否横屏:${isLandscape},方向:${rotation}`
      );
    });
    //获取屏幕截图
    let screenImg = await device.screenShot();
    //获取系统信息
    let iDeviceInfo = await device.getSystemInfo();
    console.log(iDeviceInfo);
    //获取屏幕ui布局的JSON格式
    let iuiObject = await device.screenJson();
  }
}

main();

实时屏幕图像

//引入库
import { BrowserWebSocket, Device } from "android-bot";

async function main() {
  //创建一个设备，设备的 ip 和端口来源于 AutoBot APP
  const device = new Device("192.168.7.119:18080");

  //如果你需要实时；投屏控制（实时屏幕 jpg 图像流，实时触摸文本输入），通知监听，剪切板监听
  //那么你需要设置 websocket client，Node 环境下使用 NodeWebSocket，浏览器环境下你需要使用 BrowserWebSocket
  //mScreenControl 为实时信息的代理对象，你可以用来监听屏幕图像，通知，剪切版信息
  device.setWebSocketClient(new BrowserWebSocket());

  //接收到新的通知信息
  device.mScreenControl.addNotificationChangeListener(function (
    notificationMessage
  ) {
    console.log("接收到新的通知：", notificationMessage);
  });

  //接收到剪切板发生改变的信息
  device.mScreenControl.addClipTextChangeListener(function (text) {
    console.log("接收到粘贴板发生改变通知：", text);
  });

  //实时的屏幕图像回调，注意浏览器环境下 img 为 Blob，Node 环境下为 arrayBuffer
  device.mScreenControl.addScreenChangeListener(function (screenImg) {
    console.log("接收到新的屏幕图像：", screenImg);
  });

  //弱网环境下使用被动式屏幕帧，网络好的情况下可以使用主动式获取屏幕图像帧；
  //只有调用了下边2种方法，屏幕图像的回调才能收到消息
  //device.mScreenControl.startScreenStream();//主动式
  device.mScreenControl.startScreenStreamByPassive(); //被动式
}

main();

更多案例

核心类

Device

function	含义	备注
addErrorListener	添加全局错误监听
setWebSocketClient	设置 websocket client	Node 环境下使用 NodeWebSocket，浏览器环境下你需要使用 BrowserWebSocket
hello	欢迎信息
version	获取核心库版本
checkNotification	检查此设备是否能监听通知	监听通知需要 android 系统版本>=android9
getDeviceId	获取设备的 DeviceId	此 Id 有 AutoBot 生成，非 andorid id
startRecoreScreen	启动屏幕录像
stopRecoreScreen	停止屏幕录像
getSystemInfo	获取系统信息
screenInfo	屏幕信息
screenJson	屏幕 UI 布局的 json 格式
screenXml	屏幕 Ui 布局的 XML 格式
screenShotBase64	屏幕截图的 jpeg base64 格式
screenShot	屏幕截图 jpeg 二进制
screenRotation	屏幕旋转方向
getAllContact	获取所有的联系人
insertContact	插入新的联系人
deleteContact	删除联系人
getClipText	获取粘贴板数据
setClipText	设置粘贴板数据
clearText	清除输入框数据	需要设备的输入框处于获取焦点的状态，类似 ctrl+A,然后在执行 delete 的效果
turnScreenOff	开启熄屏控制模式
getIp	获取设备的所有 ip
getAllSms	获取所有的短信，支持获取指定号码的短信
deleteSms	删除短信	此方法已弃用 ，由于 android 设备安全限制，请到短信应用删除短信
getTopActivity	获取设备顶层的活动 Activity 信息
getStartActivity	根据包名获取启动类	不传获取顶层 activity 的启动 activity 信息
startPackage	根据包名启动应用
stopPackage	根据包名停止应用
clearPackage	根据包名清除应用数据
getAllPackage	获取设备应用所有应用列表
getPackageInfo	根据包名获取详细的应用信息
cancelAllNotifications	~~移除所有的通知 ~~	此方法已弃用
callPhone	拨打电话
endCall	挂断电话
inputText	输入字符串，支持多种语言
inputChar	输入字符仅支持 ACSII 码
execCmd	执行 shell 命令
pressKeyCode	模拟按键	查询对应的 keyCode 可以参考 adb 用法文档,也可以参考 android sdk 的 KeyEvent.java 类
click	点击	支持百分比坐标和绝对坐标
longClick	长按	支持百分比坐标和绝对坐标
press	长按 x 毫秒	支持百分比坐标和绝对坐标
swipe	滑动	支持百分比坐标和绝对坐标
gesture	单指手势
gestures	多指手势
listFile	列出文件夹
upload	上传一个文件
uploadUrl	获取上传文件得 url	需要构建一个 FormData 对象，file 为 file 对象，path 为要上传到得文件夹
delFile	删除一个文件或文件夹	传入一个路径，文件夹：/sdcard/tmp，文件/sdcard/hello.txt
downloadUrl	获取一个文件得下载路径	传入一个路径，获取下载链接，浏览器环境你可以直接打开这个链接进行下载，node 环境下你可以使用 download 库或其他一些下载库
getDisplayName	获取设置的自定义设备名称
setDisplayName	设置的自定义设备名称
playMusic	播放网络音乐	传入一个音乐的 url 实现自定义播放网络音乐 ，此接口需要 android 版本>=9.0
stopMusic	停止播放网络音乐	停止正在播放的网络音乐 ，此接口需要 android 版本>=9.0
execScript	执行 autox.js 脚本	注意调用此功能必去安装带 autox 执行环境的 autobot，否则无法运行
stopAllScript	停止所有的 autox.js 脚本	注意调用此功能必去安装带 autox 执行环境的 autobot，否则无法运行
exit	停止 AutoBot 服务端	注意，停止后你将无法调用任何接口，你需要重新在 AutoBot 端激活服务端

ScreenControl

function	含义	备注
startScreenStream	通知服务端主动推送屏幕图像
startScreenStreamByPassive	被动式通知服务端推送屏幕图像	弱网环境下，主动式推送屏幕图像会有较大的延迟，被动式会在接受到屏幕图像后，发送消息通知服务端传输新的屏幕图像，因此获取的屏幕图像更及时
setScreenStreamConfig	设置屏幕图像的帧率，缩放和压缩比	注意这里的 fps 为延迟多少 ms（毫秒）收取新的屏幕图像
stopScreenStream	停止屏幕图像推送
pressKeyCode	模拟按键	和 Device 的 pressKeyCode 参数一致，不一样的是这里通过 websocket 发送数据，因此实时性更高
sendSpaceKey	发送空格按键
sendBackSpaceKey	发送退格按键
sendInputText	输入字符串，支持多种语言
sendInputChar	输入字符仅支持 ACSII 码 ，按键模拟方式实现，支持屏幕密码解锁，支付密码输入等场景
addScreenOrentationChangeListener	添加屏幕方向发生改变的监听	此通知会在初次链连接成功后就通知一次，方便你为渲染做好准备
addNotificationChangeListener	添加通知消息发生改变的监听
addScreenChangeListener	添加屏幕图像的监听	当你调用主动式（startScreenStream）或者被动式（startScreenStreamByPassive）通知服务端传输屏幕图像后，此监听才有数据返回
addClipTextChangeListener	添加粘贴板发生改变的监听

FAQ

我使用了实例代码，为什么代码报错？

由于 Node 环境默认是不支持 websocket 的，需要通过第三方库来实现 WebSocket，因此 Node 环境下的 WebSocket 和浏览器环境下的 WebSocket 有少许不一样

• 因此，如果你的代码在浏览器环境运行请导入 BrowserWebSocket，在 Node 环境下请导入 NodeWebSocket，另外请一定不要导入多余的对象，比如在浏览器环境下错误的导入了 AdbDevice，NodeWebSocket

• Node 导入示例

import { AdbDevice, NodeWebSocket, Device } from "android-bot";

• 浏览器导入示例

import { BrowserWebSocket, Device } from "android-bot";

有些方法的参数我还是有疑问？

android-bot是对 AutoBot 的 Http API 和 WebSocket API 的封装，你可以查看对应的AutoBot 官

二次开发

获取代码

git clone https://github.com/automan-bot/android-bot.git
npm i

NPM scripts

• demo_browser:运行浏览器 demo
• demo_node:运行 Node 环境下 demo
• dev: 以监听模式监听 src/的文件改变，在 dist 下生成新的 Node 环境编译包
• dev:browser:以监听模式监听 src/的文件改变，在 dist 下生成浏览器环境编译包
• build : 编译生成 Node 环境和浏览器环境的编译包
• clean : 清空/dist 目录