
进行中Android App
SmartHome 安卓控制端
把五六个厂商 App 收进一个 —— 按房间管设备,出事主动说一声
一套多品牌智能家居统一控制 App(Android):把慧曼、海尔、京东、美的、纽恩泰、涂鸦等散落在五六个厂商 App 里的设备收进一个界面,按「房间」而不是「品牌」组织;并在没人盯着的时候替人看住设备 —— 长转、空转、离线、家里断网,都主动说一声。
90%
核心亮点
- 喊一声就能用 —— 电视端常驻熄屏待机,离线唤醒后能连着说,支持打断的机器说话即可插话,不支持的按一下 OK
- 按房间组织,不按品牌 —— 各品牌设备统一成一套模型,房间页一眼看清每个空间有多少台、几台在跑
- 告警看的是「这次运转还有没有意义」,不是花了多少电 —— 室温已低于设定还开着的「无效制冷」、连续空转十几小时的「长转」,才是真该提醒的
- 离线、够不到、家里断网分三种说法 —— 设备故障和网络位置问题不混为一谈,免得跑去重启一台其实没坏的设备
- 只认局域网的设备也能远程控 —— 家里那台常开机器主动拨出建立反向隧道,把本地端口挂到同一域名下,手机在 4G 下照样用
- 首屏 4 秒 —— 各品牌桥分批回报、谁先返回谁先显示,不被最慢的一家拖住十几个超时秒
技术栈
产品界面
开发成果 11/14
- 慧曼洗碗机 / 海尔中央空调 / 京东净水器 三品牌桥接入
- 五 Tab 信息架构定稿(房间 / 设备 / 管家 / 智能 / 我的)
- 真机 App 五 Tab 重构 + 设备归一化层(v1.0.0)
- 纽恩泰空气能热泵接入(v0.8.0)
- 美的蒸烤箱接入(局域网私有协议,v0.9.0)
- 设备长转 / 无效运转告警(v1.1.0)
- App 消息中心与系统通知
- 离线状态可见(桥与 App 两侧)(v1.2.0)
- 家庭网络健康检测(v1.3.0)
- 家庭服务主机部署:局域网设备上云(反向隧道)
- 家庭网络探针:真实 WiFi 信号 / 丢包 / 延迟
- 网络探针指标接入 App(替代云端反推)
- 涂鸦设备 local_key 配置并接入 App
- 烤箱连不上时常驻房间页(显示为离线设备)
项目简介
把分散在五六个厂商 App 里的智能家居设备收进一个界面 —— 按「房间」组织,而不是按「品牌」。
市面上每买一个品牌的设备就多一个 App:空调一个、净水器一个、烤箱一个、热泵又一个。查一次状态要来回切四五个 App,还都是按品牌分区的 —— 想知道「客厅现在几度」,得先想清楚客厅那台是什么牌子。
这套系统反过来做:统一设备模型 + 房间视角。房间页一眼看到每个空间的氛围与设备数;设备页按房间分组、每行直接给关键读数;点进房间详情才有全量设备与传感器。信息分两层 —— 列表页只放最高频的两项控制,不重复。
它还会替人盯着。 设备长时间空转、掉线、或者家里整个网络断掉,都会主动说一声。而且这几件事必须分开说清楚:设备坏了、够不到设备、家里断网,是三种完全不同的问题 —— 混在一起说,只会让人跑去重启一台本来没坏的设备。
架构上分两半:能连厂商云的(慧曼 / 海尔 / 京东 / 纽恩泰)由跑在公网服务器上的桥接管,手机在任何网络下都能控;只认局域网加密协议的(美的蒸烤箱、涂鸦)留在家里那台常开的机器上,通过反向隧道挂上同一个域名 —— 手机在 4G 下也能用。
开发历程 20 条
语音识别提速 1.1 秒:省下来的是一行发送节奏,不是换架构
- 讯飞 IAT 本来就是 40ms 一帧的流式协议,但调用方是「整段录完才发送」,发送耗时直接叠在端到端上:2.77 秒的话光发出去就要 1.39 秒。
- 发送节奏从 0.02(2 倍速)改到 0.004(10 倍速):0.97 秒短句 0.89→0.46 秒,2.77 秒长句 1.79→0.67 秒。本机 15 轮全通,识别文本逐字一致(含标点)。再压到 0.002 收益趋平且限流风险升高,停在 0.004。
- 没有改成真流式:只再省 0.2~0.3 秒,而握手 + 尾包 + 收尾约 0.24 秒的固定成本躲不掉;更关键的是真流式做不了整段音量归一化,而客厅这台电视麦克风增益极低(说话 rms 200~600、底噪 550),识别率全靠这一步。
- 端到端剩下的大头是判停 1300 毫秒,不是识别本身。再想快应该动判停,但要先统计真实说完后的静音分布,否则短句准确率会掉。
米家 / 涂鸦 / 天猫精灵三朵云接进同一套设备模型
- 米家的房间归属直接取 /v2/homeroom/gethome 的 roomlist[].dids,不自维护映射;动作统一收敛到一个 POST /api/action 接口。
- prop/set 回 code=1 不代表失败(部分属性只可回读),所以写完一律回读核对。蓝牙子设备(blt.3.*)先按 datasource=2 读、缺的点位用 1 补。窗帘的 target-position 是枚举(0 暂停 / 1 开 / 2 关),不是百分比。
- 红外遥控是电视之外的独立设备:电视彻底关机后仍能开机,唤醒词「关闭电视」也走这条红外。
- 米家动作曾经全部失效而接口仍回 200:动作 key 取的是 urn 末尾的版本号,「1」把十几个动作全撞成同一个。
- 涂鸦的签名铁律是 METHOD + sha256(body) + path(query 按字母序),HMAC 的 message 是 client_id + access_token + t + stringToSign。少拼 access_token 会回 1004,但 /v1.0/token 照样成功,很容易误判成参数错。online 只信设备列表、不信 status(离线时会返回缓存)。
- 天猫精灵与 BLE Mesh 各有一个桥。Mesh 的 NetKey / AppKey 等同设备钥匙,单独存放、不入库。
「能打断」不能听 HAL 声明:三层探测才问得出真话
- AcousticEchoCanceler.isAvailable() 只是厂商 HAL 的声明,不等于这条录音真的有回声消除。真判据是 create(sessionId) 成功且 getEnabled() 为真,而且必须在 startRecording 之前 enable——启动后再挂上去,HAL 已经按无 AEC 的路径把管道建好了。
- 最终还要看运行时:播报期间跟踪「自己说话时麦克风里还剩多少」。AEC 有效时残余只有几十,人声 300+ 立刻超线;无效时基线被抬到上千,人声压不过它,于是自动退化成「打不断」(连续 1.6 秒残余超过 1600 直接判定 AEC 是摆设并关麦)。
- 于是按能力分档而不是按机型写死:有 AEC 的电视边说边听,说话即打断;没有的退回半双工,播报时关麦。家里四台电视装同一个包,不用改配置。
- 遥控器语音键(219/231)根本到不了 App:在 framework 层被厂商语音助手吃掉,日志里连 key= 都没有,同一时刻发 OK 键(23)正常记录。所以半双工机器的打断入口是「OK=打断并聆听、BACK=只停播报」,播报时界面上直接写「按 OK 打断」,否则这能力等于不存在。
- 打断不能借用「停播报」那条路:它会把会话状态一起清掉,用户刚开口就被踢出对话。只停播放器、保留会话,也不清预录缓冲——开口那几百毫秒正好补回来。
- 顺带修掉两个「好电视反而变差」:好电视通常带系统识别引擎,原来「有就用」会把自建链路整个让出去,丢掉离线唤醒分流、10 秒连续对话和打断;TTS 也统一走云端同一音色,免得四台电视四种声音。
电视端:从「打开 App 按着说话」变成「喊一声就能聊」
- 8 个离线唤醒词常驻,喊「小悦同学」或「小悦管家」即应答并进入对话窗口,不用再开电视、开 App。
- 唤醒词本身不进识别:命中瞬间连同预录缓冲一起丢弃,否则会被静默判停截成一句「小悦同学」送去识别,屏幕闪一下「在听」就回待机。
- 熄屏待机:3 分钟无交互就把背光调到 0(screenBrightness 必须给 0,给 -1 是不熄屏),应用常驻、麦克风继续工作,唤醒时先恢复亮度再应答。电视从此不用关,应用也不用每次重开。
- 区分「熄屏」与「关闭电视」:前者只是关背光、还在听,后者走米家红外彻底断电;唤醒词「关闭电视」对应后者。
- 连续对话:唤醒后 10 秒内可以连着说,每轮重新计时,10 秒没声音才退回等唤醒。以前是一句落地就把窗口清零,第二句必须重新喊唤醒词。
- 唤醒应答是现生成的 2~6 字寒暄,不是固定的「我来了」;寒暄期间掐麦并压短,避免把用户紧接着说的第一句吞掉。
- 真机验收:第一句没听清(3301)时状态自动回「在听」,第二句不重新唤醒即识别成功;空闲到期距 TTS 播完 10.03 秒。
「通电」不等于「在工作」—— 待机的烤箱被当成运行中
- 蒸烤箱待机被算成运行中:设备同时返回 power=true 与 status=standby,旧代码只看 power。
- 拆成「通电」与「在工作」两个语义;烤箱用白名单,只有烹饪中/暂停算干活,未知一律按没在工作。
- 选白名单因漏报误报代价不对称,告警一说谎就没人信;「运行中」在六个位置统一走同一字段。
- 真机验证房间页与智能页都变「0 台运行」,设备页如实显示待机。
文案里的病句:「一楼蓝色的一楼蓝色」
- 管家回答出现「一楼蓝色的一楼蓝色」:5 处直接拼「房间+的+设备名」,没走既有称呼函数。
- 该函数也只挡了一半:只处理设备名等于房间名,没处理设备名里已含房间。
- 收口到一个函数两条规则:名字含房间不再拼,名字就是房间名退回类型名;8 个用例含空房间/空名字边界全过。
家庭服务主机上线:局域网设备终于能在 4G 下控
- 家庭服务主机上线,四段体检全绿:本机服务、隧道进程、服务器三端口、公网三路径 200。
- 公网读到烤箱真实状态(待机、腔内 22°C、门关、童锁开),只认同网段协议的设备在 4G 下也能控。
- 探针实测 -60dBm、信噪比 31、5GHz、网关 4.5ms、公网 13ms、零丢包。
- 5 个系统级服务 + 1 个转发容器均开机自启;连不上时文案分层,区分链路问题与设备故障。
实机部署的五个坑,每一个都伪装成别的问题
- 五个坑:变量名后紧跟中文被并入变量名;端口被占,反向隧道只绑 IPv6 仍返成功,请求打到别家返回 200。
- 本机 8000 被另一项目容器占用,烤箱服务改可配端口 8001。
- 本地网络权限:包管理器装的 framework 解释器连不通,借 Docker 网络做 TCP 转发;测连通要用真正跑服务的解释器。
- 依赖漏声明,查清该库本就在公共索引上,改回正常依赖管理。
- 分段体检才能定位断在哪一段。
周期
2026-09-28 → 未定



