做一个能自己动、看得见人、会对话的桌面机器人, 并且每一个功能都能拿出证据(照片 / 命令输出 / 视频),而不是只放一段演示视频。
v2 变化:v1 只按"角色"分(硬件/视觉/大脑/机械),v2 按人到人分,
并按每个人的现有设备 + 现有能力来派活 —— 不要求谁先学会编程。
关联:硬件/采购状态.md(钱与货)·硬件/引脚.md(脚号)·硬件/接线.md(接线)
协作平台:LabOrbit → http://192.168.7.74:8000(组员用这个地址,见 §7)
| 谁 | 手上有什么 | 派他做什么 | 判据 |
|---|---|---|---|
| **小草**(你) | 派 / 排针已焊 / 知道全项目 | **硬件集成 owner**:接线、供电、点火、安全 | 车能动 + 派上真机出数据 |
| **王同学** | 电脑 + **GPT** | **视觉与自动化**:相机链路、YOLO 实测、脚本小工具 | 有 FPS 数字 + 有截图/日志 |
| **戴同学** | 平板 + 电脑,**不熟编程、不熟 AI** | **资料与展示**:记录、归档、展板、演示视频 | 有表有图有稿子,**不需要写代码** |
| **孙同学** | 电脑(不一定带),**理科强** | **电气与数据**:算参数、实测、画表、安全清单 | 有电气参数表 + 实测数据 |
🔴 一条铁律:不会写代码 ≠ 不干活。 戴同学和孙同学的活同样决定项目成败
(老师看的是完成度,不是谁敲了多少行)。
本周三件事
1. 电机点火(最难,卡在母头线)
- 7 根信号线:AIN1=32脚 / AIN2=36脚 / BIN1=33脚 / BIN2=38脚 / nSLEEP=40脚 / VCC=1脚 / GND=6脚
- 线材:派排针是公针 → 插到派上的必须是母头 → 用公对母(母头套排针、公头插面包板),
DRV8833 整块插面包板,面包板内部用排针段/电阻腿
- 🔴 派必须重启一次(PWM overlay 10-15 写好了但没重启 → "命令全绿但电机不转")
- 验收:sudo python3 /root/pi/walle/hal/drv8833_pi.py --selftest --go → 轮子架空转一遍
2. 超声波接线:4 根公对母 + 1K×3 分压(→3.33V);验收:派直控 →「超声波测距」出数字
3. 派端代码同步:程序\deploy.ps1(含 10-22 修好的电机脚本)
DoD:① 架空轮子能 正转/反转/刹车 ② 超声波出真实厘米数 ③ 工作台「自证」页两个绿标
维护文档:硬件/采购状态.md、硬件/引脚.md、硬件/接线.md(三份是真相源)
为什么派他:有电脑 = 能跑代码;有 GPT = 能快速把小活变成脚本。
定位:视觉链路 + 所有"重复劳动"的自动化。
本周三件事
1. 验相机(30 秒,最优先):插 Windows → 相机应用出画 = UVC ✅;灰屏 → 立刻退货 ¥32
2. 装 OTG + 抓帧:买 Type-C OTG 转 USB-A 母(¥4.6)→ 插派 → 派上抓帧
(/api/camera/status 看 /dev/video0)
3. 🔴 R1 风险项:在 H618 上实测 YOLO11n 的 FPS
- <3fps → 启用「家电脑 vision_server 兜底」(程序/vision_server,端口 8765)
- 结论写进 硬件/视觉链路.md:接线 + FPS 数字 + 最终用哪条路线
顺手做的小工具(用 GPT 写,跑通了再交)
DoD:派或笔记本能稳定抓帧出人体框 + 有一个写下来的 FPS 数字
风险:相机可能非 UVC;1GB 内存跑 YOLO 很紧
不许做的事:没实测 FPS 之前不许承诺"能跟随"
🤖 给王同学的 AI 使用规矩(很重要,关系到项目可信度):
GPT 写的代码必须先在项目里真跑一遍再算完成;把 GPT 的回答原文存进文献库,
标明是 AI 写的哪一段。不许把没跑过的代码当成完成品交上来。
为什么派他:展演的东西(展板、PPT、演示脚本、记录表、视频)全是非代码工作,
而这些恰恰是老师唯一看得见的部分。他不需要学编程,需要的是模板 + 步骤。
本周三件事(都有现成模板,照抄就行)
1. 实验记录员:每次测试(接线、测距、点火)→ 拍 2 张照片(全景 + 关键处)
+ 填《实验记录表》(模板见 §6)
2. 文献管理员:把项目文档同步进 LabOrbit 文献库(3 步,见 §7),
并给每篇新文档写一句"这段讲什么"(组员就看这一句)
3. 展演物料:展板 1 张 + PPT 5–6 页 + 2 分钟演示脚本初稿(框架见 §6)
只用平板也能做的:录演示视频(横屏、每个动作 3 秒以上)、拍展演花絮、
把演示当天的问答录下来做复盘
DoD:① 每个里程碑都有照片+记录表 ② 文献库里新增文档都有一句话说明
③ 展板 + PPT + 演示脚本初稿 ④ 一条 60 秒演示视频
不许做的事:不用碰代码、不用装环境、不用改程序
🤖 给戴同学的 AI 使用规矩:不会用 AI 没关系,照抄下面的提示词模板就行。
AI 只能用来整理文字,不能用来生成要交的结论。
提示词模板见 §6。
为什么派他:整个项目最容易翻车的地方是电(5V/7.4V 打架、分压算错、电机拉崩电源),
而这些靠算和量,不需要写代码。理科强 + 有万用表 = 这个岗位的天然人选。
电脑不带也能干:纸笔 + 万用表 + 手机拍照就够。
本周三件事
1. 电气参数表(纸笔就能算,不用电脑):
- Echo 分压:1K + (1K+1K) → 5V × 2/3 = 3.33V ✔(为什么不是 10K+10K?→ 只有 2.5V,会时灵时不灵)
- 电机 VM:车电池 4 节 = 6V 标称(4.8–6.4V),DRV8833 上限 10.8V ✔
- 派功耗:5V × 0.2–0.3A(峰值 0.6A)→ 充电宝 2A 够
- 电机启动电流可达 1.5A → 不能走降压和派的 5V 线(星形接地)
2. 实测数据(去学校借万用表):电池电压、5V 带载电压、电机启动瞬间电流、
面包板 +轨↔−轨 蜂鸣档(必须不响)→ 填进《实验记录表》并拍数字照片
3. 安全清单(一页纸,贴在桌上):
8.4V 充电器只给电池充电 · 5V 和 7.4V 不同时进派 · 降压没量到 5.0V 不插派 ·
电机电流不经降压 · pin1=3.3V pin2=5V · 改线先断电 · 轮子架空才能通电试转
如果他带了电脑,追加:把实测数据做成曲线(可以用 GPT 辅助,但表格必须他自己核对)
DoD:① 电气参数表(每条有公式和结论)② ≥4 项实测数据(带照片)
③ 安全清单贴在工作台
风险:电池是 4×AAA(最低 3.6V)→ 降压会掉进死区 → 派的供电改用充电宝(见 硬件/供电方案(上车版).md)
| 里程碑 | 目标 | 判定 | 负责人 |
|---|---|---|---|
| **M0**(10-23) | 学校演示 | 三幕能演:真实系统 / 大脑对话+语音 / 超声波(或演示模式兜底) | 小草 + 戴(录视频) |
| **M1**(本周内) | **车能动** | 架空能转 → 落地走直线 → 派发指令能动 | 小草 + 孙(实测) |
| **M2**(11 月初) | 看得见 + 跟得上 | 视觉出框 + FPS 达标 + 跟随不丢目标 | 王 |
| **M3**(六周展前) | 像个机器人 | 外壳 + 展板 + 视频 + 连演 3 遍不崩 | 戴 + 孙 + 小草 |
| 日期 | 谁 | 测什么 | 设备/接线 | 读数 | 结论(通过/失败) | 照片编号 |
|---|---|---|---|---|---|---|
| 例:超声波测距 | Echo 经 1K+2K 分压 | 31.2 cm | ✅ 通过 | IMG_0231 |
规矩:没有读数就不算测过;失败也写,失败原因写一行。
【第一幕 30 秒 · 真实系统】 "这是香橙派,跑的是 Linux。" ← 指总览页:CPU 温度 / 内存 / WiFi 信号,每 6 秒真探测 【第二幕 2 分钟 · 大脑】 "谁想问瓦力一个问题?" ← 手机打开 http://<派IP>:8000,直接问派 "它现在在想……" ← 云端推理模型,每句约 5 秒 【第三幕 1 分钟 · 眼睛】 手在传感器前移近移远 → 数字跟着变 ← 超声波(接不成就用演示模式,诚实说明) 【收尾 20 秒】 "电机、电池在路上,下周点火。今天展示的是大脑和感官。"
请把下面这段项目文档整理成: 1) 一句话说明这段讲什么 2) 3 条要点 3) 给组员的一个待办 不要编造文档里没有的信息。 【粘贴文档内容】
给王同学的版本(带跑通要求):
`
请为「WALL·E 机器人项目」写一个 Python 脚本,功能是:<功能>。
要求:① 只用标准库 ② 打印每一步的错误信息 ③ 写完先自己解释一遍逻辑。
我会先在项目里跑一遍再采用;跑不通的代码不算完成。
`
地址:http://192.168.7.74:8000(小草电脑开着,同一 WiFi 即可)
🔓 已经不用登录了:打开网址直接用。右下角「👤 名字」可切换身份(决定你发的公告署名)。
5 个身份:小草 · 项目负责人 / 导师 / 王同学 · 视觉与自动化 / 戴同学 · 资料与展示 / 孙同学 · 电气与数据
账号密码仍然保留(应急用),格式统一 WALLE-代号-2026。
>
📁 资料站已合并进来:<同一地址>/walle/(分工表 / 总计划 / 模型清单 / 图纸 / 56 篇资料库),
右上角「▶ 进入协作平台」一键跳回平台 —— 一个网址全搞定。
独立镜像:https://walle-team.pages.dev/(永久地址,顶部按钮也指向平台)
| 角色 | 账号 | 主要用哪两个功能 |
|---|---|---|
| 小草 | `admin@lab-orbit.local` / `admin123` | 公告(发分工)+ 文献库(存文档) |
| 王同学 | `wang@lab.local` / `walle2026` | 文献库(查参数)+ 公告(报进度) |
| 戴同学 | `dai@lab.local` / `walle2026` | 文献库(存文档 + 一句话说明)+ 公告(每天进度) |
| 孙同学 | `sun@lab.local` / `walle2026` | 文献库(存电气参数表 + 实测数据) |
组员注册/登录:打开地址 → 登录 → 首次登录先改密码(在"账户"里)
戴同学要做的 3 步(同步文档进文献库)
1. 小草电脑跑:python C:\Users\28597\Desktop\lab-orbit\walle-import\import_walle_docs.py
2. 打开文献库看最新 3 篇,每篇写一句"这段讲什么"(在文档里加一行摘要)
3. 在公告里发今天的进度
平台现役(2026-10-22 已跑通)
:8000(含前端,单端口)· 局域网 192.168.7.74:8000 ✔vite.build.win.config.js(已内置在 start-win.ps1)1. 每天 21:00 前在 LabOrbit 公告里发三行:今天完成了什么 / 明天做什么 / 卡在哪
(不许发"差不多了",只发有证据的结论)
2. 每周日 20:00 组会:每人 5 分钟进度 + 1 个卡点;纪要贴进文献库
3. 文档唯一真相源:硬件/采购状态.md、硬件/引脚.md、硬件/接线.md
—— 数字冲突以这三份为准,别自己另写一份
4. 下单规则:单笔 ≤¥30 自己决定;>¥30 先群里说。⚠️ 预算已超 ¥20.31,不许乱买
| # | 风险 | 影响 | 谁盯 | 兜底 |
|---|---|---|---|---|
| R1 | H618 跑 YOLO 的 FPS 从未实测 | 跟随功能主线可能不成立 | 王 | 家电脑 vision_server 兜底 |
| R2 | 母头线不够 | 电机/超声波接不上 | 小草 | 焊飞线 / 排母条 / 用排针段 |
| R3 | PWM overlay 未重启 | "命令全绿但电机不转" | 小草 | 重启 + `--selftest` 看第【4】项 |
| R4 | 相机非 UVC | 视觉功能没了 ¥32 | 王 | 立刻退货;先验货 |
| R5 | 预算已超 ¥20.31 | 再乱买就失控 | 全员 | 下单规则第 4 条 |
| R6 | 电池是 4×AAA(3.6V) | 派供电掉压随机重启 | 孙 | 派改用充电宝供电 |
| R7 | 组员没电脑/没网 | 进度断档 | 小草 | 每晚把记录同步进文献库 |
一句话目标:六周展之前,做出一个能自己动、能看见人、能对话的桌面机器人,
并且每一个功能都能拿出证据(照片 / 命令输出 / 视频)。
关联:任务/小组分工表.md(谁干)·任务/可用资料清单.md(东西在哪)·硬件/采购状态.md(钱)
派:系统烧好 ✅ 软件写完 ✅ 面板在跑 ✅ 车:能动了 ✅ 电池/驱动/传感器到手 ✅ 缺口:线材(母头)· 电机没接 · PWM 没重启 · 相机插不上派 · Nano 没买 · 外观没做
唯一还没兑现的大功能:车还没被"大脑"驱动过。 其余(大脑、对话、语音、面板、工作台)都已经能跑。
| # | 任务 | 负责人 | 验收标准(要有证据) |
|---|---|---|---|
| 1.1 | 备齐母头线(公对母 / 焊飞线) | 小草 | 4 根超声波 + 7 根电机够用 |
| 1.2 | 超声波接线 + 1K×3 分压 | 小草 | 派直控「超声波测距」出真实厘米数(手挡前后不同) |
| 1.3 | **派重启一次**(PWM overlay 生效) | 小草 | `drv8833_pi.py --selftest` 第【4】项显示「硬件 PWM ✅」 |
| 1.4 | DRV8833 7 根线 + 电池接 VM + 共地 | 小草 + 孙 | 万用表:5V 带载 ≥4.85V;`+`轨↔`−`轨不响 |
| 1.5 | **架空试转** | 小草 + 孙 | 正转 3s / 停 / 反转 3s / 刹车,录视频 |
| 1.6 | 落地走直线(低速、有人扶) | 小草 | 走 1 米不跑偏 |
| 1.7 | Arduino Nano 到货 → 烧固件 v1.2 | 小草 | 串口 `$PONG` 联调通过 |
| 1.8 | 电气参数表 + 安全清单 | 孙 | 一页纸贴在工作台 |
阶段一完成的定义:车能听派的话走,并且任何时候按一下就能停。
| # | 任务 | 负责人 | 验收标准 |
|---|---|---|---|
| 2.1 | 相机 UVC 验证 | 王 | 插电脑出画;灰屏就退 |
| 2.2 | OTG 转接头 → 派抓帧 | 王 | 派上 `/dev/video0` 出现 |
| 2.3 | **🔴 R1:H618 实测 YOLO11n FPS** | 王 | 表里有 FPS 数字 + 结论(≥3 用派,<3 切家电脑兜底) |
| 2.4 | 人体框 → 跟随 PID 实车调参 | 王 + 小草 | 跟 2 米不丢;丢了 5 秒内停 |
| 2.5 | 云端看图(`/api/vision`) | 王 | 拍一张车前有人 → 说出「有人」 |
阶段二完成的定义:车能跟人走,撞不了人,丢了目标会停。
| # | 任务 | 负责人 | 验收标准 |
|---|---|---|---|
| 3.1 | 外壳 v1(3D 打印,装得下派+电池+面包板) | 戴 + 孙 | 装得上、线不被压、拍照片 |
| 3.2 | 配色/喷漆 | 戴 | 至少看起来像瓦力 |
| 3.3 | 展板 + PPT + 2 分钟演示脚本 | 戴 | 老师给的时间内演完 |
| 3.4 | 60 秒演示视频 | 戴 | 接线/点火/测距/对话各一段 |
| 3.5 | 连演 3 遍不崩(弱网/断电预案) | 全员 | 每次都能演完 |
| 3.6 | 预算与风险说明(¥280 怎么花的) | 孙 | 展板上有 |
| 时间 | 事 | 谁 |
|---|---|---|
| 每天 21:00 前 | LabOrbit 公告发三行进度(完成/计划/卡点) | 全员 |
| 每周三晚 | 硬件联调夜(小草 + 孙) | 小草、孙 |
| 每周日 20:00 | 组会(每人 5 分钟 + 1 个卡点),纪要进文献库 | 全员 |
| 每周日晚 | 库更新 + 采购状态更新(只小草改) | 小草 |
| 不做 | 原因 |
|---|---|
| GPS | 20m 精度用不上,改用 L1 策略(丢失 >5s 播报) |
| USB HUB | Nano 在 Windows 上烧录,运行时不占派 USB 口 |
| 第二块驱动 / 4WD | 2WD 只需 1 块 DRV8833 |
| 船型开关 | 拔电池/拔 XT30 即断电 |
| 派上本地语音模型(Piper/Vosk) | 1GB 内存 + 编译成本高,先走云端 TTS |
| 40pin 排针 | 已自己焊好;Nano 买预焊接版 |
| 再买一套"好看的"硬件 | 预算已超 ¥20.31,**把钱花在能演出来的功能上** |
已付款 ¥295.15 − 已退款 ¥24.84 = 净支出 ¥270.31(预算 ¥250,已超 ¥20.31) 待购 P0:Nano ¥5–9 + Mini-USB ¥2.5 + OTG ¥4.6 ≈ ¥13–16 落地总额 ≈ ¥283–286
规则:单笔 ≤¥30 自己决定;>¥30 先群里说再买;"缺件先想办法"优先于"下单"。
| 问题 | 诚实答案 | 准备人 |
|---|---|---|
| "它真的能自己跑吗?" | 阶段一后能;现在演示的是大脑+感官,电机下周点火 | 小草 |
| "这花了多少钱?" | 约 ¥280,板子 ¥180(闲鱼),传感器 ¥9,预算超 ¥20 | 孙 |
| "这真是你们做的吗?" | 出示:LabOrbit 文献库 30+ 篇文档 + 实测记录表 + 演示视频 | 戴 |
| # | 风险 | 触发点 | 兜底 |
|---|---|---|---|
| R1 | H618 的 YOLO FPS <3 | 阶段二 2.3 | 家电脑 vision_server 兜底(代码已支持自动降级) |
| R2 | 母头线买不到/到不了 | 阶段一 1.1 | 焊飞线 / 排母条 / 排针段 |
| R3 | PWM overlay 未生效 | 阶段一 1.3 | 重启;不成就软件 PWM(能走,抖) |
| R4 | 相机非 UVC | 阶段二 2.1 | 立刻退货 ¥32 → 视觉改用手机/笔记本摄像头 |
| R5 | 4×AAA 电池掉压 | 上车跑 | 派用充电宝供电 |
| R6 | 云端 API 超额/掉线 | 演示当天 | 工作台会显示真实错误 → 演示"错误也是真的" |
| R7 | 展示当天网络差 | 展演 | 手机热点 + 本地兜底演示模式 + 录好的视频 |
| R8 | 组员进度断档 | 随时 | 每晚记录同步进文献库,不靠口头 |
用途:小组所有能用的资料一次性列清楚 + 每样东西能干什么、怎么用、谁负责。
全部资料同步入口:LabOrbit 文献库(http://192.168.7.74:8000 → 文献库,26+ 篇已入库)
找不到就问对应负责人,别自己另找一份(避免出现两个版本)。
| 资料 | 位置 | 能干什么 | 负责人 |
|---|---|---|---|
| **派侧主程序** `walle/`(8 模块 + 模拟器) | `程序/pi/walle/` | 大脑/意图/跟随/视觉/安全/知识库,**41 项自检全绿** | 小草 |
| **一键部署脚本** `deploy.ps1` | `程序/deploy.ps1` | 把 `程序/pi/*` 推到派的 `/root/pi` 并跑自检 | 小草 |
| **电脑端驾驶舱**(工作台 + 自证页) | `程序/workbench/` | 总览/遥控/大脑/语音/派直控/**自证** 9 个页签 | 小草 |
| **派端真控制中心 v2** | `D:\walle\panel\` → 派上 `/root/panel` | 派自己的面板(8000 端口),**密钥在派上** | 小草 |
| **派端测试脚本** | `D:\walle\pi_tests\`(→ 派 `/root/pi_tests`) | `sonar_service.py`(中值滤波测距)· `test_drv8833.py`(电机自检,10-22 已修)· `test_hcsr04.py` | 小草 |
| **家电脑视觉兜底** | `程序/vision_server/` | YOLO 在笔记本上跑,派算力不够时接管(端口 8765) | 王同学 |
| **Arduino Nano 安全固件** | `程序/firmware/` | `walle_safety.ino` v1.2 —— **待烧录**(缺 Nano + Mini-USB 线) | 小草 |
| **Armbian 系统镜像** | `D:\walle\walle.img`(1.6GB)+ `walle-sd\` | 派从 TF 卡开机的镜像;烧录指南 `程序/pi/烧录指南.md` | 小草 |
| **3D 打印件源码** | `archive/old-3d/walle_build.py` · `WALL-E/建模/*.scad` | 生成外壳/底盘 STL | 戴同学 + 孙同学 |
| 物料 | 状态 | 用途 | 负责人 |
|---|---|---|---|
| Orange Pi Zero 2W(1GB) | ✅ 已到货 | 大脑本体(派) | 小草 |
| 降压模块(封胶版) | ✅ 已到货 | 7.4V/6V → **5.0V** 给派(🔴 型号待记) | 小草 + 孙 |
| 8.4V 充电器 2A | ✅ 已到货 | 🔴 **只给电池充电** | — |
| 2WD 底盘(**自带 4 节电池盒**) | ✅ 已到货,**能动了** | 车体 + 电机 + 轮胎 + 万向轮 | 小草 + 孙 |
| 7.4V 锂电 2S2P(XT30) | ✅ 已到货 | 上车主电源(⚠️ 容量/保护板待验) | 孙 |
| HC-SR04 超声波 ×2 | ✅ 已到货 | 测距(避障/跟随) | 小草 |
| DRV8833 驱动 ×4 | ✅ 已到货 | 电机驱动(2WD 只需 1 块) | 小草 |
| USB 工业相机 | ✅ 已到货 | 视觉(⚠️ 待验 UVC,灰屏就退 ¥32) | 王同学 |
| 830 孔面包板 + 电阻包 + 排针 | ✅ 已到货 | 分压电路 + 中转站 | 孙同学 |
| 杜邦线(公对母/公对公) | ✅ 已到货 | 🔴 **缺母头**(见 §5) | 小草 |
| Arduino Nano + Mini-USB 线 | ❌ 待买 ¥8 | 硬件急停(最终架构) | 小草 |
| Type-C OTG 转 USB-A 母 | ❌ 待买 ¥4.6 | 相机插派 | 王同学 |
采购真相源:硬件/采购状态.md(净支出 ¥270.31,预算 ¥250,已超 ¥20.31)
| 分类 | 关键文件 | 什么时候看 |
|---|---|---|
| **项目状态** | `现在做什么.md` · `文档/状态.md` · `文档/缺口分析.md` | 每周一开组会先看这个 |
| **硬件真相源** | `硬件/采购状态.md` · `硬件/引脚.md` · `硬件/接线.md` · `硬件/电源.md` | **接任何线之前** |
| **新写(10-22)** | `硬件/没有母对母怎么办.md` · `硬件/电机接线与线材方案.md` · `硬件/供电方案(上车版).md` · `任务/小组分工表.md` · `文档/明天学校演示清单-2026-10-23.md` | 现在 |
| **架构** | `文档/架构重构-2026-10-15/00~07`(架构图/模块职责/数据流/风险/模型选型/实施计划/安全清单) | 王同学、孙同学看 04(硬件风险) |
| **程序** | `程序/pi/烧录指南.md` · `程序/串口协议速查卡.md` · `程序/workbench/README.md` | 小草 |
| **视觉** | `文档/视觉与识别.md` · `程序/vision_server/` | 王同学 |
| **图表(可交互 HTML)** | `图表/完整流程图.html`(7 板块)· `图表/派接线自检卡.html` · `图表/连接示意图.html` | 讲解 + 接线时对照 |
| **外部资料** | `Karpathy Memory OS/给小草看的/瓦力机器人/`(复刻指南 + 上手包)· openrobo 论坛瓦力教程/接线图/小智接入 | 遇到坑先搜这里 |
| **B 站学习笔记** | `Karpathy Memory OS/09_INBOX/raw/2026-09-17-bililearn-kb/`(109+ 条 + mindmap) | 找灵感 |
| 资源 | 状态 | 说明 |
|---|---|---|
| **SenseNova(商汤)glm-5.2** | ✅ 可用 | 云端大脑 + 视觉模型;密钥在 `程序/workbench/config.json` 与派上 `/etc/profile.d/walle_cloud.sh`(**绝不发群里**) |
| **edge-tts** | ✅ 可用 | 免费离线 TTS(晓晓/云希/云夏/晓北四种音色) |
| **MiMo-V2.6-Flash** | ⬜ 待注册 key | 下一阶段大脑候选(¥1/¥2,图音工具三合一) |
| **LabOrbit**(课题组平台) | ✅ 已跑通 | 后端 `:8000` + 局域网 `192.168.7.74:8000`;文献库 26+ 篇;公告;邀请码 `LAB-2026` |
| **OneDrive** | ✅ 已装 | 资料整包备份(`OneDrive/文档/WALL-E/`) |
| 卡点 | 解法 | 在哪 |
|---|---|---|
| 没有母对母线,模块插不上去 | **公对母 = 母头**,配面包板中转;HC-SR04/DRV8833 都能整块插面包板 | `硬件/没有母对母怎么办.md` |
| 电机接了却不转 | ① 引脚别用 7/18(那是超声波)② 派重启让 PWM overlay 生效 ③ nSLEEP 拉高 | `硬件/电机接线与线材方案.md` |
| 派随机重启 | 电机电流不能经降压/派的 5V 线;星形接地 | `硬件/供电方案(上车版).md` |
| Echo 读数时灵时不灵 | 分压必须是 1K+2K(3.33V),不是 10K+10K(2.5V) | `硬件/接线.md` §2 |
| `--probe-only` 说"没问题"但线没接 | 悬空脚也读低电平;用**偏置法**(上拉+下拉对比) | `硬件/线不够用怎么办.md` §5.5 |
| 前端 build 被火绒打断 | 用 `vite.build.win.config.js`(关 esbuild);已写进 `start-win.ps1` | `lab-orbit/start-win.ps1` |
| `/api/seminars` 500 | 缺 tzdata(已手动装) | `lab-orbit/backend/requirements.txt` |
http://192.168.7.74:8000(局域网)或 公网隧道地址 → 打开直接用,右下角「👤 名字」切换身份(决定署名),「📁 资料站」跳到 /walle/
<平台地址>/walle/ —— 分工表 / 总计划 / 模型清单 / 图纸 / 56 篇资料库,顶部「▶ 进入协作平台」一键跳回平台,不再需要在两个网址之间来回
OneDrive/文档/WALL-E/(文档 + 代码 + 关键表格)—— 组员没网时从这拿C:\Users\28597\Desktop\WALL-E装机包\(Armbian 镜像 + Imager + 操作卡)1. 读 任务/小组分工表.md §1(知道自己干什么)
2. 打开 http://192.168.7.74:8000 → 登录(邀请码 LAB-2026)→ 看文献库里《小组分工表》和《采购状态》
3. 读 硬件/接线.md v4(知道东西怎么接)+ 硬件/采购状态.md(知道还缺什么)
4. 把自己这周的 DoD 抄进 LabOrbit 公告
给"钱不多"的现实解法:核心链路 ¥0(智谱免费 + 商汤免费 + 阿里百炼免费额度 + edge-tts 免费)。
付费模型只在"免费层限流/下线"时当兜底,不当主力。
🟢 = 今天核实(官方文档/定价页)| 🟡 = 社区经验/未直接实测,上线前自己验一次
关联:文档/架构重构-2026-10-15/05-模型选型与成本.md(选型逻辑)·程序/pi/walle/brain/(接入代码)
| 环节 | 🟢 今天就用它 | 免费额度 | 项目里已经接在哪 |
|---|---|---|---|
| 大脑(决策/对话/工具调用) | **GLM-4.7-Flash** | **永久免费**(输入/输出/缓存全免,200K 上下文) | `walle/brain/cloud_brain.py`(现用 glm-5.2,可换) |
| **眼睛(识图)** | **GLM-4.6V-Flash** | **永久免费**(128K,图片/视频/文件) | 派端 `/api/vision`(现用 sensenova-6.8-flash-lite) |
| 多模态备份 | SenseNova 6.8 Flash Lite | 免费公测 **1500 次/5 小时/模型**,最多 20 个 key | `center_server.py` 已在用 ✔ |
| 听(语音识别) | 阿里百炼 `paraformer-realtime-v2` | **36,000 秒/月(10 小时)**,每月 1 日重发 | 待接(需 `sk-` key) |
| 听(端侧本地) | **SenseVoiceSmall**(234M)或 **Paraformer-zh-streaming**(220M) | 无限(本地跑) | 派上内存紧张,二选一 |
| 说(语音合成) | **edge-tts** | **免费无限、零 key**(22+ 神经音色) | 工作台「语音」页已装 ✔ |
| 快速目标检测 | **YOLO11n**(本地 ONNX INT8) | 免费开源 | `程序/vision_server`(家电脑兜底,端口 8765) |
| 远近判断 | **超声波 HC-SR04**(硬件,不是模型) | — | 已买,Trig=7脚/Echo=18脚 |
结论:整条链 ¥0。 付费只在兜底时才用得到。
派是 H618(4×A53)+ 1GB 内存。深度模型跑不动也没必要。
| 层级 | 方案 | 成本 | 说明 |
|---|---|---|---|
| 🥇 近距(<50cm) | **超声波 HC-SR04** | ¥9 已买 | 0.1ms 响应、最省电、就是"倒车雷达"。**已经在接** |
| 🥈 人体在哪、多远 | **YOLO11n 目标框底边** | ¥0 | 目标框越大 = 越近;不需要深度模型 |
| 🥉 "这东西是什么、离我多远" | **GLM-4.6V-Flash**(免费识图)传一帧 JPEG | ¥0 | 云端看图回答,适合"偶尔问一次" |
| 4️⃣ 本地单目深度(备用,家电脑跑) | **Depth-Anything V2 Small**(ONNX INT8 ~25MB,**Apache-2.0 可商用**) | ¥0 | 大号版本(Base/Large)是 **CC-BY-NC-4.0 非商用**,别用在有商业目的的地方 🟡 |
| 5️⃣ 想更省事:直接上测距模块 | **VL53L1X / ToF 激光测距**(I²C) | ¥20–40 | 直接给厘米数,不识图;比深度相机(¥200+)便宜一个量级 🟡 |
🧠 一句话:近距交给超声波,语义交给云端免费视觉,深度模型放家里电脑当备用。
| 模型 | 参数/体积 | 许可 | H618(CPU only)预估 | 用途 |
|---|---|---|---|---|
| **YOLO11n**(Ultralytics) | 2.6M 参数 / ~6.5 GFLOPs | AGPL-3.0(商业要授权)🟡 | **1–3 FPS(必须实测 = R1)** | 人体框 → 跟随 PID。**项目当前就用它** |
| YOLOv8n | 6.9M 参数 | AGPL-3.0 | 略慢 | 备选 |
| **RT-DETR-lite / PicoDet / MobileNet-SSD / EfficientDet-Lite0** | 10–30M | **Apache-2.0**(无授权坑) | 视模型而定 | 想避开 AGPL 就选这些 🟡 |
两条硬规矩:
1. 先测 FPS 再承诺功能:派上跑 program/vision_server 或 ONNX Runtime INT8,记下真实帧率。
- ≥3 FPS → 视觉在派上跑
- <3 FPS → 家电脑兜底(vision_server 端口 8765,代码已支持自动降级)
2. 部署走 ONNX/ncnn INT8,别在派上跑 PyTorch(1GB 内存装不下)。
训练/标注(免费):Ultralytics 自带训练脚本 + 自己标 50 张就够用;Roboflow 有免费额度(🟡 额度会变);标注可用 LabelImg / CVAT(自建免费)。
你的原话:「只能用 GLM,可是 GLM 没法识图」。
🟢 真相:能识图,只是要用另一个模型名 —— glm-4.6v-flash,同一个智谱账号、同一个 key、同一个接口地址。
(glm-4.7-flash是纯文本版;glm-4.6v-flash是视觉版,输入/输出/缓存都免费)
| 角色 | 模型 ID | 图 | 音 | 工具调用 | 价格 | 备注 |
|---|---|---|---|---|---|---|
| **主脑** | `glm-4.7-flash` | ❌ | ❌ | ✅ | **¥0** | 200K 上下文、128K 输出、思考模式、结构化输出 |
| **眼睛** | `glm-4.6v-flash` | ✅ 视频/图/文件 | ❌ | ✅ 视觉原生 FC | **¥0** | 128K;视觉理解 + 目标定位(还能输出坐标) |
| 备份多模态 | `sensenova-6.8-flash-lite` | ✅ | — | ✅ | **¥0**(公测 1500 次/5h) | 派端 `/api/vision` 现在就在用它 ✔ |
| 便宜全能(对比用) | MiMo-V2.6-Flash | ✅ | ✅ 原生 | ✅ | ¥1/M 输入 ¥2/M 输出 | ⚠️ **你只有试用额度** → 当"一次性对比"用,别当主力 |
| 排除 | Qwen 全系 | ✅ | ✅ | ❌ | — | **官方明确不支持 Function Calling** → 做 Agent 是死路 |
| 坑 | 现象 | 对策 |
|---|---|---|
| 免费层 **1 并发** | 429「当前访问量过大」🟡 | 本地调用队列 + 退避重试;两个模型错峰用(脑和眼分开) |
| 免费不是"无限" | 高峰期排队/失败 | 代码里写**兜底链**:GLM-4.7 → GLM-4.6v → SenseNova → 本地知识库 |
| 额度会变 | 官方可能换免费型号 | **模型 ID 写进 `config/models.json`**,不改业务代码;开机真调一次做能力自检 |
| 平台禁自动化脚本 | 某些"套餐"禁止机器人后端调用 | 只用**按量计费**的免费档;别用订阅套餐跑机器人 |
听:百炼 paraformer-realtime-v2(10h/月免费) ↓ 文字 脑:GLM-4.7-Flash(免费)→ 需要看图时切 GLM-4.6V-Flash(免费) ↓ 回复文本 说:edge-tts(免费无限,零 key) = 月成本 ¥0
| 环节 | 🥇 免费首选 | 🥈 备选 | 🥉 端侧本地(派) |
|---|---|---|---|
| **ASR 云端** | 阿里百炼 `paraformer-realtime-v2`(实时,**36,000 秒/月免费**,超 ¥0.00024/秒) | `fun-asr-realtime`、`qwen-audio-3.1-asr-flash-message/streaming`(新系列) | — |
| **ASR 端侧** | **SenseVoiceSmall**(234M,中英日韩粤 + 情感/事件;GGUF 有 `llama-funasr-sensevoice` 单文件二进制,🟡 中文 CER 约为 whisper.cpp 的 1/3) | **Paraformer-zh-streaming**(220M,约 80MB 内存,更轻) | Whisper tiny(弱、RTF 1.5–2.5 **不实时**,只适合录完再转) |
| **TTS** | **edge-tts**(免费无限、零 key、22+ 音色:晓晓/云希/云夏/晓北…) | 百炼 CosyVoice / Qwen-Audio-3.0-TTS;火山豆包 | Piper x-low/low(150–185MB,RTF 0.5–0.8,机械音但离线) |
| **播报** | 浏览器 SpeechSynthesis(免费,零延迟到设备) | USB 声卡 + 有源小喇叭(¥10) | 派上没有声卡 → 声音来自**打开网页的那台设备** |
TTS / ASR / YOLO 三者不能同时常驻。 谁被唤醒就加载谁,用完卸载。
派上内存预算:系统 ~200MB + YOLO ~300MB + 语音模型 ~450MB = 超了。
所以:语音优先走云端(派上不装大模型),端侧只留一个最轻的 ASR 备胎。
| 方案 | 组成 | 成本 | 适合 |
|---|---|---|---|
| **A(推荐,零成本)** | 浏览器麦克风 → 百炼 `paraformer-realtime-v2` → GLM → edge-tts 朗读 | **¥0**(10h/月够用) | 演示、日常 |
| B(完全离线) | 派上 SenseVoiceSmall(int8) → 本地小模型回答 → Piper | ¥0 但吃内存 | 没网时 |
| C(体验最好) | MiMo-V2.6-Flash 原生音频(省掉整条 ASR) | ¥1/¥2 | 你拿到正式额度后 |
| 买什么 | 价 | 什么时候 |
|---|---|---|
| 派、驱动、传感器 | 已花 ¥270 | — |
| Nano + Mini-USB 线 | ¥8 | 硬件急停层(必买) |
| Type-C OTG 转 USB-A 母 | ¥4.6 | 相机插派(必买) |
| USB 声卡 + 小喇叭 | ¥10 | 让瓦力不靠笔记本出声(想要再买) |
| 云端模型 | **¥0** | 用上面免费链 |
| 后续可能:WiFi 摄像头/深度相机 | ¥30–200 | 视觉跑不动时再考虑 |
📌 每月固定支出:¥0。 免费链的额度够一个学生小组用一整年。
| 谁 | 做什么 | 判据 |
|---|---|---|
| **王同学** | 申请**智谱 key**(同一个 key 可用 glm-4.7-flash + glm-4.6v-flash 两个免费模型)→ 填进 `walle/brain/cloud_brain.py` 的配置 | 派上问"你是谁",能调通两个模型 |
| **王同学** | 申请**阿里百炼 key**(`sk-` 开头)→ 接 `paraformer-realtime-v2` | 浏览器说话出文字 |
| **王同学** | 相机 UVC 验证 + 派上抓帧 + **实测 YOLO11n FPS** | 写下来的 FPS 数字 |
| **小草** | 把大脑模型从 glm-5.2 切成 **GLM-4.7-Flash**,视觉切 **GLM-4.6V-Flash**(改配置不改代码) | 派上 `python3 -m walle.main --cloud` 还能答 |
| **孙同学** | 算"云端免费额度够不够用"(事件触发模式下每天几十次) | 估算表 |
完整流程图(架构 / 三回路 / 安全策略 / 电源 / 感知 / 分工 / 预算 7 板块)
派接线自检卡(接线矩阵 + 上电 6 步 + 通电前检查清单)
| 角色 | 账号 | 密码 | 权限 |
|---|---|---|---|
| 小草(项目负责人) | admin@lab-orbit.local | WALLE-ADMIN-2026 | 管理员(唯一) |
| 导师 | mentor@lab-orbit.local | WALLE-MENTOR-2026 | 教师 |
| 王同学 | wang@lab.local | WALLE-WANG-2026 | 组员 |
| 戴同学 | dai@lab.local | WALLE-DAI-2026 | 组员 |
| 孙同学 | sun@lab.local | WALLE-SUN-2026 | 组员 |
🔓 免登录已开:直接打开协作平台即可使用,右下角选「我是谁」就能切换身份署名。
邀请码(新人自助注册):组员 WALLE-STUDENT-2026 · 导师 WALLE-MENTOR-2026