舞蹈从来不只发生在身体里。 它溢出去——溢进空气, 溢进光, 溢进那些等待被激活的像素里。 光影为媒, 是 DanceNet.Lab 对一个问题的持续回答: 如果代码也能成为舞台, 身体能跳出什么？

第一种 · 摄像机看见我们

我们把摄像头对准舞者, 但不录像——而是翻译。 每一帧图像被实时拆解为关键点坐标, 再经由粒子系统重新"长"回画面: 身体的轮廓消失了, 取而代之的是一团由动作驱动的光焰。 音乐同时被送入频谱分析器, 低频加重粒子密度, 高频点燃颜色边缘。 舞者面对投影墙, 看见的不是镜子里的自己——而是自己在代码里燃烧的样子。

身体是输入, 光是输出; 但那束光, 比镜子更诚实。

第二种 · 与光共舞

当舞者举起手臂, 一组发光的几何体开始在手腕旁聚集; 当身体俯冲入地, 那颗悬在空中的光球随之坠落——这不是特效, 是响应。 我们用姿态估计实时读取每个关节的位置与速度, 把它们变成控制光的物理参数。 光有质量, 有惯性, 有自己想去的方向; 但它愿意被一个足够专注的身体带着走。 这是与物理引擎共同编排的双人舞——一个用肉身起舞, 另一个用光。

第三种 · 舞蹈的自我觉醒

这是三种方式里最安静、 也最接近未来的一种。 我们把大量舞蹈的姿态序列送进模型——不教它"什么是正确的舞蹈", 只让它自己去找什么在反复出现。 模型开始提炼表征: 某种上肢的弧度, 某种重心转移的节奏, 某种在下一拍之前微微预备的倾斜。 它不记得它"学"过什么, 但它开始能够预测下一个动作, 开始能够生成一段没有人教过它的序列。 那一刻, 我们不确定屏幕上出现的算不算舞蹈——但它确实是某种从运动里生长出来的东西。

当一位舞者训练时, 屏幕从来都是干扰项。 它要求你低头看, 而舞蹈要求你抬头活。 这之间的矛盾, 是 DanceNet.Lab 最早决定要解决的事——把 AI 教练从屏幕里搬出来, 让它存在于真实的空间里, 浮在身体旁边。

三层覆盖

我们正在原型一种"三层空间叠加":骨架层实时绘制你身体当前姿态的 3D 镜像;残影层保留过去两秒的运动轨迹, 像光绘摄影一样浮在空气中;批注层把 AI 的反馈钉在出问题的关节上, 一个红色的小标签悬停在你的右肘旁边, 写着"角度偏 15°"。

不是反馈得更快, 而是反馈得更就近。

从单人到双人

下一步, 我们想让两个佩戴头显的舞者看到对方的骨架重叠。 这是 cypher 的全新语言: 你能"看见"对手的发力链, 看见他动作里的预备动作, 提前 0.3 秒读到他的下一个 freeze。 这是身体的 ESP, 由算法供电。

这个项目还在原型阶段。 它假设了未来五年内 MR 头显会变得轻、便宜、续航足够长。 这是一个赌注, 但也是一个我们愿意下的赌注。

过去几年, 文本生成图像、 图像生成视频已经成为常识。 而文本生成动作, 仍是一片相对安静的水域。 The Synthesis 是 DanceNet.Lab 投向这片水的第一颗石头。

三个方向

Text → Motion: 输入一句"给我一段 16 拍的 Popping freeze 组合, 难度中等, 强调上肢控制", 模型输出一段可视化的动作序列, 附带教学拆解。 当前在内部 alpha。

Music → Choreography: 输入音乐, 模型读取节拍、律动、情绪曲线, 自动生成与之呼应的动作段落结构。 我们更在意"呼应"而不是"对齐"——一段好的编排不是踩在每个鼓点上。

Style Transfer: 上传一段参考舞者的视频, 模型提取风格向量, 注入你的动作序列。 像把莫奈的笔触套在一张你自己的速写上。

不是替你跳, 而是和你一起想。

关于"创造"的一个保留意见

我们不相信 AI 能替代编舞家, 也不打算尝试。 The Synthesis 的设计原点是: 一个真正的编舞家面对空白排练厅时, 最先需要的不是答案, 是启发。 AI 在这个阶段最值钱的不是它生成得多准, 而是它能否基于你的创意给你一个"超级懂你"的版本。

这是一面实验：当一个孩子在白纸上画了一个手脚分得开的小人，我们能不能让它跳起来？这不是一个新问题——Meta的 Animated Drawings 已经验证它可行。我们把同样的体验搬到这个实验室里，沿用四步流程：上传、定位、抠图、关节标定，然后选一段我们自己写的舞蹈动作让它播放。

四步，缺一不可

每一步看起来很简单，但每一步都决定最终它跳得是否"像"。 一个角色被裁得太紧，手会被砍掉；蒙版边缘没修好，关节会跳出皮肤；关节没标准，一抬手就显得它脱臼。

"它不需要漂亮——它只需要关节对了。"

五阶段已经全部就位。 在下方工作台里：选一张你画的图（或挑一张内置示例）→ 框紧主体 → 自动抠图（可画笔修正）→ 14 关节微调 → 挑一段动作让它跳起来 → 录成 WebM 或 GIF 带回家。 全程在浏览器里完成、不上传任何服务器。

当一台相机里的影像被实时拆成颜色梯度， 每一个梯度方向都给了一支笔一个落笔的角度——这就是这件作品在做的事情。 它不需要 GPU， 不需要后端， 只需要一段摄像头帧、 一份音乐文件、 和一片可被弄脏的画布。

它是怎么"看"的

每一帧， 我们把摄像头画面降到 160 × 90 的分辨率， 在每个像素上跑一遍 Sobel 算子， 得到那个像素"颜色变化最快的方向"。 然后我们沿着垂直于这个方向的"等高线"去落笔——这正是梵高画《星夜》时反复使用的手法： 让笔触跟着空气的弧线走， 而不是跟着物体的边界走。

颜色被偏向几张梵高画作的色卡之一：《星夜》偏冷蓝＋金黄， 《向日葵》更暖更饱和， 《麦田》带泥土味， 《夜咖啡馆》冲突的红与黄。 你随时可以切换。

不是"像不像梵高"——是让画面替你呼吸。

音乐怎么进来的

拖入一首歌， 我们用 Web Audio API 把它拆成 256 个频段， 再合并成三段： 低频驱动粒子的速度， 中频驱动粒子的大小， 高频决定新笔触的诞生频率。 一个鼓点会让画面"轰"地展开。 一段安静的弦乐会让笔触慢下来， 慢慢沉下去。