Lab-intern2

这部分也是很重要的一部分人生经历啦！

这两天确认了一下Demo要的效果。开始奔下一个ddl了。
确认结果是：不管是要音乐结构分段，还是音乐节奏，节拍分段，最终要的结果是：
the results agreed with visually and auditory intuition.
这次找了一个信号处理方向的分支项目，借用它技术来进行音乐分段。
这次需要写代码调接口了。

水墨晕染音乐可视化效果（目标：一键运行全流程）

1.音乐分段music segmentation

• change point
• 新乐器进入时刻
• downbeat（每小节的第一拍，通常是该小节最强、最有重音的一拍）
  2.给每个音乐段落添加一些文本标签，如音色、乐器、节奏、情感之类的。（可能需要结合乐评，通过人听来添加）
  3.每个音乐段落，基于其文本标签，生成一段相关的描述画面的文本，作为分镜脚本。（画面的风格需要由参考图片来约束，如大写意、泼墨等）
  4.基于分镜脚本，生成画面/图片（一个文生图的过程，风格是水墨晕染、）。
  5.将关键帧/分镜图片序列扩展成视频。（每个音乐段落，最后一秒留作当前分镜向下一个分镜的快速转场，其余时间都是当前这个分镜的动态变化）
  6.将视频跟音乐对齐。

输入变量：
1.乐谱
2.音乐 mp3
3.乐评关键词

METHOD
TOOLS
DOCS