Lab-Intern1

这部分也是很重要的一部分人生经历啦!

到老师实验室打杂收到任务的密度还是挺高的。昨天刚刚忙完Demo视频生成,今天接到了新任务
也可以感受到,工作了或者是研究生了之后,会收到很多看起来没什么头绪的任务,老板只看能否解决问题的结果,不再是简单的“算出来”“背下去”,而需要去不断尝试解决方案,抗住压力,锻炼独立解决实际问题的能力。
总会有坚持不下去,干不动的时候,写博客就是为了让自己坚持下去也要想办法,再想办法。同时也留下自己的一些思考。

海玄,下一步的任务来了[嘿哈]:

换首音乐,截取其中的 30s,用其中的“旋律音轨”(melody track)来让模型识别关键节奏点,然后再基于这些关键节奏点制作视频。

步骤是:

  1. 从参考链接里找一首本身已经分了多个音轨的 midi 文件(https://ismir.net/resources/datasets/)
  2. 找出其中的旋律音轨(melody track)。有些midi 文件自带melody track的标注,这种就好办;如果没有,就把“同一时刻发声音符最少”的那条音轨作为 melody track。(最好先找自带 melody track 标记的文件)
  3. 用 melody track 来识别关键节奏点,制作后面的视频。

首先是补课:
去查了这个ISMIR会议
关于音频的bpm
音频的音轨和频道

在数据集列表中找到了MedleyDB

MedleyDB:一个为音乐研究的多轨道音频数据集

MedleyDB主要被策划用于支持旋律提取研究,解决了现有数据集的重要不足之处。
对于每一首歌曲,我们提供了旋律基频(f0)标注以及乐器激活信息,用于评估自动乐器识别的效果。该数据集也适用于需要访问歌曲各个独立音轨的研究任务,例如音频源分离和自动混音。


Lab-Intern1
https://43.242.201.154/2025/08/01/Lab-Intern1/
Author
Dong
Posted on
August 1, 2025
Licensed under