每张图片自带BGM？牛津小哥开源神器，实现任意图像转换声谱图
十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI
给你一张图片，你能想象它的声音吗？
一个叫SpectroGraphic的神器就能做到这点。
例如，给定一个“怪物史莱克”的照片，通过这个工具，就能生成其对应的声谱图。
图像嵌入声谱图
大多数声音是许多声波的复杂组合，而每一种声波都有不同的频率和强度。
声谱图(spectrogram)是一种表示声音的方法，它的横轴是时间，纵轴是频谱。
△声谱图示例
而SpectroGraphic所做的工作就是获取一张图像，简单地把它解释成一张声谱图。
这样，就可以通过产生的声音，便将图像嵌入到了声谱图中。
是不是非常酷炫？
现在，项目已开源，每个人都可以体验了！
项目安装
首先，运行如下代码来获取命令行工具spectrographic：
pip install spectrographic也可以直接把stand-alone\文件夹里的spectrographic.py文件，作为命令行工具使用。
此外，还需要确保满足 requirements.txt 文件中涉及的所有依赖项。
可以通过如下命令来进行安装：
pip install requirements.txt在使用 pip 进行安装之后，只需要在控制台中运行 spectrographic […]。
在使用stand-alone脚本时，必须使用 python spectrographic.py […]。
还可以简单地从 SpectroGraphic.base 中导入 SpectroGraphic 类。
命令行工具的使用
usage: spectrographic [-h] [--version] -i PATH_TO_IMAGE [-d DURATION] [-m MIN_FREQ] [-M MAX_FREQ] [-r RESOLUTION] [-c CONTRAST] [-p] [-s SAVE_FILE]
Turn any image into sound.
optional arguments:
-h, --help show this help message and exit
--version show program's version number and exit
-i PATH_TO_IMAGE, --image PATH_TO_IMAGE
Path of image that we want to embed in a spectrogram.
-d DURATION, --duration DURATION
Duration of generated sound.
-m MIN_FREQ, --min_freq MIN_FREQ
Smallest frequency used for drawing the image.
-M MAX_FREQ, --max_freq MAX_FREQ
Largest frequency used for drawing the image.
-r RESOLUTION, --resolution RESOLUTION
Vertical resolution of the image in the spectrogram.
-c CONTRAST, --contrast CONTRAST
Contrast of the image in the spectrogram.
-p, --play Directly play the resulting sound.
-s SAVE_FILE, --save SAVE_FILE
Path to .wav file in which to save the resulting sound.如果你的源图像在./source.png，想要生成10s的音频，频率范围为10kHz到20kHz，还希望保存为sound.wav，最终还要播放音频。
那么就运行如下代码：
spectrographic --image ./source.png --min_freq 10000 --max_freq 20000 --duration 10 --save sound.wav --play如果你正在使用stand-alone脚本：
python spectrographic.py --image ./source.png --min_freq 10000 --max_freq 20000 --duration 10 --save sound.wav --play作者简介
△右：Levi Borodenko
Levi Borodenko，目前在牛津大学攻读数学和统计学硕士学位。学术研究重点是随机分析和机器学习。
本科也就读于牛津大学，2017-2018担任PROMYS Oxford的辅导员，2018-2019年担任PROMYS Boston的首席辅导员。
更多开源项目可访问如下链接：
https://github.com/LeviBorodenko
传送门
项目地址：
https://github.com/LeviBorodenko/spectrographic
个人简介：
https://cv.levib.dev/
— 完 —
- AI版《黑客帝国》：无限生成逼真视频，3A画质，还能实时交互2024-11-21
- 国产4o大模型，秒懂国风李子柒2024-11-20
- 大模型上了火山方舟：数据唯你可见，唯你所用，唯你所有2024-11-14
- Keras之父，离职谷歌2024-11-14
