每张图片自带BGM?牛津小哥开源神器,实现任意图像转换声谱图
十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI
给你一张图片,你能想象它的声音吗?
一个叫SpectroGraphic的神器就能做到这点。
例如,给定一个“怪物史莱克”的照片,通过这个工具,就能生成其对应的声谱图。
图像嵌入声谱图
大多数声音是许多声波的复杂组合,而每一种声波都有不同的频率和强度。
声谱图(spectrogram)是一种表示声音的方法,它的横轴是时间,纵轴是频谱。
△声谱图示例
而SpectroGraphic所做的工作就是获取一张图像,简单地把它解释成一张声谱图。
这样,就可以通过产生的声音,便将图像嵌入到了声谱图中。
是不是非常酷炫?
现在,项目已开源,每个人都可以体验了!
项目安装
首先,运行如下代码来获取命令行工具spectrographic:
pip install spectrographic
也可以直接把stand-alone\文件夹里的spectrographic.py文件,作为命令行工具使用。
此外,还需要确保满足 requirements.txt 文件中涉及的所有依赖项。
可以通过如下命令来进行安装:
pip install requirements.txt
在使用 pip 进行安装之后,只需要在控制台中运行 spectrographic […]。
在使用stand-alone脚本时,必须使用 python spectrographic.py […]。
还可以简单地从 SpectroGraphic.base 中导入 SpectroGraphic 类。
命令行工具的使用
usage: spectrographic [-h] [--version] -i PATH_TO_IMAGE [-d DURATION] [-m MIN_FREQ] [-M MAX_FREQ] [-r RESOLUTION] [-c CONTRAST] [-p] [-s SAVE_FILE]
Turn any image into sound.
optional arguments:
-h, --help show this help message and exit
--version show program's version number and exit
-i PATH_TO_IMAGE, --image PATH_TO_IMAGE
Path of image that we want to embed in a spectrogram.
-d DURATION, --duration DURATION
Duration of generated sound.
-m MIN_FREQ, --min_freq MIN_FREQ
Smallest frequency used for drawing the image.
-M MAX_FREQ, --max_freq MAX_FREQ
Largest frequency used for drawing the image.
-r RESOLUTION, --resolution RESOLUTION
Vertical resolution of the image in the spectrogram.
-c CONTRAST, --contrast CONTRAST
Contrast of the image in the spectrogram.
-p, --play Directly play the resulting sound.
-s SAVE_FILE, --save SAVE_FILE
Path to .wav file in which to save the resulting sound.
如果你的源图像在./source.png,想要生成10s的音频,频率范围为10kHz到20kHz,还希望保存为sound.wav,最终还要播放音频。
那么就运行如下代码:
spectrographic --image ./source.png --min_freq 10000 --max_freq 20000 --duration 10 --save sound.wav --play
如果你正在使用stand-alone脚本:
python spectrographic.py --image ./source.png --min_freq 10000 --max_freq 20000 --duration 10 --save sound.wav --play
作者简介
△右:Levi Borodenko
Levi Borodenko,目前在牛津大学攻读数学和统计学硕士学位。学术研究重点是随机分析和机器学习。
本科也就读于牛津大学,2017-2018担任PROMYS Oxford的辅导员,2018-2019年担任PROMYS Boston的首席辅导员。
更多开源项目可访问如下链接:
https://github.com/LeviBorodenko
传送门
项目地址:
https://github.com/LeviBorodenko/spectrographic
个人简介:
https://cv.levib.dev/
— 完 —
- 刚刚,英特尔发布最强CPU,AI PC迎来最高效x86芯片2024-09-04
- 全国首个上手机的AI视频通话来了!《黑神话:悟空》经文也能破译2024-08-29
- Windows、Mac只是装了个夸克,整个电脑都AI了!2024-08-28
- 英特尔全新至强W:60个性能核提升26% AI性能2024-08-29