MUSIC TOPIC

テキストから音楽を自動生成する「Riffusion」が凄い。新たなAI作曲プロジェクト

riffusion

テキストから音楽を自動生成する「Riffusion」が凄い。新たなAI作曲プロジェクト

文章から画像を自動生成する、オープンソースのAIモデル「Stable Diffusion」 が話題になりましたが、今回はSeth ForsgrenとHayk Martirosという2人の開発者が同じモデルを使用して、テキストを音楽に変換する「Riffusion」を作成しました。

趣味のプロジェクトとして開発されたRiffusionは、スペクトグラムから画像を生成し、それをオーディオクリップに変換することで音楽を自動生成します。「シード」を変えることでプロンプトの無限のバリエーションを生みだすことができます。

ロックンロールのエレキギターソロ

スペクトグラムとは、音声信号を周波数成分に分解したグラフのことです。グラフは時間軸と周波数軸で表され、スペクトグラムを作成するためには、信号をSTFT(フーリエ変換)する必要があります。フーリエ変換は、信号を周波数成分に分解する手法であり、信号を周波数領域で表すことができます。

Riffusion
出典 : Riffusion

スペクトグラムは、信号の特徴をわかりやすく表すために使われます。例えば、スペクトグラムを見ることで、発音された単語を特定したり、楽器や演奏されている曲を特定することも可能になります。

ただし、Riffusionの場合には、オーディオをスペクトログラムから再構築できるように、STFTが反転されます。学習の難しいとされる位相は含まれておらず、画像モデルのスペクトログラムイメージには正弦波の振幅のみが含まれています。位相の近似要素として、Griffin Rimアルゴリズムが使われています。

実際に使ってみた

riffusion

Web上で実際に使用してみると、テキストプロンプトを入力することで、スペクトログラムの視覚的な3Dが流れながら、音楽をリアルタイムで生成し続けることができます。

「Piano Concert in A Minor」「Bossa nova with Distorted Guitar」や「K-Pop Girls Group」といった楽器の種類や音楽ジャンル、雰囲気などを入力することで、音楽を自動生成してくれます。

異なるプロンプトを入力しても、プロンプトとシードの間をスムーズに補間して滑らかに音楽を繋いでくれるので、無限のループ音楽を生成することが可能になっています。

教会の鐘から電子ビートへ

現在のところRiffusionは、音楽を自動作曲する為の壮大なプロジェクトではなく、「面白いものできたから使ってみて!」という開発者による趣味的なプロジェクトとされているようです。

「ここから進むべき方向はたくさんあり、その過程で学び続けることに興奮しています。今朝、私たちのコードの上に他の人がすでに独自のアイデアを構築しているのを見るのも楽しかったです。Stable Diffusionコミュニティの驚くべき点の 1 つは、元の作成者が予測できない方向性で、新しいものが構築されていく速さです。」



【AIで作曲】自動音楽生成サービスおすすめ10選

Googleは自然な音声を生成可能な音楽AI「AudioLM」を開発中

人気記事

1

人気VSTプラグインソフトおすすめ12選【DTM】 これからDTMを使った作曲を始める方に向けて、人気のあるおすすめプラグインソフトをご紹介します。海外の最大手プラグイン販売サイト「Plugin Bo ...

2

EDMの作り方【DAWを使った打ち込み方法】 DAWを使ったEDM(エレクトロ・ダンス・ミュージック)の制作は、シンセサイザーのようなソフトウェアの操作、各種エフェクト関連、ミキシングテクニック等、覚 ...

3

ヒップホップビートの作り方【Beat Making】 世界の音楽シーンはHiphop一色となっており、最近では国内のHiphopシーンでも海外プロデューサーのType Beatを使用した楽曲が目立つよ ...

4

はじめてのギターエフェクター【最初に揃えるべきはコレ!】 エレキギターを購入した後に必要になるのが、ギターのサウンドを変化させる為の「エフェクター」と呼ばれる機材。ギターの音作りにおいて必須の機材では ...

5

オリジナル楽曲をサブスク配信する方法【Spotify、Apple Music】 何日もかけて完成した自分のオリジナル楽曲を、できるなら世界中の人に向けて発信してみたいと思いませんか?一昔前は個人が全国 ...

-MUSIC TOPIC
-,

Copyright© TRIVISION STUDIO , 2024 All Rights Reserved.