MicrosoftがAIラップジェネレーター「DeepRapper」を開発中！韻とリズムの両方を備えたシステムを搭載
ここ数ヶ月で、AIテクノロジーの波が音楽業界にも本格的に押し寄せています。
Googleは1月に、テキストプロンプトから新しい音楽を生成できるMusicLMと呼ばれる言語モデルを発表し、先月一般公開しました。
さらに、先週末にはMetaからMusicGenと呼ばれる独自のテキストから音楽を生成するAIジェネレーターをリリースしました。Metaによると、ShutterStockからの1万の「高品質」トラックと39万の楽器のみのトラックを含む、2万時間のライセンスされた音楽でトレーニングされたとのことです。
ビッグテックによるAI音楽ジェネレーターの一般公開が続いています。
Microsoftも参戦
2社に引き続き、MicrosoftはAI音楽に特化した大規模な研究プロジェクト「Muzic」を実行しています。このプロジェクトでは、AIを活用したテキストからの音楽生成や歌詞生成、歌詞からメロディーへの変換、作詞作曲などの様々な領域を研究しています。
Microsoftによると、Muzicは「ディープラーニングと人工知能を利用して音楽の理解と生成を強化するAI音楽プロジェクト」だと発表されています。
このMuzicは、中国のマイクロソフトリサーチアジア（MSRA）の「深層学習および強化学習グループ」下にあるプロジェクトの1つです。
MSRAは、北京と上海に拠点を置く「世界クラスの研究所」と言われています。1998年に設立され、長期戦略と将来のコンピューティングビジョンの中心となる分野で基礎研究と応用研究を行ってます。
ラップに特化した「DeepRapper」
Muzicの研究者は、2021年に「DeepRapper」と呼ばれるAIを活用した「ラップジェネレーター」を開発しました。このテキストベースモデルの開発論文では、DeepRapperは「韻とリズムの両方を備えたラップを生成する最初のAIシステムである。」と主張しています。
さらに、「ラップ世代向けのこれまでの作品は韻を踏む歌詞に重点を置いていたが、ラップのパフォーマンスに重要なリズミカルなビートは無視されていた。この論文では、韻とリズムの両方をモデル化できるTransformer ベースのラップ生成システムであるDeepRapperを開発します。」と書かれています。
DeepRapperは、音楽業界に大きな影響を与える可能性があります。これまではラップミュージックを作曲するには、歌詞を書くスキルと、ラップを演奏するスキルが必要でした。しかし、このラップジェネレーターを使えば、誰でも簡単にラップを作ることができるようになります。音楽業界に新しい才能をもたらし、音楽の民主化につながる可能性があります。
DeepRapperのコードはGitHubで入手できます。
DeepRapperの仕組み
研究者によると、DeepRapperのシステムを構築するために、多数のラップソングを含む大規模なラップデータセットを収集するためのデータマイニングパイプラインと呼ばれるものを開発したと説明しています。
大量のラップデータセットをマイニングするために、「Web上から歌詞と歌の音声の両方を含む大量のラップソングをクロールします。歌詞と音声を単語、文章レベルで確実に調整し、また、音声に対応する各歌詞文の開始時間と終了時間もクロールしている」と述べています。
さらに以下の2つのデータセットも収集しています。
- ビートが揃った非ラップ曲（非ラップ曲はラップ曲よりも一般的であるため、ラップデータセットよりも膨大になります。）
- 純粋な歌詞（ラップ以外の曲よりもさらに膨大になる可能性があります。）
「事前トレーニング段階」でこの2つのデータセットでトレーニングした後に、「ビートが揃ったラップソングに合わせて、事前にトレーニングされたモデルを微調整する」と説明されています。
※中国語と英語になりますが、生成されたサンプルを見ることができます。
https://deeprapper.github.io/
AIラッパーの誕生？
生成AIモデルは、ほとんどの場合インターネットから収集された膨大なデータセットに基づいてトレーニングされています。これによって著作権で保護された音楽の侵害のリスクがあるため、音楽権利者からは反発の声や、アーティストとのトラブルも多いです。
→AI生成ボーカルによるトラブルと音楽界への影響について
とはいえ、このMicrosoftの韻とラップに関する研究は世界的な取り組みのようです。中国のMuzicチームによって開発されたDeepRapperモデルに加えて、音声合成関連のチャットボットの米国特許も取得しています。
この「ラップボット」テクノロジーは、米国に拠点を置くマイクロソフトの別の研究者グループによって発明され、特許は2021年4月に取得されました。
この申請書には、これらのテクノロジーを使用したさまざまな用途が挙げられており、例えば「ラップバトルをサポートする可能性がある」「ソーシャルな方法で音楽作成プロセスに参加する可能性がある」などが挙げられており、もしかしたら近い将来人工知能による新しいラッパーが誕生するかもしれません。
【ビートルズ復活！？】ポール・マッカートニーがAI技術を使って「最後」の未発表曲を制作
お気に入りのアーティストの声でAI楽曲を作る方法
