「AI動画字幕」の字幕生成がすごい

blog

英語の動画を見る時に、日本語の字幕があったらなと思う時は多々あります。Youtube動画でも日本語字幕がついているものはありますが、自動翻訳の場合はちょっと理解するのは厳しいですね。

そこで、先日、みらい翻訳からリリースされた「AI動画字幕」というサービスを使ってみたら、これは良いです。デモ動画もでていたので、まずは動画を掲載します。

動画ファイルを入れるだけで、書き起こし字幕と翻訳字幕の両方がでてきます。生成されたものから表示してくれるので、最後まで終わるのを待たずに動画再生しながら見れます。これは便利です。

音楽の歌詞も翻訳してくれるのか?

英語の会議の録画動画や、英語の解説動画などを入れると、いとも簡単に日本語字幕を作ってくれます。Youtubeの自動翻訳の字幕とは比べものにならないほど理解しやすいです。

ここで、音楽家としてはやはり、歌を翻訳してくれるか?が気になります。私は洋楽の曲が好きなのですが、歌は楽器の一部ぐらいに思っていて、歌詞に込められた意味は全然わかってないで聴いております。

この「AI動画字幕」で歌詞の和訳を作ってもらおうと思い、試してみました。

ビートルズのLet it beの音源ファイルを入力してみました。

右側にでているのが、英語の歌詞とその和訳です。これすごいのは、歌詞データを入れてないのに、音源の音だけから歌詞の書き起こしが生成できる。さらにその翻訳まで生成してくれる。この音声認識と翻訳の凄さに感動しました。

こういう用途に作られてるわけではないと思うのですが、音楽の歌詞まで書き起こせるのはすごいです。バラードの曲なら結構いけそうです。

字幕の編集もできる

字幕の編集もできました。音声認識が間違っているところも直して再翻訳できます。これは便利です。また、翻訳結果だけを直すこともできます。上のLet it beの例でも意味はわかりますが、歌詞としての和訳を自分なりに作ってみるっていうのも面白いです。そもそも英語が苦手だと何を言おうとしているのかわからないのですが、機械翻訳の和訳がベースにあるだけで、オリジナル和訳歌詞が作りやすくなり時短にもなります。

このあたりはYoutube の字幕編集でもできますが、最初のクオリティが全然違うので直す手間が相当省けます。

編集後はSRT形式のファイルでエクスポートできるので、他の動画編集ソフトでも使いやすいです。日本語と英語の両方のSRTファイルを出力できるので、両方の字幕をつけたりもできます。

Youtubeの字幕をファイルアップロードで設定する時にもSRTファイルが利用できますので、AI動画字幕でクオリティの高い字幕を作って、Youtubeにアップロードすれば高品質な字幕を表示できるようになります。

素晴らしい!