本文へスキップ

VITA-1.5

ほぼリアルタイムの視覚と音声を扱う公開モデル

公式サイトを見る

VITA-1.5 とは

VITA-1.5 はオープンソースのマルチモーダル大規模言語モデルと紹介され、ほぼリアルタイムの視覚・音声のやり取りを目指し、遅延を抑えて性能を高めると説明されている。

できること

  • 音声で画像や情報を検索する
  • 音声を文章へ変換する
  • 音声入力を添えて画像にラベルを付ける
  • 画像と動画の内容を理解する

モデルについて

  • 音声の遅延は 4 秒から 1.5 秒へと記載される
  • マルチモーダル性能は平均 70.8% と記載される
  • ASR WER は 7.5% と記載される
  • エンドツーエンドの音声合成モジュールを備える

導入の手順

  • GitHub のリポジトリを複製する
  • Python の仮想環境を作って有効にする
  • 必要なパッケージを導入する
  • 学習データを用意しパスを設定する

長所と短所

✓ 良い点

  • 画像と動画の理解が一覧に挙がる
  • 学習と推論の道具が複数用意される

! 注意したい点

  • 挙がる対応言語は英語と中国語
  • 導入にはリポジトリの複製と Python 環境が必要

よくある質問

対応言語は?

資料は英語と中国語に対応と説明。

遅延の数値は?

資料は音声のやり取りが 4 秒から 1.5 秒へ短縮と説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法