本文へスキップ

LLaMA-Omni

低遅延の音声対話でテキストと音声を同時に出す

公式サイトを見る

LLaMA-Omni とは

本モデルは Llama-3.1-8B-Instruct を基盤とする低遅延の端到端音声対話モデルと説明されている。GPT-4o 級の音声能力を目指し、テキストと音声の応答をあわせて生成する。

できること

  • 低遅延の音声対話を行う
  • テキストと音声をあわせて生成する
  • Gradio のデモでモデルを試す
  • ローカル推論のスクリプトを動かす

注意点

  • 学習は 4 つの GPU で 3 日未満
  • 遅延は最小 226 ミリ秒とされる
  • ダウンロードするモデルは 2 つ

長所と短所

✓ 良い点

  • Gradio のデモが用意される
  • ローカル推論のスクリプトが含まれる

! 注意したい点

  • 準備には追加のライブラリが挙がる
  • ダウンロードするモデルが 2 つ挙がる

よくある質問

遅延はどれほど?

資料では遅延が最小 226 ミリ秒と説明されている。

基盤は何?

Llama-3.1-8B-Instruct が基盤として挙げられている。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法