本文へスキップ

WeST

約 300 行のコードで音声をテキストへ

公式サイトを見る

WeST とは

本モデルは約 300 行のコードで大規模言語モデルにより音声をテキストに変えるオープンソースの音声認識の仕組みと紹介される。言語モデル・音声エンコーダ・投影器から成り、訓練を受けるのは投影器のみ。

できること

  • 言語モデルを LLaMA や QWen などへ差し替える
  • Whisper などの音声エンコーダで信号を符号化する
  • 訓練と試験のデータを JSONL 形式で用意する

活用場面

  • 開発者が音声助手の試作品を組み立てる
  • 研究者が認識の実験を回し論文にまとめる
  • 教育の場で音声認識の仕組みを示す

長所と短所

✓ 良い点

  • 学習率や重み減衰などの訓練パラメータを設定できる
  • DeepSpeed の設定で訓練を最適化できる

! 注意したい点

  • 訓練できるのは投影器の部分だけ
  • 訓練・試験データは JSONL 形式に従う必要がある

よくある質問

訓練できる箇所は?

資料は投影器の部分だけが訓練可能と説明。

着想の元は?

資料は SLAM-ASR と LLaMA 3.1 を挙げる。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法