本文へスキップ

WebLLM

ブラウザ内で言語モデルを動かす

公式サイトを見る

WebLLM とは

本プロジェクトはブラウザ内の推論エンジンと紹介され、WebGPU でクライアント側の言語モデルを動かし、費用の低減、個別化、プライバシー保護を目指すと説明されている。

できること

  • ブラウザ内で言語モデルの処理を動かす
  • OpenAI API 互換の JSON 方式、関数呼び出し、ストリーミングを使う
  • MLC 形式で独自モデルを加える

導入の手順

  • サイトにアクセスし統合の文書を読む
  • 組み込む言語モデルを選ぶ
  • NPM、Yarn、CDN で追加する

長所と短所

✓ 良い点

  • Llama、Phi、Gemma、RedPajama、Mistral、Qwen に標準対応
  • NPM、Yarn、CDN で組み込める

! 注意したい点

  • 資料は WebGPU による高速化を前提に説明
  • 独自モデルは MLC 形式を用いる

よくある質問

サーバーは必要?

資料はサーバー処理なしにブラウザ内で推論すると説明。

どう組み込む?

資料は NPM、Yarn、CDN を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法