本文へスキップ

Data-Juicer

ワンストップのマルチモーダルデータ処理システム

公式サイトを見る

Data-Juicer とは

Data-Juicer は大規模言語モデルに良質なデータを与えるワンストップの処理システム。再利用可能なライブラリ、サンドボックス、多次元の評価を提供する。

できること

  • オペレータを組み合わせて処理フローを作る
  • データとモデルのフィードバックで反復する
  • 事前学習や微調整向けのレシピを使う

始め方

  • ソースまたはパッケージから導入する
  • 対応形式のデータセットを用意する
  • オペレータを設定して処理を走らせる

長所と短所

✓ 良い点

  • カスタムオペレータを自由に組み合わせられる
  • サンドボックスで高速な反復ができる

! 注意したい点

  • データセットは対応形式に合わせる必要がある
  • 処理前にオペレータの設定が必要

よくある質問

導入方法は?

ソースまたはパッケージからのインストールが挙がる。

処理に使うものは?

付属スクリプトまたはコマンドラインツール。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法