本文へスキップ

Crawl4LLM

LLM の事前学習向けに良質なウェブデータを収集

公式サイトを見る

Crawl4LLM とは

本プロジェクトは Python で作られたオープンソースのクローラーと紹介され、LLM の事前学習に向けてウェブページを選んで集めると説明されている。

できること

  • 長さや分類器で文書を採点する
  • 設定で収集の方針を調整する
  • ログと状態を残し監視と復帰に役立てる

活用場面

  • 研究者が ClueWeb22 から良質な文書を集める
  • 開発者が案件向けに収集方針を定める
  • チームが DCLM の枠組みと組み合わせて評価する

長所と短所

✓ 良い点

  • 並列処理と大規模なデータ処理に対応
  • ログと状態の保存で復帰ができる

! 注意したい点

  • 方針は設定ファイルを通して決める
  • 採点は長さや分類器など資料の方式に依存

よくある質問

開発言語は?

資料は Python で開発と説明。

挙がるデータセットは?

資料は ClueWeb22 などの大規模データセットを挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法