紫东太初

Zidong Taichu とは

Zidong Taichu は全モダリティの大規模モデルの基盤である。理解と生成を複数の入力、すなわちテキスト・画像・音声・動画にまたがって扱い、テキストだけを対象にしない。

研究志向も性質の一部であり、話す相手であると同時に土台として構築できる基盤でもある。

できること

多くのアシスタントはテキストを基準とし、他を添付として扱う。全モダリティのモデルは複数の入力を対等に扱うよう作られており、録音・動画・一連の画像のように素材が本来テキストでない場合に効いてくる。

実益は変換の省略にある。音声を書き起こしてから尋ねる、画像を説明してから論じるといった工程では意味が失われる余地があり、その工程を除けるのは単なる便宜ではなく実際の違いである。

研究の枠組みで作られているため、他者が土台として構築できる基盤でもある。個人の利用ではなく企画で評価する場合に関係する。実用かどうかを決めるのは説明書・モデルへのアクセス・ライセンスであり、開発の時間を投じる前に確かめる価値がある。

引き替えに作り込みは弱い。研究を出自とする基盤は能力が高く、利用者向けの製品より洗練されない傾向があり、それはたいてい画面に表れる。能力を評価するなら粗い部分は枝葉である。

向いている人

複数のモダリティを扱う研究者と開発者、そして素材が大半テキストではなく実際に混在している利用者に向く。

日々のアシスタントではなく、土台として構築するモデルの基盤を評価するチームにも向く。

注意点

実際に使う入力の組み合わせで試すこと。全モダリティのうたい文句は容易で実力は均一でなく、役に立つかを決めるのは最も弱いモダリティである。

利用者向けのアシスタントより作り込みが粗いと想定し、体裁ではなく能力で判断すべきである。

対応する言語の範囲も確認したい。研究の基盤では、商用のアシスタントが提供する範囲と異なることが多い。

実際に得られる提供範囲を確かめること。研究者を対象とした基盤が用意するのはモデルの配布、接続口、あるいは画面だけの場合があり、構築を考える者には大きく異なる条件である。

非テキストの素材が入力後にどう扱われるかも問う価値がある。音声と動画を中心とした基盤が扱う素材はテキストより機微でありやすい。録音や画像には、テキストなら落とせる特定の情報が含まれる。保存の有無と期間、回答以外への利用は、実物を置く前に確かめたい。