AI・技術 / モデルカードを読む
重み公開の d1、回答を書くのではなく判断を返す
Gorden Sun が Liquid AI の d1 シリーズを紹介した。本号で読んだ d1-3B のモデルカードによると、テキスト、JSON、画像の状態と指定された質問を入力し、1回の順伝播計算で構造化された判断と信頼度情報を返す。チャット文を token ごとに生成するモデルではなく、「もう1つの小型チャットモデル」と捉えると用途を見誤る。
公開モデルは約31.2億パラメーター、コンテキスト長は32,768 token で、ルーティング、振り分け、分類、再ランキング、画像検査などに使う。例えば分類と判断を業務フローに渡せるが、長い説明文を自ら書くわけではない。「出力 token がゼロ」は計算方式の説明であり、無料で実行できるという意味ではない。
モデルカードの単一質問・ウォーム実行の中央値は、RTX 4090 で8ミリ秒、Jetson Orin Nano で50ミリ秒だった。特定の精度、コンパイル、事前実行の条件による値だ。同じカードでは、長い3.4K token の状態を処理した場合、両機種でそれぞれ102ミリ秒と1,640ミリ秒となる。8ミリ秒は、どの入力でも保証されるわけではない。
これらは公開者の性能記録であり、本紙の機器で再測定していない。重みは LFM Open License 1.0 で公開されている。ダウンロード可能であるだけで、無制約のオープンソースと呼ぶことはできない。同シリーズの別のマルチモーダルモデルの能力を、この3Bモデルにそのまま当てはめることもできない。
出典・参考資料
本紙による編集
確認済みのフォロー先から得た取材の手がかり：@Gorden_Sun。