DGX Spark 1台で動くLLM『DeepSeek-V4-Flash-REAP-145B-A13B』をHugging Faceで公開しました

この度、Ludo TechnologiesはDeepSeek-V4-Flashを圧縮したオープンウェイトモデル『DeepSeek-V4-Flash-REAP-145B-A13B』をHugging Faceで公開しました。

本モデルは、総パラメータ284BのDeepSeek-V4-Flash-0731を元に、REAP（Router-weighted Expert Activation Pruning）と呼ばれるエキスパート枝刈り手法を適用したものです。各層256個のエキスパートのうち重要度の高い128個のみを残すことで、総パラメータを約145Bに、ディスク上のサイズを167GBから82.4GBに削減しました。トークンごとに活性化するパラメータ数（13B）とルーティング挙動は元のモデルから変えていません。

最大の特長は、NVIDIA DGX Spark（統合メモリ128GB）1台で動作することです。フルサイズのモデルはこのマシンに収まりませんが、圧縮後のモデルは標準のvLLMをパッチなしで利用でき、約17トークン/秒でデコードできます。

キャリブレーションには英語チャット・コード・日本語の文章と指示を混ぜたデータを使用しました。英語のみでキャリブレーションすると日本語の質問に中国語で答えるようになる現象が確認されたため、日本語を含めたデータ構成にすることで、圧縮後も日本語の出力品質を維持しています。

モデルはMITライセンスで公開しています。ダウンロードや技術的な詳細はHugging Face（huggingface.co/ludo-tech/DeepSeek-V4-Flash-REAP-145B-A13B）およびブログ記事をご覧ください。