さようなら、Krake と Clio

役目を終えたテキストモデルや画像生成モデルには、できるかぎりオープンソースとして公開し、第二の人生を歩んでもらうようにしています。このたび、さらに2つのレガシーモデルが引退の時期を迎えたため、同じように見送ることにしました。どちらも今はまだお使いいただけますが、いずれ novelai.net からは削除される予定です。

Krake

Krake は、EleutherAI の GPT-NeoX-20B をファインチューニングしたモデルです。サイズが大きく、少し気難しいところもあるため、提供は Opus のご契約者さまに限られていました。

現在では Krake を使う方はほとんどいなくなり、そろそろ引退のときを迎えようとしています。

扱いやすいように、Krake は私たちの内部フォーマットから Huggingface Safetensors に、モジュールは Huggingface PEFT フォーマットに変換してあります。ライセンスは GPL-3.0 です。

あなただけの Krake はこちらから！

Krake のオリジナルイラスト：@Ainiwaffles

Clio

Clio は、私たちが H100 クラスター「Shoggy」でゼロから事前学習した、はじめての完全オリジナルの大規模言語モデルです。30億パラメータと小さく動作も非常に高速ですが、当時としては非常に大量のデータで学習したため、Euterpe や Krake といったはるかに大きなモデルを上回る文章を書きます。学習には、独自データセットの Nerdstash と、独自トークナイザーの Nerdstash Tokenizer V1 を使用しました。

現在では Kayra、Erato、Xialong といったより強力なモデルを NovelAI でご利用いただけるようになり、Clio もまもなく静かな引退を迎えます。

Clio のアーキテクチャは、設定フラグをひとつ追加すれば Huggingface Transformers の既存のモデルクラスにそのまま当てはまることがわかりました。そのため、動かすのに独自のコードは必要ありません。本体とモジュールは GPL-2.0（「or later」なし）で公開しています。

あなただけの Clio はこちらから！

Clio のオリジナルイラスト：@Ainiwaffles

公開する理由

懐かしさと記録の保存、そして歴史的な意義のために、これらのモデルが NovelAI を離れたあとも長く使える状態であってほしいと考えています。どうぞお楽しみください！