テキストモデルの開発は順調に進んでいます！

テキストモデルの開発は順調に進んでいます！

以前お知らせしたとおり、私たちは現在、独自の大規模言語モデルをゼロから学習させています。

これは決して簡単な取り組みではないため、まずは小規模な検証用モデルから着手しています。

こうすることで、学習手法やデータに関するさまざまな問題を早い段階で見つけて修正でき、うまくいかなかったときに膨大な時間と計算資源を失わずに済みます。

このやり方はすでに成果を上げており、小規模な検証用モデルの学習過程でいくつもの問題を修正することができました。そのうちの一つは、学習のやり直しが必要になるほどのものでした。この小規模モデルの事前学習は、計算時間だけで見ると、つい先日完成したばかりの私たちのクラスターで約5日かかります。

現時点で事前学習のフェーズは完了し、非常に有望な結果が得られています（LAMBADA スコア 73%、その他の評価でも GPT-NeoX 20B に迫るか上回る水準です）。現在は、より大きな 8192 トークンのコンテキストサイズに向けたチューニングの段階に進んでいます。

この過程でデータに関する追加の問題も見つかりましたが、すでに対処済みで、学習を先に進められる状態になっています。

この小規模な検証用モデルは近日中に公開する予定です。私たちの学習手法でどのような結果が得られるのかを、まずは体験していただければと思います。その間に、より大規模で高性能なモデルの開発に着手します。

今回のお知らせは以上です……と言いたいところですが、新しいマスコットの紹介があります。

皆さん、どうぞご注目ください。これまでにない、驚きの出会いをお届けします！

なんとも頼もしい「Good」の星シールにご注目ください！

創造と発想の果てしない世界へ、いざご案内しましょう。ご紹介するのは、唯一無二の存在……Shoggy です！ とはいえ、この Shoggoth は背筋が凍るような邪神の類ではありませんのでご安心ください。

そう、この Shoggoth ——親しみを込めて「Shoggy」と呼んでいます—— は、NovelAI の最先端 H100 スーパーコンピュータークラスターを 視覚的に表現した姿なのです。

Shoggy をひらめきの導き手として、私たちは新たな技術を形にしていきます。
完璧な物語の転換点を探している書き手の方も、ひらめきの一筆を求めている絵描きの方も、このデータと夢の見事な結晶が、私たちの成果を新しいテキストモデルと画像モデルへと形づくっていきます。

さて、Shoggy が最初に形づくるのは誰でしょうか……