Llama 3 Erato で物語を鍛え上げよう！

情熱のこもった詩句が、いま降りてくる——

Opus プラン限定でご利用いただける Llama 3 Erato が、物語づくりの新しい時代へと導きます。

Llama 3 70B をベースとし、8192 トークンのコンテキストサイズを備えた Erato は、これまでで群を抜いて強力なモデルです。過去のどのモデルよりも賢く、論理的で、一貫性があり、語りたい物語そのものに集中していただけます。

私たちは物語づくりの筋力を鍛え上げ、これまでで最も強く手強いモデルを完成させました。その比類なき力を表すために、新しい AI の性能に見合う、堂々とした姿かたちを与えています。姉妹のミューズである Erato は、Meta ベースの前モデル Euterpe の系譜を継ぐ存在です。背が高く、彫りが深く、逞しいその姿は、叙事詩の力強さを映しています。勝利の月桂冠と花冠をまとい、薔薇の繊細さによって、力強さと柔らかさという二つの側面を結びつけています。Shoggy の計算資源で学習されたことにちなみ、腰元にも小さな相棒の姿が添えられています。

技術的な詳細に関心のある方へ。Erato は Llama 3 70B のベースモデルをもとに、Nerdstash 事前学習データセットのうち最も品質が高く新しい部分を用いて数千億トークン規模の追加学習を行ったもので、Kayra をゼロから事前学習したときを上回る計算資源を投じています。最後に、更新した物語データセットでファインチューニングを行い、物語を語るという目的に特化させました。開発初期にはトークナイザーを独自の Nerdstash V2 に置き換える実験も行いましたが、最終的には Llama 3 のトークナイザーを採用しました。圧縮率が高く、限られたコンテキストにより多くの物語を収められるためです。

先ほど触れたとおりデータセットを更新しているため、モデルの知識も広がっています。また、ATTG に新しい score タグを追加しました。詳しくは NovelAI 公式ドキュメントをご覧ください。

Erato にはもう一つ、トークン継続（token continuation）という新機能を追加しています。従来のモデルでは、単語の途中から続きを生成させたい場合、その単語がどのようにトークン化されるかを意識する必要がありました。トークン継続により、モデルが単語の続きを自動的に補完します。

日本語の文章もかなり得意になっているはずです。完璧とは言えませんが、多言語対応は全体的に向上しています。

現時点で Erato を下位プランへ提供する予定はありませんが、将来的に可能かどうかは検討しています。

Erato を初めてご利用になる際に表示される同意画面は、Meta のライセンスによりモデルとあわせて提示することが求められているものです。これまでどおり検閲は一切なく、NovelAI が提供するものが Meta のサーバー上で動作したり、Meta のインフラに接続されたりすることもありません。モデルは私たち自身のサーバーで動作し、物語は暗号化され、リクエストのログも取得していません。

Llama 3 Erato は Opus プランでご利用いただけます。ぜひサイトを開いて、試しに物語を書き込み、その力を存分に引き出しながら、指先を駆けめぐる創作の熱を味わってください！