ロードマップ：料金、ローンチ、スケーリング、そして新機能

この記事は3つの部分に分かれています。

• 料金とローンチ時期
• 優先度システム
• 機能のロードマップ

初のロードマップ記事となる今回は、予定しているサブスクリプションの料金プランを支える、スケーリングと優先度の仕組みについてお話しします。

なお、この仕組みは 試験的なもの であり、長期的に維持できるかどうかはベータ期間を通じて見極めていきます。

今いちばん気になるのは 料金 でしょうから、まずはそこから。私たちの料金プランの構成は次のとおりで、今後のサービスとモデルの拡張も見据えたものになっています。

コンテキストサイズは何を意味するのか

コンテキストサイズとは、言語モデルが一度に記憶していられる長さのことです。コンテキストサイズが 700 トークン、おおよそ 2800 文字だとすると、それを超えた分についてはAIが以前の出来事を忘れてしまいます。AID のコンテキスト長は 2800 文字でした。

NovelAI では、 Tablet プランで 1024 トークン 、 それ以上のプラン では 2048 トークン のコンテキスト長を提供します。これは AI Dungeon の約3倍 にあたります。

一番下のプラン でも、AID より長いコンテキストをお使いいただけます。

*英語では、GPT のトークン1つが平均して4文字に相当します。

Tablet と Scroll のプランでは、毎月 最大優先度 で 4000 アクション、 通常優先度 で 4000 アクションを利用できます。合計 8000 アクションを使い切って優先度が0になった後も サービスは引き続きご利用いただけます が、そのときの混み具合によっては 十分な速度を保証できません 。

Opus プランにご加入の場合、優先度は常に10です。その週にどれだけアクションを使っていても、待ち行列で常に優先されます。

ローンチ時期とクラウドファンディング

ベータ版 は 数週間のうち に公開します。公開後は、サイトからサブスクリプションにご加入いただくことで参加できます。公開前には SNS アカウントでお知らせします。

ベータ版への加入とは別に、Patron になることでも NovelAI を応援していただけます。

ご寄付でベータ版へのアクセス権が得られるわけではありませんが、このプロジェクトを応援したいという気持ちは大変ありがたく思います。

この Patreon の目的は創業資金を賄うことであり、運営費用はサブスクリプションの収益で完全に賄っていく方針であることを、はっきりお伝えしておきます。

私たちの Patreon：https://patreon.com/novelai

GPU スケーラーの内側

前回の記事 The First Month of NovelAI でも GPU スケーラーについて少し触れましたが、優先度システムはこのスケーラーに大きく依存しているので、今回はその計画をもう少し詳しくご説明します。

私たちの動的な GPU スケーラーは、必要なときに必要なだけ GPU を確保できるようにするものです。需要が落ち着いている時間帯には、不要になった GPU の割り当てを解除します。複数の GPU プロバイダーを使い分けて TFLOP あたりの単価 が最も安い GPU を確保できるため、料金も自動的に最適化できます。

ここから、AI Dungeon が採用していた エナジー制 に代わる仕組みを考え始めました。GPU を自前で管理しているので、より良い仕組みを作ったり最適化したりする余地が数多くあります。ご存じのとおり、AI Dungeon では 上限が固定されたエナジー制 が採られており、エナジーを使い切るとそれ以上テキストを生成できません。私たちの場合は、GPU に空きさえあれば、アクションを使い切った方にもそのまま使っていただけます。

生成リクエストの処理

各 GPU ノードには、生成リクエストを保持する待ち行列から仕事が流し込まれます。リクエストは優先度に応じて選ばれ、優先度の高いプランの生成が先に処理されます。

優先度システム

私たちの優先度システムは非常に柔軟に設計されており、スケーラーと連携して動きます。どのプランでも優先度レベルは10から始まり、そのレベルで 週あたり 1000 アクション が付与されます。これが 最大優先度アクション です。

最大優先度アクションを使い切ると、100 アクションごとに優先度レベルが1ずつ下がります。通常優先度で 1000 アクションを使うと、優先度レベルは0になります。

Tablet と Scroll のプランでは、毎月 最大優先度 で 4000 アクション、 通常優先度 で 4000 アクションを利用できます。

Opus プランにご加入の場合、優先度は常に10です。その週にどれだけアクションを使っていても、待ち行列で常に優先されます。

GPU のスケーリング方針

先にも触れたとおり、この優先度システムは GPU スケーラーと密接に連携しています。既存の GPU に対するリクエストが増えてくると、それを捌くために 段階的に GPU を追加で借ります 。

このとき、優先度は係数として働きます。優先度が低いほど、その負荷がスケールアップの判断に与える影響は小さくなり、すでに稼働している GPU の列に並んで待つことになります。

優先度はいつリセットされる？

このシステムは週単位と月単位を組み合わせて動いています。最初の週のはじめに、最大優先度アクションが 1000 付与されます。それを使い切ると、優先度レベルが下がり始めます。

7日が経つと優先度はリセットされ、残っていた最大優先度アクションの5分の1が、翌週の 1000 アクションに上乗せされます（1000 残っていれば 200 が繰り越されます）。つまり翌週は 1200 の最大優先度アクションでスタートすることになります。

この週単位の上限は、利用の急増をならすためのものです。エナジーが少しずつ回復するのを待つ仕組みよりも良いと考えています。サブスクリプションの更新日には、アクション数の上限が元の値に戻り、 前月からの最大優先度アクションの繰り越しはありません 。

これは何を意味するのか

この仕組みはとても柔軟なので、アクションの上限に達しても、優先度が少しずつ下がっていくだけで、システムから締め出されることはありません。私たちは、インフラをより効率的に使い、GPU 全体のスループットを最大化し、独自のバックエンドを活かせる仕組みを作りたいと考えました。その結果として、使えるアクションが増え、優先度が低くても、あるいは0になっても、サービスを使い続けられるようになります。

プランごとのコンテキスト上限

GPT-Neo は入力コンテキストとして 最大 2048 トークン に対応しています。 ただし 、この長いコンテキストをフルに使うことは 費用に大きく響きます 。そのため、 15ドルのプラン を用意することで、サービスを維持しながら、物語のためにより多くのコンテキストを提供できると判断しました。

通常優先度アクション

通常優先度アクションでは、優先度が少しずつ下がっていきます。1週間のうちに通常優先度アクションを 100 使うごとに、優先度レベルが1下がります。

Opus プランにご加入の場合、優先度は常に10です。その週にどれだけアクションを使っていても、待ち行列で常に優先されます。

優先度についてのまとめ

私たちがこの仕組みを作ったのは、より良い体験をお届けするためです。これによって、 より滑らかで安定した プレイ体験を提供できるはずです。

繰り返しになりますが、これは 試験的な仕組み です。AID のエナジー制より良く機能すると考えていますが、ベータ期間中に十分に検証し、料金やプランの特典を調整していきます。

この仕組みと料金についてのご意見は、Discord、Reddit、そしてこの Medium 記事のコメント欄など、あらゆる公式チャンネルで集めて検討していきます。

ロードマップ

実験的な AI 機能

近い将来 (Soon™) 、NovelAI のプレイ体験に本格的なインベントリシステムを実装する予定です。

具体的には、手に入れたアイテムが手続き的に生成され、その場の文脈と食い違わない形で描かれるようになります。

たとえば農場で大鎌を手に入れた場面を想像してみてください。農場にいるあいだ、大鎌は作物の手入れを助ける道具です。アイテムの説明や使い道もそれを反映したものになり、動的インベントリシステムがその整合性を保ちます。

そして、凶暴な竜の巣穴といった新しい場面に入ると、主人公はその大鎌が竜と戦うのに打ってつけの武器だと気づきます。このとき動的インベントリシステムは、農具としての来歴を残しつつ、武器としても使えるという性質を、自然言語の属性と説明として生成します。

これらの説明や知識ベースは永続的で、コンテキスト長とはまったく無関係に保たれます。知識ベースはコンテキストの外に存在するので、貴重なトークンの領域を消費しません。

物語が進むにつれて説明は変わっていくかもしれませんが、その大鎌がもともとあの農場で手に入れたものだということを、ゲームが忘れることはありません。もしまた農夫に出会えば、大鎌を返してほしいと言われるかもしれませんし、その後の冒険譚を聞かせてほしいと頼まれるかもしれません。

ウェブサイト

ベータ版の前に

アルファ版の終了以来、私たちは休みなく作業を続けてきました。いただいたご意見をもとに手がけてきたものを、いくつかご紹介します。

テーマエディター

テーマエディターは以前の記事でご覧いただいた方も多いと思いますが、まだお見せしていなかったのがフォントの設定です。現在は見出し用と本文用にそれぞれ4種類を用意しており、ベータ期間中にもう少し増やす予定です。

設定項目の追加

ご要望の多かった設定もいくつか追加しました。入力ボックスの有効・無効の切り替え、リトライとアンドゥの際の出力ボックスの強調表示、そしてブラウザのスペルチェックを設定できるようになりました。

UI についてのご意見を検討した結果、設定のトグルが分かりにくく、誤解を招きやすいことに気づきました。そこで、これらの要素のデザインをより明確なものに改めました。

アンドゥとリトライの強調表示

リトライやアンドゥのボタンがどのテキストに影響するのか分かりにくい、という声を多くいただきました。これからは、ボタンにマウスを重ねると、リトライやアンドゥで消える部分が強調表示されます。

チュートリアルメッセージとツールチップの改善

はじめやすくするために、エディターの使い方を案内する短いメッセージを追加しました。AI の生成設定など、さまざまな要素のツールチップも改善しています。

ホットキー

まだ完成ではありませんが、インターフェースのさまざまな操作をホットキーで行えるようにしました。現在どのホットキーが最適かを詰めているところで、ベータ開始までに直感的な組み合わせを用意したいと考えています。

ベータ期間中に予定している機能

ロアブック

多くご要望をいただいているのが、文脈に応じた追加情報でコンテキストを補う機能です。まずは単純な語の一致による世界設定の仕組みから始め、今後より賢い照合へと広げていきます。

他のストーリーテラーからの書き出しデータの取り込み

多くのご要望を受けて、AI Dungeon や KoboldAI から書き出した物語を取り込む機能に取り組んでいます。世界設定の情報も含めて取り込めるようにする予定です。

スクリプティング

ベータ期間を通じて、本格的なスクリプティング対応を追加していく予定です。詳細は近日中にお伝えします。

書き出し形式の追加

現在は、履歴や設定なども含めて共有しやすい独自形式で物語を書き出せますが、ほかの形式にも対応していきます。プレーンテキスト、プロンプトとしての書き出し、さらには PDF にも対応する予定です。

読書モード

モバイル対応の強化

NovelAI はモバイル端末のブラウザでもすでに問題なく動きますが、モバイルでの体験は今後もできるかぎり磨いていきます。

また、モバイルでもデスクトップでも、プログレッシブウェブアプリとして利用できます。

カスタムコンテキストメニュー

さまざまな機能を呼び出せるカスタムコンテキストメニューにも取り組んでいきます。たとえばテキストを選んで右クリックし、追加を選ぶだけでロアブックのエントリーを作れる、といった具合です。こうした機能によって、UI の操作をより簡単にしていきます。

これらの機能と料金についてのご意見は、Discord、Reddit、そしてこの Medium 記事のコメント欄など、あらゆる公式チャンネルで集めて検討していきます。

私たちの SNS はこちらです。

Discord：https://discord.gg/novelai

Twitter：https://twitter.com/novelaiofficial

Reddit：https://www.reddit.com/r/NovelAi/

Website：https://novelai.net/

Patreon：https://patreon.com/novelai