ジャーナル記事
推論環境アップデート：Llama 3 Erato の公開時期、新サンプラー、そして CFG との別れ
お待たせしている次のテキスト生成モデルをお届けするため、計算クラスターの準備を進めています。
新しい推論用ハードウェアがついに届きました！ それにともない、現在は新しい計算クラスターへの移行作業を進めています。すでに速度の向上に気づかれた方もいるかもしれませんが、この移行によりサーバーとネットワークの安定性も向上します。
すべての準備が整いつつある今、700億パラメータの新しいテキスト生成モデル Llama 3 Erato の公開予定をお知らせします。
Built with Meta Llama 3: Erato
私たちならではの工夫を加えるため、Llama 3 70B のベースモデルに対して数千億トークン規模の学習データで事前学習を継続し、これまでのテキスト生成モデル Kayra を上回る計算資源を投入しました。そしていつものように、高品質な文学データセットでファインチューニングを行い、これまでで最も強力な物語生成モデルに仕上げています。
**Llama 3 Erato は来週、Opus プランのユーザー向けに公開予定です。**お待たせしました、公開まであと少しです！
それまでの間、私たちは新しいクラスターへの移行と、テキスト生成モデル Kayra および Clio の新しい推論スタックへの切り替えを進めています。この新しいスタックでは、量子化していないモデルをより効率的に提供できます。ただし、この構成は Classifier Free Guidance（CFG）サンプラーとの相性が良くないため、CFG サンプリングはここでお別れとなります。
その代わりとして、Erato でも利用できる新しいサンプラーを2つ公開します。Min P と Unified Sampling です。
広く使われている Min P サンプラーは、最も確率の高いトークンの確率に対する割合でしきい値を設定し、それを下回るトークンを除外する、シンプルな仕組みです。
Unified Sampling は、サンプリングの設定全体を置き換えることを想定して設計されており、他のサンプラーを併用せず単体で使えます。新しい研究に基づいたもので、既存のプリセットと比べて品質はわずかに向上しつつ、設定はずっとシンプルになります。
想定どおりに使うには、「Change Settings Order」ボタンから Unified と Randomness を有効にし、それ以外をすべて無効にしてください。そのうえで Randomness を 1 に設定します。Unified には Linear、Quad、Conf の3つのパラメータがあります。Linear を上げると確率の高いトークンが優先されます。Quad を上げると確率の低いトークンが除外されます。Conf を上げると最も確率の高いトークンが優先されますが、これは最上位トークンの確率が小さいときにのみ働きます。
詳しくはドキュメントをご覧ください。
皆さんが作る新しいプリセットと、それが物語のなかでどう働くかについてのご感想を楽しみにしています。
新しいテキスト生成モデルをお披露目する来週、またお会いしましょう！