Sdff-Ltba
/

LightChatAssistant-2x7B

Text Generation

Mixture of Experts

Not-For-All-Audiences

nsfw

text-generation-inference

Inference Endpoints

Model card Files Files and versions Community

Sdff-Ltba commited on Apr 3

Commit

bf46e38

•

1 Parent(s): f35b84e

Update README.md

Files changed (1) hide show

README.md +5 -5

README.md CHANGED Viewed

@@ -61,9 +61,9 @@ cp_model.save_pretrained("./model-chatvector")
 3. 作成されたモデルディレクトリにあるconfig.jsonを以下のように変更して、ContextSizeの内容をMistral7BInstructの通りに修正します。(一つ目以外はあまり理解していない)
-- "max_position_embeddings"を32768
-- "rope_theta"を1000000.0
-- "sliding_window"をnull
 ## MoE化
@@ -136,5 +136,5 @@ User: 次のお話の続きを考えて恋愛小説で書いてください。
 ### 参考文献
-[Chat Vectorを使って日本語LLMをチャットモデルに改造する #Python - Qiita](https://qiita.com/jovyan/items/ee6affa5ee5bdaada6b4)
-[学習済みの LLM を束ねて Mixture of Experts を作るテク](https://zenn.dev/zaburo_ch/articles/88e35e5c80f974)

 3. 作成されたモデルディレクトリにあるconfig.jsonを以下のように変更して、ContextSizeの内容をMistral7BInstructの通りに修正します。(一つ目以外はあまり理解していない)
+- `"max_position_embeddings"`を`32768`
+- `"rope_theta"`を`1000000.0`
+- `"sliding_window"`を`null`
 ## MoE化
 ### 参考文献
+- [Chat Vectorを使って日本語LLMをチャットモデルに改造する #Python - Qiita](https://qiita.com/jovyan/items/ee6affa5ee5bdaada6b4)
+- [学習済みの LLM を束ねて Mixture of Experts を作るテク](https://zenn.dev/zaburo_ch/articles/88e35e5c80f974)