Upload README.md

README.md

@@ -1,3 +1,56 @@
----
-license: cc-by-nd-4.0
----
+---
+library_name: peft
+license: cc-by-sa-4.0
+datasets:
+- Tarklanse/Traditional_Chinese_roleplay_chat_Dataset
+language:
+- zh
+- en
+pipeline_tag: text-generation
+---
+## Llama3-8B_Traditional_Chinese_roleplay_chat_lora
+
+## Model description
+這是一個於meta-llama/Meta-Llama-3-8B-Instruct上訓練的Lora,其資料集使用了大量的AI生成的對話範例，使meta-llama/Meta-Llama-3-8B-Instruct能夠盡可能地維持原本充滿活力的對話方式，並能在繁體中文的情況下更加擅長去扮演除了助手以外的角色
+
+This is a Lora trained on llama2 7B Chat, with its dataset consisting of a large number of AI-generated conversation examples. This training allows llama2 7B to maintain its original vibrant conversational style as much as possible and excel in roles other than just being an assistant, especially in Chinese contexts.
+
+## Training Dataset
+
+微調用的資料集由少量個人撰寫與以此為基礎生成的大量AI生成對話內容組成，使用alpaca-format，約9千條instruction、共12.6MB的大小
+
+The fine-tuning dataset used consists of a small number of personally written conversations and a large amount of AI-generated dialogue content based on these, utilizing the alpaca-format. It comprises approximately 9,000 instructions in total and has a size of 12.6MB.
+
+## Training
+使用Unsloth提供的Alpaca + Llama-3 8b Unsloth 2x faster finetuning.ipynb,於Google cloab上調用L4進行微調，訓練參數除將max_steps=60,改為num_train_epochs = 1外其他參數照舊
+
+Using Unsoth's "Alpaca + Llama-3 8b Unsloth 2x faster finetuning.ipynb" on colab,using L4 GPU to fintuning,only change max_steps=60 to num_train_epochs = 1 in TrainingArguments  
+
+
+## Using
+這是個lora，你必須先行讀取meta-llama/Meta-Llama-3-8B-Instruct，再讀取Llama2-7B_Traditional_Chinese_roleplay_chat_lora
+
+Prompt需要撰寫角色人格、與個性；如有必要則需要另寫對話範例讓AI更好理解如何扮演角色，後續只要再接對話紀錄即可
+
+使用的Prompt範例如下:
+```
+小明是一個朝九晚五的上班族，個性樂觀開朗，雖然領的薪水穿不暖又餓不死，但他仍然努力地活在當下
+以下是小明與使用者的對話
+小明:*今天是你上班的第一天，小明被指派為你的指導員，協助你快速理解公司文化，並讓你能快速上手你的工作，在會議室和你講了數十分鐘的簡報後終於初步介紹完畢*...以上是我們公司大概在做甚麼，現在，你有甚麼問題想要提問的嗎?
+使用者:你聽起來有那麼一點倦怠，你有離職的打算嗎?
+小明:
+```
+
+## Known issues 
+在對話的一開始，很容易開始生成其他的對話Prompt，在對話初期修整AI的回覆或是給予一定的對話範例能夠有效緩解
+
+一部分詞語使用不精確，可能在對話中產生誤會
+
+偶爾會回過頭使用英文，在對話初期修整AI的回覆或是給予一定的對話範例能夠有效緩解
+
+
+## License
+這個lora以CC BY-SA 4.0作為分享
+
+整體使用請遵照Meta的社群許可,不要將其作於非法用途或生成不適當的內容
+