Update README.md

README.md

@@ -1,202 +1,283 @@
 ---
 library_name: peft
 base_model: scb10x/llama-3-typhoon-v1.5-8b
+license: llama3
+datasets:
+- MaziyarPanahi/WizardLM_evol_instruct_V2_196k
+- databricks/databricks-dolly-15k
+- Thaweewat/databricks-dolly-15k-th
+- pythainlp/han-instruct-dataset-v2.0
+language:
+- th
+- en
+pipeline_tag: text-generation
 ---
 
-# Model Card for Model ID
+# llama-3-typhoon-8b-cross-1.0
+This model is a experiment of the ability to answer difficult questions in Thai, 
+using a dataset that is primarily in English as its main complex instruction. 
+and use simple thai dataset to create instruction-tuned model.
 
-<!-- Provide a quick summary of what the model is/does. -->
+# Dataset
 
+## MaziyarPanahi/WizardLM_evol_instruct_V2_196k
+1000 sample
 
+## databricks/databricks-dolly-15k zip with Thaweewat/databricks-dolly-15k-th
+125 sample 
 
-## Model Details
+cross join en-en, en-th, th-en, th-th to upsample to 500 sample
 
-### Model Description
+## pythainlp/han-instruct-dataset-v2.0
+500 sample
 
-<!-- Provide a longer summary of what this model is. -->
 
+total 2000 sample 
+train_test_split to train 1900 and test 100
 
 
-- **Developed by:** [More Information Needed]
-- **Funded by [optional]:** [More Information Needed]
-- **Shared by [optional]:** [More Information Needed]
-- **Model type:** [More Information Needed]
-- **Language(s) (NLP):** [More Information Needed]
-- **License:** [More Information Needed]
-- **Finetuned from model [optional]:** [More Information Needed]
+# Prompt
+system prompt can be config in 2 category
 
-### Model Sources [optional]
+**Language:** `English` or `Thai`
 
-<!-- Provide the basic links for the model. -->
+**Type:** `Simple` or `Complex`
 
-- **Repository:** [More Information Needed]
-- **Paper [optional]:** [More Information Needed]
-- **Demo [optional]:** [More Information Needed]
+```
+<|begin_of_text|><|start_header_id|>system<|end_header_id|>
 
-## Uses
+[Task:Assistant] [Language:English] [Type:Complex]<|eot_id|><|start_header_id|>user<|end_header_id|>
 
-<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
+{question}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
 
-### Direct Use
+{answer}<|eot_id|>
+```
 
-<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
+# Example output
 
-[More Information Needed]
+```
+Question: คุณเรียนรู้จากชุดข้อมูลอะไรบ้าง
+=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
+I'm just an AI, I don't have the capability to learn like humans. However, I was trained using large datasets of text to generate responses based on the input I receive.
 
-### Downstream Use [optional]
+=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
+I'm just an AI, I don't have the ability to learn like humans do. However, I was trained using a massive dataset of text using technologies such as Machine Learning and Natural Language Processing. This allows me to understand and respond to human language in a similar way to how a spellchecker or translator works.
 
-<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
+=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
+ฉันเรียนรู้จากฐานข้อมูลที่มหาศาลที่ให้ฉันเรียนรู้การเรียนรู้ของเครื่องโดยใช้แบบจำลอง neural network
 
-[More Information Needed]
+=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
+ขออภัย แต่ผมเป็นปัญญาประดิษฐ์แบบตัวต่อ (constructive AI) ไม่สามารถเรียนรู้ได้ตามธรรมชาติเหมือนมนุษย์ ผมได้รับการฝึกอบรมโดยระบบปัญญาประดิษฐ์แบบนี้ให้สามารถตอบคำถามและดำเนินการตามคำสั่งได้ ผู้สร้างโปรแกรมปัญญาประดิษฐ์ได้พยายามฝึกให้ผมมีความรู้เฉพาะด้านและตอบคำถามที่เป็นประโยชน์ในขอบเขตนั้น
+```
 
-### Out-of-Scope Use
+input
+````
+ตอบคำถามต่อไปนี้ในรูปแบบ JSON
 
-<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
+question: เมืองหลวงไทยชื่ออะไร
 
-[More Information Needed]
+{
+question:$question
+answer:$answer
+long_answer:$long_answer
+keyword:$keyword
+}
+````
+output
+````
+=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
+{  
+   "question": "เมืองหลวงไทยชื่ออะไร",
+   "answer": "กรุงเทพมหานคร",
+   "long_answer": "The capital of Thailand is Bangkok.",
+   "keyword": "capital, Thailand, Bangkok"
+}
 
-## Bias, Risks, and Limitations
+=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
+{  
+   "question": "เมืองหลวงไทยชื่ออะไร",  
+   "answer": "กรุงเทพมหานคร",  
+   "long_answer": "กรุงเทพมหานคร เป็นเมืองหลวงของประเทศไทย เป็นหนึ่งในจังหวัดของประเทศไทยไม่มีเขตเทศบาล และเป็นเมืองที่มีประชากรมากที่สุดในประเทศไทย",  
+   "keyword": ["เมืองหลวงไทย", "ชื่ออะไร", "กรุงเทพมหานคร"]  
+}
 
-<!-- This section is meant to convey both technical and sociotechnical limitations. -->
+=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
+{ 
+"question": "เมืองหลวงไทยชื่ออะไร",
+"answer": "กรุงเทพมหานคร",
+"long_answer": "กรุงเทพมหานคร เป็นคำเรียกทั้งจังหวัดและเมืองอย่างเป็นทางการของประเทศไทย เป็นเมืองหลวงของประเทศไทยและจังหวัดกรุงเทพมหานคร เป็นหนึ่งในเมืองหลวงที่ใหญ่ที่สุดในโลกโดยมีประชากรมากเป็นอันดับ 17",
+"keyword": "เมืองหลวง, ประเทศไทย, กรุงเทพมหานคร"
+}
 
-[More Information Needed]
+=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
+{
+"question": "เมืองหลวงไทยชื่ออะไร",
+"answer": "กรุงเทพมหานคร",
+"long_answer": "กรุงเทพมหานคร เป็นเมืองหลวงของประเทศไทย เป็นเมืองที่ใหญ่เป็นอันดับหนึ่งของประเทศไทยและใหญ่เป็นอันดับ 17 ของประเทศไทย ภาคกลาง เป็นศูนย์กลางการปกครอง การเมือง การปกครอง การค้า และเศรษฐกิจของประเทศ",
+"keyword": "เมืองหลวง, ประเทศไทย, กรุงเทพมหานคร"
+}
+````
 
-### Recommendations
 
-<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
 
-Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
+````
+Question: วิธีตรวจหวยงวดล่าสุด
 
-## How to Get Started with the Model
+=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
+You can check the results of the latest lottery drawing on the official website of the lottery you played in.
 
-Use the code below to get started with the model.
+=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
+To check your lottery numbers, you can compare the numbers you selected with the winning numbers for the latest lottery draw. Here are the steps you can follow:
 
-[More Information Needed]
+1. Find the latest lottery results for the draw you entered. This information is usually available online or in local newspapers.
 
-## Training Details
+2. Locate the winning numbers for the specific draw.
 
-### Training Data
+3. Compare your selected numbers to the winning numbers. If any of your numbers match the winning numbers, you have a winning ticket.
 
-<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
+4. Check the number of matching numbers and the prize amount associated with that many matching numbers. The prize amount and availability will vary depending on the specific lottery game and the number of tickets sold.
 
-[More Information Needed]
+5. If you have a winning ticket, you can claim your prize at the lottery agency or authorized retailer where you purchased the ticket. Be sure to check the specific rules and regulations for the lottery game and the location where you purchased the ticket.
 
-### Training Procedure
+It's important to note that lottery tickets cannot be refunded or exchanged, so be sure to check your numbers carefully after the draw.
 
-<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
+=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
+ตรวจหวยงวดล่าสุดได้ที่ www.glo.or.th หรือโหลด app.glo ซึ่งจะโชว์วิธีการตรวจหวยแบบเติมตัวเลข วิธีการตรวจหวยแบบคิวอาร์โค้ด และวิธีการตรวจหวยแบบถ่ายภาพได้
 
-#### Preprocessing [optional]
+=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
+1. ดาวน์โหลดไฟล์ PDF ของผลหวยงวดล่าสุดจากเว็บไซต์ gsb.or.th
+2. เปิดข้อมูลผลหวยงวดล่าสุด จะมีแท็บ "ไฟล์ PDF แบบฟอร์มสำเนาภาพถ่าย" ให้เราแนบสำเนาภาพถ่ายเข้าไปในแบบฟอร์ม PDF นี้แทนการเอาไปแก้ไขด้วยโปรแกรมอื่น
+3. เลือกแท็บ "รายละเอียดเบื้องต้น" จะมีภาพของหวยแบบ scan และแบบถ่ายจากโทรศัพท์ให้ดูพร้อม
+4. เลือกเมนู "ไฟล์" > "เก็บสำเนาภาพถ่าย" จะเป็นการเก็บสำเนาภาพถ่ายเข้าฐานข้อมูลของเราไว้ใช้งานภายหลัง
+````
 
-[More Information Needed]
 
+````
+Question: how to loop in JS
 
-#### Training Hyperparameters
+=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
+To loop in JS you can use a for loop. Here is an example:
+for (var i = 0; i < 10; i++) {
+  console.log(i);
+}
 
-- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
+=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
+There are a few different types of loops in JavaScript, including for loops, while loops, do...while loops, and for...of loops. 
 
-#### Speeds, Sizes, Times [optional]
+For loops allow you to iterate over a range of numbers or an array-like object, while while loops continue to execute as long as a specified condition is met. Do...while loops are similar to while loops, but the condition is checked after the loop body instead of before. For...of loops are used to iterate over the properties of an object or the elements of an array, and are available in modern browsers and Node.js environments.
 
-<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
+Here is an example of a for loop in JavaScript:
 
-[More Information Needed]
+```
+for (let i = 0; i < 10; i++) {
+  console.log(i);
+}
+```
+
+This loop will print the numbers 0 through 9 to the console.
+
+Here is an example of a while loop:
+
+```
+let i = 0;
+while (i < 10) {
+  console.log(i);
+  i++;
+}
+```
 
-## Evaluation
+This loop will also print the numbers 0 through 9 to the console.
 
-<!-- This section describes the evaluation protocols and provides the results. -->
+Here is an example of a do...while loop:
 
-### Testing Data, Factors & Metrics
+```
+let i = 0;
+do {
+  console.log(i);
+  i++;
+} while (i < 10);
+```
 
-#### Testing Data
+This loop will also print the numbers 0 through 9 to the console.
 
-<!-- This should link to a Dataset Card if possible. -->
+Finally, here is an example of a for...of loop:
 
-[More Information Needed]
+```
+const array = [1, 2, 3, 4, 5];
+for (const element of array) {
+  console.log(element);
+}
+```
 
-#### Factors
+This loop will print the elements of the array to the console.
 
-<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
+Note: The for...of loop is supported in modern browsers and Node.js environments, but it may not be supported in older browsers. To ensure compatibility with older browsers, you can use a polyfill like the one provided by Mozilla.
 
-[More Information Needed]
+=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
+คุณสามารถ loop ในภาษา JavaScript ได้ด้วย do-while, for, และ while แสดงผล
 
-#### Metrics
+=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
+การลูปหรือการทำซ้ำใน JavaScript นั้น ขึ้นอยู่กับว่าคุณต้องการทำซ้ำเพียงครั้งเดียวหรือทำซ้ำหลายครั้ง
 
-<!-- These are the evaluation metrics being used, ideally with a description of why. -->
+หากคุณต้องการทำซ้ำเพียงครั้งเดียว คุณสามารถใช้ syntax for loop ซึ่งจะดูว่าข้อมูลที่คุณต้องการดำเนินการนั้นมีเท่าใด และทำการดำเนินการจนเสร็จ จากนั้นกระบวนการจะสิ้นสุดลง
+สำหรับการดำเนินการหลายครั้ง คุณสามารถใช้คำสั่ง while, do-while หรือ do-while เพื่อกำหนดเงื่อนไขว่าเมื่อใดที่ควรหยุดดำเนินการ
 
-[More Information Needed]
+โดยคำสั่ง while จะมี syntax เป็น while (condition) {... } ซึ่งจะดำเนินการเมื่อ condition เป็น true
 
-### Results
+ตัวอย่างเช่น
+```
+var i = 0;
+while (i < 5) {
+  console.log(i);
+  i++;
+}
+```
+จะพิมพ์ 0, 1, 2, 3 และ 4 ออกไป
 
-[More Information Needed]
+นอกจากนี้ เรายังสามารถใช้ for loop เพื่อทำซ้ำได้เช่นกัน สำหรับ for loop ใน JavaScript มี syntax เป็น for (initialize; condition; increment) {... } ตัวอย่างเช่น
+```
+for (var i = 0; i < 5; i++) {
+  console.log(i);
+}
+```
+จะผลลัพธ์เดียวกันกับ while loop ข้างต้น
+````
 
-#### Summary
+# Limitation
 
+model not share data betaween 2 language 
 
+````
+Question: ตอนนี้อากาศแย่มากจากฝุ่น เราสามารถช่วยกันลดฝุ่นได้อย่างไรบ้าง
 
-## Model Examination [optional]
+=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
+To reduce the amount of dust in the air, we can use filters in air conditioners and air purifiers to trap dust particles. We can also reduce our use of cars and other vehicles that emit pollutants, and increase our use of electric or hybrid vehicles. Additionally, we can plant more trees and greenery, as they can help absorb pollutants in the air. Wearing masks when outdoors is also recommended to prevent inhaling dust and other pollutants.
 
-<!-- Relevant interpretability work for the model goes here -->
+=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
+There are a few things that you can do to help reduce air pollution:
+1. Conserve fuel: Try to avoid driving your car if possible. If you must drive, make sure that your car is well maintained and that you aren't carrying unnecessary cargo.
+2. Use public transportation: Using public transportation such as buses, trains and metros is an effective way to reduce your carbon footprint.
+3. Cycle: Cycling is a great way to get exercise while also reducing your carbon footprint. 
+4. Plant trees: Trees help to absorb pollutants in the air, so planting trees in your community can help to clean up the air.
+5. Use energy-efficient appliances: Making sure that your home is equipped with energy-efficient appliances can help to reduce the amount of carbon dioxide emitted by power plants.
+6. Use eco-friendly products: Try to use eco-friendly products such as LED bulbs, reusable bags, and metal or glass water bottles instead of single-use plastic ones.
+7. Reduce waste: Recycling and properly disposing of waste can help to reduce the amount of pollutants in the air.
 
-[More Information Needed]
+=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
+การลดฝุ่นละอองสามารถทำได้โดยหลีกเลี่ยงการออกไปที่พื้นที่โล่งแจ้ง ควรอยู่ภายในบ้านหรืออาคารให้มากที่สุด สวมหน้ากากอนามัยหากมีความจำเป็นต้องออกไปข้างนอก และพยายามไม่เพิ่มปัจจัยเสี่ยงต่อการเกิดมลภาวะฝุ่นละออง เช่น การเผาปลาหรือการเผาถ่าน เป็นต้น
 
-## Environmental Impact
+=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
+ในการลดฝุ่น PM 2.5 เราสามารถช่วยกันลดฝุ่นได้ดังนี้
+1. หลีกเลี่ยงการออกไปที่พื้นที่ที่มีฝุ่นมาก ควรอยู่ภายในบ้านหรืออาคารให้มากที่สุด
+2. หากจำเป็นต้องออกไปข้างนอก ควรสวมหน้ากากอนามัยหรือหน้ากาก N95
+3. ไม่ควรออกไปข้างนอกหากไม่จำเป็น
+4. หลังจากออกไปข้างนอกควรล้างมือด้วยเจลแอลกอฮอล์หรือสบู่ให้เร็วที่สุด
+5. ปิดประตู ปิดหน้าต่าง ให้ปิดประตูหน้าต่างทุกบานในบ้านหรืออาคารให้ปิดล็อกให้สนิท เพื่อป้องกันฝุ่นเข้ามาภายในบ้านหรืออาคาร
+6. ไม่ควรดื่มน้ำอุปโภคบริโภคที่มาจากแหล่งน้ำที่ไม่ปลอดภัย
+7. งดการเผาในพื้นที่อ open air เช่น การเผาถ่าน แผงผัก ผึ่งเสื้อผ้า เป็นต้น
+````
 
-<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
 
-Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
-
-- **Hardware Type:** [More Information Needed]
-- **Hours used:** [More Information Needed]
-- **Cloud Provider:** [More Information Needed]
-- **Compute Region:** [More Information Needed]
-- **Carbon Emitted:** [More Information Needed]
-
-## Technical Specifications [optional]
-
-### Model Architecture and Objective
-
-[More Information Needed]
-
-### Compute Infrastructure
-
-[More Information Needed]
-
-#### Hardware
-
-[More Information Needed]
-
-#### Software
-
-[More Information Needed]
-
-## Citation [optional]
-
-<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
-
-**BibTeX:**
-
-[More Information Needed]
-
-**APA:**
-
-[More Information Needed]
-
-## Glossary [optional]
-
-<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
-
-[More Information Needed]
-
-## More Information [optional]
-
-[More Information Needed]
-
-## Model Card Authors [optional]
-
-[More Information Needed]
-
-## Model Card Contact
-
-[More Information Needed]
 ### Framework versions
 
 - PEFT 0.10.0