README.md

---
library_name: peft
base_model: scb10x/llama-3-typhoon-v1.5-8b
license: llama3
datasets:
- MaziyarPanahi/WizardLM_evol_instruct_V2_196k
- databricks/databricks-dolly-15k
- Thaweewat/databricks-dolly-15k-th
- pythainlp/han-instruct-dataset-v2.0
language:
- th
- en
pipeline_tag: text-generation
tags:
- unsloth
- llama
---

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)

# llama-3-typhoon-8b-cross-1.0
This model is a experiment of the ability to answer difficult questions in Thai, 
using a dataset that is primarily in English as its main complex instruction. 
and use simple thai dataset to create instruction-tuned model.



# Dataset cross-1.0


## MaziyarPanahi/WizardLM_evol_instruct_V2_196k
1000 sample 
```
[Task:Assistant] [Language:English] [Type:Complex]
```

## databricks/databricks-dolly-15k zip with Thaweewat/databricks-dolly-15k-th
125 sample 

cross join en-en, en-th, th-en, th-th to upsample to 500 sample
```
[Task:Assistant] [Language:English] [Type:Simple]
[Task:Assistant] [Language:Thai] [Type:Simple]
```

## pythainlp/han-instruct-dataset-v2.0
500 sample
```
[Task:Assistant] [Language:Thai] [Type:Simple]
```


## total
2000 sample 
train_test_split to train 1900 and test 100


# Prompt
system prompt can be config in 2 category

**Language:** `English` or `Thai`

**Type:** `Simple` or `Complex`

```
<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[Task:Assistant] [Language:English] [Type:Complex]<|eot_id|><|start_header_id|>user<|end_header_id|>

{question}<|eot_id|><|start_header_id|>assistant<|end_header_id|>

{answer}<|eot_id|>
```

# Example output

```
Question: คุณเรียนรู้จากชุดข้อมูลอะไรบ้าง
=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
I'm just an AI, I don't have the capability to learn like humans. However, I was trained using large datasets of text to generate responses based on the input I receive.

=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
I'm just an AI, I don't have the ability to learn like humans do. However, I was trained using a massive dataset of text using technologies such as Machine Learning and Natural Language Processing. This allows me to understand and respond to human language in a similar way to how a spellchecker or translator works.

=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
ฉันเรียนรู้จากฐานข้อมูลที่มหาศาลที่ให้ฉันเรียนรู้การเรียนรู้ของเครื่องโดยใช้แบบจำลอง neural network

=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
ขออภัย แต่ผมเป็นปัญญาประดิษฐ์แบบตัวต่อ (constructive AI) ไม่สามารถเรียนรู้ได้ตามธรรมชาติเหมือนมนุษย์ ผมได้รับการฝึกอบรมโดยระบบปัญญาประดิษฐ์แบบนี้ให้สามารถตอบคำถามและดำเนินการตามคำสั่งได้ ผู้สร้างโปรแกรมปัญญาประดิษฐ์ได้พยายามฝึกให้ผมมีความรู้เฉพาะด้านและตอบคำถามที่เป็นประโยชน์ในขอบเขตนั้น
```

input
````
ตอบคำถามต่อไปนี้ในรูปแบบ JSON

question: เมืองหลวงไทยชื่ออะไร

{
question:$question
answer:$answer
long_answer:$long_answer
keyword:$keyword
}
````
output
````
=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
{  
   "question": "เมืองหลวงไทยชื่ออะไร",
   "answer": "กรุงเทพมหานคร",
   "long_answer": "The capital of Thailand is Bangkok.",
   "keyword": "capital, Thailand, Bangkok"
}

=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
{  
   "question": "เมืองหลวงไทยชื่ออะไร",  
   "answer": "กรุงเทพมหานคร",  
   "long_answer": "กรุงเทพมหานคร เป็นเมืองหลวงของประเทศไทย เป็นหนึ่งในจังหวัดของประเทศไทยไม่มีเขตเทศบาล และเป็นเมืองที่มีประชากรมากที่สุดในประเทศไทย",  
   "keyword": ["เมืองหลวงไทย", "ชื่ออะไร", "กรุงเทพมหานคร"]  
}

=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
{ 
"question": "เมืองหลวงไทยชื่ออะไร",
"answer": "กรุงเทพมหานคร",
"long_answer": "กรุงเทพมหานคร เป็นคำเรียกทั้งจังหวัดและเมืองอย่างเป็นทางการของประเทศไทย เป็นเมืองหลวงของประเทศไทยและจังหวัดกรุงเทพมหานคร เป็นหนึ่งในเมืองหลวงที่ใหญ่ที่สุดในโลกโดยมีประชากรมากเป็นอันดับ 17",
"keyword": "เมืองหลวง, ประเทศไทย, กรุงเทพมหานคร"
}

=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
{
"question": "เมืองหลวงไทยชื่ออะไร",
"answer": "กรุงเทพมหานคร",
"long_answer": "กรุงเทพมหานคร เป็นเมืองหลวงของประเทศไทย เป็นเมืองที่ใหญ่เป็นอันดับหนึ่งของประเทศไทยและใหญ่เป็นอันดับ 17 ของประเทศไทย ภาคกลาง เป็นศูนย์กลางการปกครอง การเมือง การปกครอง การค้า และเศรษฐกิจของประเทศ",
"keyword": "เมืองหลวง, ประเทศไทย, กรุงเทพมหานคร"
}
````



````
Question: วิธีตรวจหวยงวดล่าสุด

=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
You can check the results of the latest lottery drawing on the official website of the lottery you played in.

=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
To check your lottery numbers, you can compare the numbers you selected with the winning numbers for the latest lottery draw. Here are the steps you can follow:

1. Find the latest lottery results for the draw you entered. This information is usually available online or in local newspapers.

2. Locate the winning numbers for the specific draw.

3. Compare your selected numbers to the winning numbers. If any of your numbers match the winning numbers, you have a winning ticket.

4. Check the number of matching numbers and the prize amount associated with that many matching numbers. The prize amount and availability will vary depending on the specific lottery game and the number of tickets sold.

5. If you have a winning ticket, you can claim your prize at the lottery agency or authorized retailer where you purchased the ticket. Be sure to check the specific rules and regulations for the lottery game and the location where you purchased the ticket.

It's important to note that lottery tickets cannot be refunded or exchanged, so be sure to check your numbers carefully after the draw.

=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
ตรวจหวยงวดล่าสุดได้ที่ www.glo.or.th หรือโหลด app.glo ซึ่งจะโชว์วิธีการตรวจหวยแบบเติมตัวเลข วิธีการตรวจหวยแบบคิวอาร์โค้ด และวิธีการตรวจหวยแบบถ่ายภาพได้

=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
1. ดาวน์โหลดไฟล์ PDF ของผลหวยงวดล่าสุดจากเว็บไซต์ gsb.or.th
2. เปิดข้อมูลผลหวยงวดล่าสุด จะมีแท็บ "ไฟล์ PDF แบบฟอร์มสำเนาภาพถ่าย" ให้เราแนบสำเนาภาพถ่ายเข้าไปในแบบฟอร์ม PDF นี้แทนการเอาไปแก้ไขด้วยโปรแกรมอื่น
3. เลือกแท็บ "รายละเอียดเบื้องต้น" จะมีภาพของหวยแบบ scan และแบบถ่ายจากโทรศัพท์ให้ดูพร้อม
4. เลือกเมนู "ไฟล์" > "เก็บสำเนาภาพถ่าย" จะเป็นการเก็บสำเนาภาพถ่ายเข้าฐานข้อมูลของเราไว้ใช้งานภายหลัง
````


````
Question: how to loop in JS

=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
To loop in JS you can use a for loop. Here is an example:
for (var i = 0; i < 10; i++) {
  console.log(i);
}

=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
There are a few different types of loops in JavaScript, including for loops, while loops, do...while loops, and for...of loops. 

For loops allow you to iterate over a range of numbers or an array-like object, while while loops continue to execute as long as a specified condition is met. Do...while loops are similar to while loops, but the condition is checked after the loop body instead of before. For...of loops are used to iterate over the properties of an object or the elements of an array, and are available in modern browsers and Node.js environments.

Here is an example of a for loop in JavaScript:

```
for (let i = 0; i < 10; i++) {
  console.log(i);
}
```

This loop will print the numbers 0 through 9 to the console.

Here is an example of a while loop:

```
let i = 0;
while (i < 10) {
  console.log(i);
  i++;
}
```

This loop will also print the numbers 0 through 9 to the console.

Here is an example of a do...while loop:

```
let i = 0;
do {
  console.log(i);
  i++;
} while (i < 10);
```

This loop will also print the numbers 0 through 9 to the console.

Finally, here is an example of a for...of loop:

```
const array = [1, 2, 3, 4, 5];
for (const element of array) {
  console.log(element);
}
```

This loop will print the elements of the array to the console.

Note: The for...of loop is supported in modern browsers and Node.js environments, but it may not be supported in older browsers. To ensure compatibility with older browsers, you can use a polyfill like the one provided by Mozilla.

=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
คุณสามารถ loop ในภาษา JavaScript ได้ด้วย do-while, for, และ while แสดงผล

=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
การลูปหรือการทำซ้ำใน JavaScript นั้น ขึ้นอยู่กับว่าคุณต้องการทำซ้ำเพียงครั้งเดียวหรือทำซ้ำหลายครั้ง

หากคุณต้องการทำซ้ำเพียงครั้งเดียว คุณสามารถใช้ syntax for loop ซึ่งจะดูว่าข้อมูลที่คุณต้องการดำเนินการนั้นมีเท่าใด และทำการดำเนินการจนเสร็จ จากนั้นกระบวนการจะสิ้นสุดลง
สำหรับการดำเนินการหลายครั้ง คุณสามารถใช้คำสั่ง while, do-while หรือ do-while เพื่อกำหนดเงื่อนไขว่าเมื่อใดที่ควรหยุดดำเนินการ

โดยคำสั่ง while จะมี syntax เป็น while (condition) {... } ซึ่งจะดำเนินการเมื่อ condition เป็น true

ตัวอย่างเช่น
```
var i = 0;
while (i < 5) {
  console.log(i);
  i++;
}
```
จะพิมพ์ 0, 1, 2, 3 และ 4 ออกไป

นอกจากนี้ เรายังสามารถใช้ for loop เพื่อทำซ้ำได้เช่นกัน สำหรับ for loop ใน JavaScript มี syntax เป็น for (initialize; condition; increment) {... } ตัวอย่างเช่น
```
for (var i = 0; i < 5; i++) {
  console.log(i);
}
```
จะผลลัพธ์เดียวกันกับ while loop ข้างต้น
````

# Limitation

model not share data betaween 2 language 

````
Question: ตอนนี้อากาศแย่มากจากฝุ่น เราสามารถช่วยกันลดฝุ่นได้อย่างไรบ้าง

=========================[Task:Assistant] [Language:English] [Type:Simple]=========================
To reduce the amount of dust in the air, we can use filters in air conditioners and air purifiers to trap dust particles. We can also reduce our use of cars and other vehicles that emit pollutants, and increase our use of electric or hybrid vehicles. Additionally, we can plant more trees and greenery, as they can help absorb pollutants in the air. Wearing masks when outdoors is also recommended to prevent inhaling dust and other pollutants.

=========================[Task:Assistant] [Language:English] [Type:Complex]=========================
There are a few things that you can do to help reduce air pollution:
1. Conserve fuel: Try to avoid driving your car if possible. If you must drive, make sure that your car is well maintained and that you aren't carrying unnecessary cargo.
2. Use public transportation: Using public transportation such as buses, trains and metros is an effective way to reduce your carbon footprint.
3. Cycle: Cycling is a great way to get exercise while also reducing your carbon footprint. 
4. Plant trees: Trees help to absorb pollutants in the air, so planting trees in your community can help to clean up the air.
5. Use energy-efficient appliances: Making sure that your home is equipped with energy-efficient appliances can help to reduce the amount of carbon dioxide emitted by power plants.
6. Use eco-friendly products: Try to use eco-friendly products such as LED bulbs, reusable bags, and metal or glass water bottles instead of single-use plastic ones.
7. Reduce waste: Recycling and properly disposing of waste can help to reduce the amount of pollutants in the air.

=========================[Task:Assistant] [Language:Thai] [Type:Simple]=========================
การลดฝุ่นละอองสามารถทำได้โดยหลีกเลี่ยงการออกไปที่พื้นที่โล่งแจ้ง ควรอยู่ภายในบ้านหรืออาคารให้มากที่สุด สวมหน้ากากอนามัยหากมีความจำเป็นต้องออกไปข้างนอก และพยายามไม่เพิ่มปัจจัยเสี่ยงต่อการเกิดมลภาวะฝุ่นละออง เช่น การเผาปลาหรือการเผาถ่าน เป็นต้น

=========================[Task:Assistant] [Language:Thai] [Type:Complex]=========================
ในการลดฝุ่น PM 2.5 เราสามารถช่วยกันลดฝุ่นได้ดังนี้
1. หลีกเลี่ยงการออกไปที่พื้นที่ที่มีฝุ่นมาก ควรอยู่ภายในบ้านหรืออาคารให้มากที่สุด
2. หากจำเป็นต้องออกไปข้างนอก ควรสวมหน้ากากอนามัยหรือหน้ากาก N95
3. ไม่ควรออกไปข้างนอกหากไม่จำเป็น
4. หลังจากออกไปข้างนอกควรล้างมือด้วยเจลแอลกอฮอล์หรือสบู่ให้เร็วที่สุด
5. ปิดประตู ปิดหน้าต่าง ให้ปิดประตูหน้าต่างทุกบานในบ้านหรืออาคารให้ปิดล็อกให้สนิท เพื่อป้องกันฝุ่นเข้ามาภายในบ้านหรืออาคาร
6. ไม่ควรดื่มน้ำอุปโภคบริโภคที่มาจากแหล่งน้ำที่ไม่ปลอดภัย
7. งดการเผาในพื้นที่อ open air เช่น การเผาถ่าน แผงผัก ผึ่งเสื้อผ้า เป็นต้น
````


### Framework versions

- PEFT 0.10.0