Update README.md

README.md

@@ -13,65 +13,111 @@ datasets:
 pipeline_tag: question-answering
 ---
 
+# Bangla LLaMA 1B-4bit
 
-Bangla LLaMA is a specialized model for context-based question answering and Bengali retrieval augment generation. It is derived from LLaMA 3.2 1B and trained on the iamshnoo/alpaca-cleaned-bengali dataset. This model is designed to provide accurate responses in Bengali with relevant contextual information. It is integrated with the transformers library, making it easy to use for context-based question answering and Bengali retrieval augment generation in projects.
+**Bangla LLaMA 1B-4bit** is a 1-billion-parameter language model optimized for Bengali-language tasks such as context-based question answering and retrieval-augmented generation. It is derived from **LLaMA 3.2 1B** and trained on the [OdiaGenAI/all_combined_bengali_252k](https://huggingface.co/datasets/OdiaGenAI/all_combined_bengali_252k) dataset using 4-bit quantization for efficient performance.
 
+## Features
 
-# How to Use:
+- **Model Size:** 1B parameters
+- **Format:** 4-bit Quantized
+- **Language:** Bengali
+- **Use Cases:**
+  - Context-based Question Answering
+  - Bengali Retrieval-Augmented Generation
+- **Integration:** Compatible with Hugging Face `transformers` and optimized for efficient inference
 
-You can use the model with a pipeline for a high-level helper or load the model directly. Here's how:
+## Usage
 
-```python
-# Use a pipeline as a high-level helper
-from transformers import pipeline
-pipe = pipeline("question-answering", model="asif00/bangla-llama-1B-4bit")
-```
+### 1. Installation
 
-```python
-# Load model directly
-from transformers import AutoTokenizer, AutoModelForCausalLM
-tokenizer = AutoTokenizer.from_pretrained("asif00/bangla-llama-1B-4bit")
-model = AutoModelForCausalLM.from_pretrained("asif00/bangla-llama-1B-4bit")
+Ensure you have the necessary libraries installed:
+
+```bash
+pip install transformers bitsandbytes accelerate
 ```
 
-# General Prompt Structure: 
+### 2. Loading the Model with Transformers
 
 ```python
-prompt = """Below is an instruction in Bengali language that describes a task, paired with an input also in Bengali language that provides further context. Write a response in Bengali language that appropriately completes the request.
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 
-### Instruction:
+# Load the tokenizer and model with 4-bit quantization
+tokenizer = AutoTokenizer.from_pretrained("asif00/bangla-llama-1B-4bit")
+model = AutoModelForCausalLM.from_pretrained(
+    "asif00/bangla-llama-1B-4bit",
+    load_in_4bit=True,
+    device_map="auto",
+    quantization_config={"bits": 4}
+)
+
+# Define the prompt structure
+prompt_template = """
+নিচের নির্দেশনা বাংলা ভাষায় যা একটি কাজ বর্ণনা করে, এবং ইনপুটও বাংলা ভাষায় যা অতিরিক্ত প্রসঙ্গ প্রদান করে। উপযুক্তভাবে অনুরোধ পূরণ করে বাংলা ভাষায় একটি প্রতিক্রিয়া লিখুন।
+
+### নির্দেশনা:
 {}
 
-### Input:
+### ইনপুট:
 {}
 
-### Response:
-{}
+### প্রতিক্রিয়া:
 """
-```
 
-# To get a cleaned up version of the response, you can use the `generate_response` function:
-
-```python
-def generate_response(question, context):
-    inputs = tokenizer([prompt.format(question, context, "")], return_tensors="pt").to("cuda")
-    outputs = model.generate(**inputs, max_new_tokens=1024, use_cache=True)
-    responses = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
-    response_start = responses.find("### Response:") + len("### Response:")
-    response = responses[response_start:].strip()
+def generate_response(instruction, context):
+    prompt = prompt_template.format(instruction, context)
+    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+    output = model.generate(
+        **inputs,
+        max_length=512,
+        do_sample=True,
+        temperature=0.7,
+        top_p=0.9,
+        eos_token_id=tokenizer.eos_token_id
+    )
+    response = tokenizer.decode(output[0], skip_special_tokens=True)
+    response = response.split("### প্রতিক্রিয়া:")[-1].strip()
     return response
+
+# Example Usage
+if __name__ == "__main__":
+    instruction = "ভারতীয় বাঙালি কথাসাহিত্যিক মহাশ্বেতা দেবীর সম্পর্কে একটি সংক্ষিপ্ত বিবরণ দিন।"
+    context = "মহাশ্বেতা দেবী ২০১৬ সালে হৃদরোগে আক্রান্ত হয়ে কলকাতায় মৃত্যুবরণ করেন।"
+    answer = generate_response(instruction, context)
+    print("উত্তর:", answer)
 ```
 
-# Example Usage:
+### 3. Example
 
 ```python
-question = "ভার��ীয় বাঙালি কথাসাহিত্যিক মহাশ্বেতা দেবীর মৃত্যু কবে হয় ?"
-context = "২০১৬ সালের ২৩ জুলাই হৃদরোগে আক্রান্ত হয়ে মহাশ্বেতা দেবী কলকাতার বেল ভিউ ক্লিনিকে ভর্তি হন। সেই বছরই ২৮ জুলাই একাধিক অঙ্গ বিকল হয়ে তাঁর মৃত্যু ঘটে। তিনি মধুমেহ, সেপ্টিসেমিয়া ও মূত্র সংক্রমণ রোগেও ভুগছিলেন।"
-answer = generate_response(question, context)
-print(answer)
+instruction = "ভারতীয় বাঙালি কথাসাহিত্যিক মহাশ্বেতা দেবীর মৃত্যু কবে হয়?"
+context = (
+    "২০১৬ সালের ২৩ জুলাই হৃদরোগে আক্রান্ত হয়ে মহাশ্বেতা দেবী কলকাতার বেল ভিউ ক্লিনিকে ভর্তি হন। "
+    "সেই বছরই ২৮ জুলাই একাধিক অঙ্গ বিকল হয়ে তাঁর মৃত্যু ঘটে। তিনি মধুমেহ, সেপ্টিসেমিয়া ও মূত্র সংক্রমণ রোগেও ভুগছিলেন।"
+)
+answer = generate_response(instruction, context)
+print("উত্তর:", answer)
+```
+
+**Output:**
 ```
+উত্তর: মহাশ্বেতা দেবী ২৮ জুলাই ২০১৬ সালে মৃত্যুবরণ করেন।
+```
+
+## Limitations
+
+- **Dataset Size:** Trained on a limited dataset, which may affect response accuracy.
+- **Factuality:** May generate incorrect or nonsensical answers.
+- **Language Support:** Primarily optimized for Bengali; performance may vary for other languages.
+
+## Disclaimer
 
+The **Bangla LLaMA 1B-4bit** model's performance depends on the quality and diversity of the training data. Users should verify the information generated, especially for critical applications.
 
-# Disclaimer:
+## Additional Resources
 
-The Bangla LLaMA model has been trained on a limited dataset, and its responses may not always be perfect or accurate. The model's performance is dependent on the quality and quantity of the data it has been trained on. Given more resources, such as high-quality data and longer training time, the model's performance can be significantly improved.
+- **Hugging Face Model Page:** [asif00/bangla-llama-1B-4bit](https://huggingface.co/asif00/bangla-llama-1B-4bit)
+- **Hugging Face Dataset:** [OdiaGenAI/all_combined_bengali_252k](https://huggingface.co/datasets/OdiaGenAI/all_combined_bengali_252k)
+- **Transformers Documentation:** [https://huggingface.co/docs/transformers](https://huggingface.co/docs/transformers)
+- **bitsandbytes Repository:** [https://github.com/TimDettmers/bitsandbytes](https://github.com/TimDettmers/bitsandbytes)