Upload 5 files

.streamlit/config.toml

@@ -0,0 +1,3 @@
+[theme]
+base="light"
+primaryColor="#29B4E8"

Demo.py

@@ -0,0 +1,204 @@
+import streamlit as st
+import sparknlp
+import os
+import pandas as pd
+
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from sparknlp.pretrained import PretrainedPipeline
+from annotated_text import annotated_text
+
+# Page configuration
+st.set_page_config(
+    layout="wide", 
+    initial_sidebar_state="auto"
+)
+
+# CSS for styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 10px;
+            border-radius: 10px;
+            margin-top: 10px;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+@st.cache_resource
+def init_spark():
+    return sparknlp.start()
+
+@st.cache_resource
+def create_pipeline(model):
+    documentAssembler = DocumentAssembler() \
+        .setInputCol("text") \
+        .setOutputCol("document")
+
+    sentenceDetector = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "xx") \
+        .setInputCols(["document"]) \
+        .setOutputCol("sentence")
+
+    tokenizer = Tokenizer() \
+        .setInputCols(["sentence"]) \
+        .setOutputCol("token")
+
+    tokenClassifier = BertForTokenClassification.pretrained("bert_ner_bert_base_arabic_camelbert_mix_ner", "ar") \
+        .setInputCols(["sentence", "token"]) \
+        .setOutputCol("ner")
+
+    ner_converter = NerConverter()\
+        .setInputCols(["document", "token", "ner"])\
+        .setOutputCol("ner_chunk")
+
+    pipeline = Pipeline(stages=[documentAssembler, sentenceDetector, tokenizer, tokenClassifier])
+    return pipeline
+
+def fit_data(pipeline, data):
+  empty_df = spark.createDataFrame([['']]).toDF('text')
+  pipeline_model = pipeline.fit(empty_df)
+  model = LightPipeline(pipeline_model)
+  result = model.fullAnnotate(data)
+  return result
+
+def annotate(data):
+    document, chunks, labels = data["Document"], data["NER Chunk"], data["NER Label"]
+    annotated_words = []
+    for chunk, label in zip(chunks, labels):
+        parts = document.split(chunk, 1)
+        if parts[0]:
+            annotated_words.append(parts[0])
+        annotated_words.append((chunk, label))
+        document = parts[1]
+    if document:
+        annotated_words.append(document)
+    annotated_text(*annotated_words)
+
+# Set up the page layout
+st.markdown('<div class="main-title">Recognize entities in Arabic text</div>', unsafe_allow_html=True)
+st.markdown('<div class="section"><p>Recognize Persons, Locations an Organization entities using an out of the box pretrained Deep Learning model.</p></div>', unsafe_allow_html=True)
+
+# Sidebar content
+model = st.sidebar.selectbox(
+    "Choose the pretrained model",
+    ["bert_ner_bert_base_arabic_camelbert_mix_ner"],
+    help="For more info about the models visit: https://sparknlp.org/models"
+)
+
+# Reference notebook link in sidebar
+link = """
+<a href="https://colab.research.google.com/github/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/streamlit_notebooks/public/NER_AR.ipynb">
+    <img src="https://colab.research.google.com/assets/colab-badge.svg" style="zoom: 1.3" alt="Open In Colab"/>
+</a>
+"""
+st.sidebar.markdown('Reference notebook:')
+st.sidebar.markdown(link, unsafe_allow_html=True)
+
+# Load examples
+examples = [
+    """
+    كانت مدينة بغداد، العاصمة الحالية للعراق، مركزاً ثقافياً وحضارياً عظيماً في العصور الوسطى. تأسست في القرن الثامن الميلادي على يد الخليفة العباسي أبو جعفر المنصور. 
+    كانت بغداد مدينة المعرفة والعلم، حيث توافد إليها العلماء والفلاسفة من كل أنحاء العالم الإسلامي للدراسة في بيت الحكمة. كانت مكتباتها تحتوي على آلاف المخطوطات النادرة، 
+    وكانت تشتهر بمدارسها العلمية والطبية والفلكية. في عام 1258، سقطت بغداد في يد المغول بقيادة هولاكو خان، مما أدى إلى تدمير جزء كبير من المدينة وخسارة العديد من النفائس.
+    """,
+    
+    """
+    يُعتبر نهر النيل أطول نهر في العالم، حيث يمتد من وسط إفريقيا إلى شمالها ليصب في البحر الأبيض المتوسط. يمر النيل عبر العديد من الدول الأفريقية مثل أوغندا، إثيوبيا، السودان، ومصر.
+    يعتبر النيل شريان الحياة في مصر منذ آلاف السنين، حيث يعتمد المصريون على مياهه في الزراعة والصناعة والاستخدامات اليومية. بالإضافة إلى ذلك، لعب النيل دوراً كبيراً في نشوء 
+    الحضارات القديمة في مصر، مثل الحضارة الفرعونية التي ازدهرت في عهد الملك رمسيس الثاني والملكة نفرتيتي. يعد سد أسوان العالي الذي بُني في الستينيات من القرن العشرين من أهم المشاريع 
+    الهندسية على النيل.
+    """,
+    
+    """
+    يُعد المسجد الحرام في مكة المكرمة من أقدس الأماكن في الإسلام، حيث يأتي المسلمون من جميع أنحاء العالم لأداء فريضة الحج والعمرة. يحيط بالمسجد الحرام الكعبة المشرفة، والتي تعتبر 
+    القبلة التي يتوجه نحوها المسلمون في صلاتهم. يقع المسجد الحرام في وسط مكة، وتحيط به العديد من الفنادق والأسواق التي تخدم الحجاج والزوار. تقوم الحكومة السعودية بتوسيع وتطوير 
+    المسجد الحرام بشكل مستمر لاستيعاب الأعداد المتزايدة من الزوار. في عام 2019، وصل عدد الحجاج إلى أكثر من مليوني حاج من مختلف الدول.
+    """,
+    
+    """
+    تُعد دمشق، عاصمة سوريا، واحدة من أقدم المدن المأهولة في العالم. يعود تاريخها إلى آلاف السنين قبل الميلاد، وقد شهدت تعاقب العديد من الحضارات العظيمة مثل الآرامية والرومانية والإسلامية.
+    تُعتبر دمشق مركزاً ثقافياً وفنياً مهماً في الشرق الأوسط، حيث تضم العديد من المعالم التاريخية مثل المسجد الأموي وسوق الحميدية. كما تشتهر دمشق بصناعاتها التقليدية مثل صناعة الحلويات 
+    الدمشقية والنسيج. خلال فترة الحروب الصليبية، كانت دمشق مركزاً للمقاومة بقيادة صلاح الدين الأيوبي.
+    """,
+    
+    """
+    في عام 1971، تأسست دولة الإمارات العربية المتحدة بقيادة الشيخ زايد بن سلطان آل نهيان. تتألف الإمارات من سبع إمارات هي أبوظبي، دبي، الشارقة، عجمان، أم القيوين، رأس الخيمة، والفجيرة. 
+    حققت الإمارات تطوراً اقتصادياً كبيراً بفضل ثرواتها النفطية، بالإضافة إلى تنويع الاقتصاد من خلال الاستثمار في قطاعات السياحة والتجارة والطيران. تُعد مدينة دبي مركزاً عالمياً للأعمال 
+    والسياحة، وتشتهر بمعالمها الرائعة مثل برج خليفة، أطول برج في العالم، وبرج العرب. في عام 2020، استضافت دبي معرض إكسبو 2020 الذي جذب ملايين الزوار من جميع أنحاء العالم.
+    """,
+    
+    """
+    يُعتبر الفيلسوف ابن سينا، المعروف في الغرب باسم "Avicenna"، واحداً من أعظم العلماء في التاريخ الإسلامي. وُلِد في بخارى، التي تقع في أوزبكستان الحالية، عام 980 ميلادية. 
+    ألَّف ابن سينا أكثر من 450 كتاباً في مجالات متعددة، من بينها الطب والفلسفة والعلوم الطبيعية. يُعتبر كتابه "القانون في الطب" مرجعاً مهماً في تاريخ الطب، وقد استخدم في الجامعات الأوروبية 
+    لعدة قرون. عاش ابن سينا في فترة الدولة السامانية، وقضى معظم حياته متنقلاً بين المدن الكبرى في العالم الإسلامي، مثل الري وأصفهان.
+    """,
+    
+    """
+    تُعد شركة أرامكو السعودية واحدة من أكبر شركات النفط في العالم. تأسست الشركة في الثلاثينيات من القرن العشرين، وأصبحت اليوم عملاقاً في صناعة النفط والطاقة. تتولى أرامكو عمليات التنقيب 
+    والإنتاج والتكرير والتوزيع، ولديها شبكة واسعة من المنشآت والمشاريع في المملكة العربية السعودية وحول العالم. في عام 2019، قامت الشركة بطرح عام أولي (IPO) وجمعت مليارات الدولارات 
+    من المستثمرين العالميين. تعتبر أرامكو لاعباً رئيسياً في سوق الطاقة العالمي، وتساهم بشكل كبير في اقتصاد المملكة.
+    """,
+    
+    """
+    في عام 2022، أعلنت منظمة الصحة العالمية (WHO) عن اكتشاف فيروس جديد يسبب مرضاً تنفسياً حاداً، أُطلق عليه اسم "كوفيد-19". انتشر الفيروس بسرعة في جميع أنحاء العالم، مما أدى إلى 
+    إعلان جائحة عالمية. عملت الدول على تطوير لقاحات للحد من انتشار الفيروس، وكان من أبرز هذه اللقاحات لقاح "فايزر-بيونتيك" ولقاح "موديرنا". أثرت الجائحة على جميع جوانب الحياة، 
+    مما دفع الحكومات إلى فرض إجراءات احترازية مثل الإغلاق والتباعد الاجتماعي.
+    """,
+    
+    """
+    تأسست منظمة الأمم المتحدة (UN) في عام 1945 بعد نهاية الحرب العالمية الثانية، بهدف الحفاظ على السلام والأمن الدوليين وتعزيز التعاون الدولي. تضم المنظمة اليوم 193 دولة عضواً، 
+    وتعمل من خلال وكالاتها المتعددة مثل اليونسكو (UNESCO) ومنظمة الصحة العالمية (WHO) وبرنامج الأمم المتحدة الإنمائي (UNDP). يقع مقر الأمم المتحدة الرئيسي في نيويورك، وتقوم المنظمة 
+    بعقد مؤتمرات وقمم دولية لمناقشة القضايا العالمية مثل تغير المناخ وحقوق الإنسان والتنمية المستدامة.
+    """,
+    
+    """
+    يُعد الكاتب المصري نجيب محفوظ واحداً من أشهر الأدباء في العالم العربي. وُلِد في القاهرة عام 1911، وحصل على جائزة نوبل للأدب في عام 1988. كتب محفوظ العديد من الروايات الشهيرة 
+    التي تناولت قضايا المجتمع المصري والتحولات التي شهدها خلال القرن العشرين. من أبرز أعماله "الثلاثية" التي تضم روايات "بين القصرين"، "قصر الشوق"، و"السكرية". تُرجمَت أعماله 
+    إلى العديد من اللغات، وأثرت بشكل كبير على الأدب العربي والعالمي.
+    """
+]
+
+selected_text = st.selectbox("Select an example", examples)
+custom_input = st.text_input("Try it with your own Sentence!")
+
+text_to_analyze = custom_input if custom_input else selected_text
+
+st.subheader('Full example text')
+HTML_WRAPPER = """<div class="scroll entities" style="overflow-x: auto; border: 1px solid #e6e9ef; border-radius: 0.25rem; padding: 1rem; margin-bottom: 2.5rem; white-space:pre-wrap">{}</div>"""
+st.markdown(HTML_WRAPPER.format(text_to_analyze), unsafe_allow_html=True)
+
+# Initialize Spark and create pipeline
+spark = init_spark()
+pipeline = create_pipeline(model)
+output = fit_data(pipeline, text_to_analyze)
+
+# Display matched sentence
+st.subheader("Processed output:")
+
+results = {
+    'Document': output[0]['document'][0].result,
+    'NER Chunk': [n.result for n in output[0]['ner_chunk']],
+    "NER Label": [n.metadata['entity'] for n in output[0]['ner_chunk']]
+}
+
+annotate(results)
+
+with st.expander("View DataFrame"):
+    df = pd.DataFrame({'NER Chunk': results['NER Chunk'], 'NER Label': results['NER Label']})
+    df.index += 1
+    st.dataframe(df)
+
+
+
+

Dockerfile

@@ -0,0 +1,70 @@
+# Download base image ubuntu 18.04
+FROM ubuntu:18.04
+
+# Set environment variables
+ENV NB_USER jovyan
+ENV NB_UID 1000
+ENV HOME /home/${NB_USER}
+
+# Install required packages
+RUN apt-get update && apt-get install -y \
+    tar \
+    wget \
+    bash \
+    rsync \
+    gcc \
+    libfreetype6-dev \
+    libhdf5-serial-dev \
+    libpng-dev \
+    libzmq3-dev \
+    python3 \
+    python3-dev \
+    python3-pip \
+    unzip \
+    pkg-config \
+    software-properties-common \
+    graphviz \
+    openjdk-8-jdk \
+    ant \
+    ca-certificates-java \
+    && apt-get clean \
+    && update-ca-certificates -f;
+
+# Install Python 3.8 and pip
+RUN add-apt-repository ppa:deadsnakes/ppa \
+    && apt-get update \
+    && apt-get install -y python3.8 python3-pip \
+    && apt-get clean;
+
+# Set up JAVA_HOME
+ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/
+RUN mkdir -p ${HOME} \
+    && echo "export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/" >> ${HOME}/.bashrc \
+    && chown -R ${NB_UID}:${NB_UID} ${HOME}
+
+# Create a new user named "jovyan" with user ID 1000
+RUN useradd -m -u ${NB_UID} ${NB_USER}
+
+# Switch to the "jovyan" user
+USER ${NB_USER}
+
+# Set home and path variables for the user
+ENV HOME=/home/${NB_USER} \
+    PATH=/home/${NB_USER}/.local/bin:$PATH
+
+# Set the working directory to the user's home directory
+WORKDIR ${HOME}
+
+# Upgrade pip and install Python dependencies
+RUN python3.8 -m pip install --upgrade pip
+COPY requirements.txt /tmp/requirements.txt
+RUN python3.8 -m pip install -r /tmp/requirements.txt
+
+# Copy the application code into the container at /home/jovyan
+COPY --chown=${NB_USER}:${NB_USER} . ${HOME}
+
+# Expose port for Streamlit
+EXPOSE 7860
+
+# Define the entry point for the container
+ENTRYPOINT ["streamlit", "run", "Demo.py", "--server.port=7860", "--server.address=0.0.0.0"]

pages/Workflow & Model Overview.py

@@ -0,0 +1,199 @@
+import streamlit as st
+import pandas as pd
+
+# Custom CSS for better styling
+st.markdown("""
+    <style>
+        .main-title {
+            font-size: 36px;
+            color: #4A90E2;
+            font-weight: bold;
+            text-align: center;
+        }
+        .sub-title {
+            font-size: 24px;
+            color: #4A90E2;
+            margin-top: 20px;
+        }
+        .section {
+            background-color: #f9f9f9;
+            padding: 15px;
+            border-radius: 10px;
+            margin-top: 20px;
+        }
+        .section h2 {
+            font-size: 22px;
+            color: #4A90E2;
+        }
+        .section p, .section ul {
+            color: #666666;
+        }
+        .link {
+            color: #4A90E2;
+            text-decoration: none;
+        }
+    </style>
+""", unsafe_allow_html=True)
+
+# Main Title
+st.markdown('<div class="main-title">Arabic Named Entity Recognition - BERT-based Model</div>', unsafe_allow_html=True)
+
+# Introduction
+st.markdown("""
+<div class="section">
+    <p>Named Entity Recognition (NER) models identify and categorize important entities in a text. This page details a BERT-based NER model for Arabic texts, including Modern Standard Arabic (MSA), Dialectal Arabic (DA), and Classical Arabic (CA). The model is pretrained and available on Hugging Face, then imported into Spark NLP.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# Model Description
+st.markdown('<div class="sub-title">Description</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>bert_ner_bert_base_arabic_camelbert_mix_ner</code> model is pretrained for Arabic named entity recognition, originally trained by CAMeL-Lab. It can identify the following types of entities:</p>
+    <ul>
+        <li>ORG (Organization)</li>
+        <li>LOC (Location)</li>
+        <li>PERS (Person)</li>
+        <li>MISC (Miscellaneous)</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Setup Instructions
+st.markdown('<div class="sub-title">Setup</div>', unsafe_allow_html=True)
+st.markdown('<p>To use the model, you need Spark NLP installed. You can install it using pip:</p>', unsafe_allow_html=True)
+st.code("""
+pip install spark-nlp
+pip install pyspark
+""", language="bash")
+
+st.markdown("<p>Then, import Spark NLP and start a Spark session:</p>", unsafe_allow_html=True)
+st.code("""
+import sparknlp
+
+# Start Spark Session
+spark = sparknlp.start()
+""", language='python')
+
+# Example Usage
+st.markdown('<div class="sub-title">Example Usage with Arabic NER Model</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>Below is an example of how to set up and use the <code>bert_ner_bert_base_arabic_camelbert_mix_ner</code> model for named entity recognition in Arabic:</p>
+</div>
+""", unsafe_allow_html=True)
+st.code('''
+from sparknlp.base import *
+from sparknlp.annotator import *
+from pyspark.ml import Pipeline
+from pyspark.sql.functions import col, expr, round, concat, lit, explode
+
+# Define the components of the pipeline
+documentAssembler = DocumentAssembler() \\
+    .setInputCol("text") \\
+    .setOutputCol("document")
+
+sentenceDetector = SentenceDetectorDLModel.pretrained("sentence_detector_dl", "xx") \\
+    .setInputCols(["document"]) \\
+    .setOutputCol("sentence")
+
+tokenizer = Tokenizer() \\
+    .setInputCols(["sentence"]) \\
+    .setOutputCol("token")
+
+tokenClassifier = BertForTokenClassification.pretrained("bert_ner_bert_base_arabic_camelbert_mix_ner", "ar") \\
+    .setInputCols(["sentence", "token"]) \\
+    .setOutputCol("ner")
+
+ner_converter = NerConverter()\\
+    .setInputCols(["document", "token", "ner"])\\
+    .setOutputCol("ner_chunk")
+
+# Create the pipeline
+pipeline = Pipeline(stages=[documentAssembler, sentenceDetector, tokenizer, tokenClassifier, ner_converter])
+
+# Create sample data
+example = """
+كانت مدينة بغداد، العاصمة الحالية للعراق، مركزاً ثقافياً وحضارياً عظيماً في العصور الوسطى. تأسست في القرن الثامن الميلادي على يد الخليفة العباسي أبو جعفر المنصور. 
+كانت بغداد مدينة المعرفة والعلم، حيث توافد إليها العلماء والفلاسفة من كل أنحاء العالم الإسلامي للدراسة في بيت الحكمة. كانت مكتباتها تحتوي على آلاف المخطوطات النادرة، 
+وكانت تشتهر بمدارسها العلمية والطبية والفلكية. في عام 1258، سقطت بغداد في يد المغول بقيادة هولاكو خان، مما أدى إلى تدمير جزء كبير من المدينة وخسارة العديد من النفائس.
+"""
+data = spark.createDataFrame([[example]]).toDF("text")
+
+# Fit and transform data with the pipeline
+result = pipeline.fit(data).transform(data)
+
+# Select the result, entity
+result.select(
+    expr("explode(ner_chunk) as ner_chunk")
+).select(
+    col("ner_chunk.result").alias("chunk"),
+    col("ner_chunk.metadata").getItem("entity").alias("ner_label")
+).show(truncate=False)
+''', language="python")
+
+# Data for the DataFrame
+data = {
+    "chunk": ["جعفر المنصور", "بغداد", "بغداد", "هولاكو"],
+    "ner_label": ["PERS", "LOC", "LOC", "PERS"]
+}
+
+# Creating the DataFrame
+df = pd.DataFrame(data)
+df.index += 1
+st.dataframe(df)
+
+# Model Information
+st.markdown('<div class="sub-title">Model Information</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>The <code>bert_ner_bert_base_arabic_camelbert_mix_ner</code> model details are as follows:</p>
+    <ul>
+        <li><strong>Model Name:</strong> bert_ner_bert_base_arabic_camelbert_mix_ner</li>
+        <li><strong>Compatibility:</strong> Spark NLP 3.4.2+</li>
+        <li><strong>License:</strong> Open Source</li>
+        <li><strong>Edition:</strong> Official</li>
+        <li><strong>Input Labels:</strong> [document, token]</li>
+        <li><strong>Output Labels:</strong> [ner]</li>
+        <li><strong>Language:</strong> ar</li>
+        <li><strong>Size:</strong> 407.3 MB</li>
+        <li><strong>Case sensitive:</strong> true</li>
+        <li><strong>Max sentence length:</strong> 128</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Summary
+st.markdown('<div class="sub-title">Summary</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <p>This page provided an overview of the <code>bert_ner_bert_base_arabic_camelbert_mix_ner</code> model for Arabic NER. We discussed how to set up and use the model with Spark NLP, including example code and results. We also provided details on the model's specifications and links to relevant resources for further exploration.</p>
+</div>
+""", unsafe_allow_html=True)
+
+# References
+st.markdown('<div class="sub-title">Model References</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://huggingface.co/CAMeL-Lab/bert-base-arabic-camelbert-mix-ner" target="_blank" rel="noopener">Hugging Face Model Page</a></li>
+        <li><a class="link" href="https://camel.abudhabi.nyu.edu/anercorp/" target="_blank" rel="noopener">ANERcorp</a></li>
+        <li><a class="link" href="https://arxiv.org/abs/2103.06678" target="_blank" rel="noopener">Research Paper</a></li>
+        <li><a class="link" href="https://github.com/CAMeL-Lab/CAMeLBERT" target="_blank" rel="noopener">CAMeLBERT GitHub</a></li>
+        <li><a class="link" href="https://github.com/CAMeL-Lab/camel_tools" target="_blank" rel="noopener">CAMeL Tools GitHub</a></li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+
+# Community & Support
+st.markdown('<div class="sub-title">Community & Support</div>', unsafe_allow_html=True)
+st.markdown("""
+<div class="section">
+    <ul>
+        <li><a class="link" href="https://sparknlp.org/" target="_blank">Official Website</a>: Documentation and examples</li>
+        <li><a class="link" href="https://github.com/JohnSnowLabs/spark-nlp" target="_blank">GitHub Repository</a>: Report issues or contribute</li>
+        <li><a class="link" href="https://forum.johnsnowlabs.com/" target="_blank">Community Forum</a>: Ask questions, share ideas, and get support</li>
+    </ul>
+</div>
+""", unsafe_allow_html=True)
+

requirements.txt

@@ -0,0 +1,6 @@
+streamlit
+st-annotated-text
+pandas
+numpy
+spark-nlp
+pyspark