import pandas as pd from PIL import Image import streamlit as st from streamlit_drawable_canvas import st_canvas import numpy as np from keras.models import load_model from keras.preprocessing import image import keras.utils as image import cv2 from data import Getdetail st.title('JLPTN5 handwriting Kanji recognition.') labels = ['一', '七', '万', '三', '上', '下', '中', '九', '二', '五', '人', '今', '休', '何', '先', '入', '八', '六', '円', '出', '分', '前', '北', '十', '千', '午', '半', '南', '友', '右', '名', '四', '国', '土', '外', '大', '天', '女', '子', '学', '小', '山', '川', '左', '年', '後', '日', '明', '時', '書', '月', '木', '本', '来', '東', '校', '母', '毎', '気', '水', '火', '父', '生', '男', '白', '百', '聞', '行', '西', '見', '話', '語', '読', '車', '金', '長', '間', '雨', '電', '食', '高'] model = load_model("./vgg16_unfreeze3.h5") st.sidebar.title("NihonGO !") st.sidebar.caption("Handwriting kanji recognition system.") options = ("Sketchpad input", "Image input", "about JLPTN5", "about NihonGO !") choice = st.sidebar.selectbox("Select input options",options) st.sidebar.caption("Dev by : Tanaanan Chalermpan") st.sidebar.caption("Computer Science Kasetsart U. Thailand") def predict_img_sketch(img_path): st.write("Predicted result.") if img_path is not None: img = Image.fromarray(img_path) # use pillow to load a image img = img.convert('L') img = np.array(img) # convert img to an array ret, thresh1 = cv2.threshold(img, 110, 255, cv2.THRESH_BINARY) # Apply binary threshold thresh1 = cv2.cvtColor(thresh1, cv2.COLOR_GRAY2RGB) # Convert back to RGB img_array = cv2.resize(thresh1, (120, 120)) # Resize the image img_array = np.expand_dims(img_array, axis=0) preds = model.predict(img_array) return preds def image_display(img_path): st.write("Predicted image.") if img_path is not None: img = Image.open(img_path) img = img.resize((120,120)).convert('L') st.image(img, caption='Uploaded Image', use_column_width=True) def predict_img_input(img_path): st.write("Predicted result.") if img_path is not None: img = Image.open(img_path) # use pillow to load a image img = img.convert('L') img = np.array(img) # convert img to an array ret, thresh1 = cv2.threshold(img, 110, 255, cv2.THRESH_BINARY) # Apply binary threshold thresh1 = cv2.cvtColor(thresh1, cv2.COLOR_GRAY2RGB) # Convert back to RGB img_array = cv2.resize(thresh1, (120, 120)) # Resize the image img_array = np.expand_dims(img_array, axis=0) preds = model.predict(img_array) return preds if choice == "Sketchpad input": col1,col2 = st.columns(2) with col2: stroke_width = st.slider("Stroke width: ", 8, 25, 8) with col1: # ref : https://github.com/andfanilo/streamlit-drawable-canvas canvas_result = st_canvas( fill_color="rgba(255, 165, 0, 0.3)", # Fixed fill color with some opacity stroke_width=stroke_width, stroke_color="#000000", # stroke to black background_color="#FFFFFF", # background to write background_image= None, update_streamlit=False, height=300, width=300, drawing_mode="freedraw", point_display_radius=0, key="canvas", ) # Do something interesting with the image data and paths if canvas_result.image_data is not None: st.image(canvas_result.image_data, caption='display_show') with col2: # check if sketchinput is empty from len json_data is_empty = 0 if canvas_result.image_data is not None: # beware of slow loading is_empty = canvas_result.json_data["objects"] # need to convert obj to str because PyArrow if is_empty: # display prediction pred_raw = predict_img_sketch(canvas_result.image_data) if pred_raw is not None: pred_class, accuracy = labels[np.argmax(pred_raw)], np.max(pred_raw)*100 st.write(f"Class : {labels[np.argmax(pred_raw)]}") st.write(f"with probability : {accuracy:.2f} %") st.divider() strokes = Getdetail()[pred_class]['Strokes'] meaning = Getdetail()[pred_class]['Meaning'] onyoumi = Getdetail()[pred_class]['Onyoumi'] kunyomi = Getdetail()[pred_class]['Kunyoumi'] link_ref = Getdetail()[pred_class]['Reference'] st.write(f"Strokes : {strokes}") st.write(f"Meaning : {meaning.capitalize()}") st.write(f"Onyoumi : {onyoumi}") st.write(f"Kunyoumi : {kunyomi}") st.write(f"for more detail : [Shirabe jisho]({link_ref})") elif choice == "Image input": upload_img = st.file_uploader("Choose a kanji image", type=['.jpg', '.png', '.jpeg']) col1,col2 = st.columns(2) with col1: image_display(upload_img) with col2: # display prediction pred_raw = predict_img_input(upload_img) if pred_raw is not None: pred_class, accuracy = labels[np.argmax(pred_raw)], np.max(pred_raw)*100 st.write(f"Class : {labels[np.argmax(pred_raw)]}") st.write(f"with probability : {accuracy:.2f} %") st.write('---------------------------------------') strokes = Getdetail()[pred_class]['Strokes'] meaning = Getdetail()[pred_class]['Meaning'] onyoumi = Getdetail()[pred_class]['Onyoumi'] kunyomi = Getdetail()[pred_class]['Kunyoumi'] link_ref = Getdetail()[pred_class]['Reference'] st.write(f"Strokes : {strokes}") st.write(f"Meaning : {meaning.capitalize()}") st.write(f"Onyoumi : {onyoumi}") st.write(f"Kunyoumi : {kunyomi}") st.write(f"for more detail : [Shirabe jisho]({link_ref})") elif choice == "about JLPTN5": df = pd.read_csv('./passjapanesetest.com_N5_Kanji.csv', encoding='cp932') st.subheader("JLPT คืออะไร") detail_1 = '''ย่อมาจาก Japanese Language Proficiency Test การสอบวัดระดับภาษาญี่ปุ่น คือ การสอบที่จัดขึ้นเพื่อวัดความสามารถทางภาษาญี่ปุ่น ของชาวต่างชาติผู้เรียนภาษาญี่ปุ่น การสอบวัดระดับภาษาญี่ปุ่นครั้งแรก จัดขึ้นในปี ค.ศ. 1984 มีผู้สมัครสอบ 7,998 คน และมีผู้สมัครสอบเพิ่มขึ้นมากทุกปี สถิติในปี ค.ศ. 2019 มีผู้สมัครสอบถึง 1,362,167 คนทั่วโลก''' st.markdown(detail_1) st.markdown('''- โดยระดับ N5 ถือเป็นระดับที่ง่ายที่สุดในการสอบ แต่พาร์ทที่หินที่สุดส่วนหนึ่งก็คือ พาร์ท คันจิ N5 ***ผู้พัฒนาจึงสร้างระบบที่วิเคราะห์ตัวอักษรคันจิได้จากลายมือเขียน เพื่อที่จะเป็นตัวช่วยหนึ่งในการให้ผู้ใช้งานได้ใช้ในการฝึกฝนได้***''') st.caption("List of JLPTN5 Kanji") st.write(df) st.caption('ref : [jeducation](https://jeducation.com/main/education/jlpt/) , [passjapanesetest](http://www.passjapanesetest.com/jlpt-n5-kanji-list/)') elif choice == "about NihonGO !": st.subheader("NihonGO ! คืออะไร") detail_2 = """NihonGO ! : เป็นระบบที่ใช้ในการวิเคราะห์ตัวอักษรคันจิจากลายมือเขียนโดยอัติโนมัติ โดยใช้หลักการของ Deep learning (Convolutional Neural Network) ในการแยกแยะตัวอักษรคันจิ เพื่อใช้เป็นตัวช่วยในการฝึกฝนการเขียนคันจิ และเป็นตัวช่วยในการฝึกฝนในการเตรียมสอบวัดระดับ JLPT""" st.markdown(detail_2) st.caption("Development.") st.markdown("- JLPTN5 : ระบบสามารถแยกแยะคันจิจำนวน 80 ตัวพื้นฐานตามเนื้อหาคันจิจากการสอบวัดระดับ JLPTN5") st.image('total_kanji.png', caption='JLPTN5 Kanji detail') st.subheader("Feature") st.markdown(""" 1. บอกคันจิที่ระบบตรวจจับได้พร้อมกับค่าความเชื่อมั่น (probability score.) 2. จำนวนเส้น stroke ที่ใช้ในการเขียนคันจิ 3. เสียงอ่านแบบ Onyoumi กับ Kunyoumi พร้อมกับตัวอักษร Romanji 4. Link เนื้อหาเพิ่มเติมโดยระเอียดกับ website Shirabe jisho""") st.subheader("Guideline") st.markdown(""" - เพื่อความแม่นยำของระบบ ตอนนำข้อมูลรูปภาพเข้า หรือเขียนในระบบแนะนำให้ผู้ใช้งานเขียนตัวคันจิให้อยู่ตรงกลาง และมีขนาดที่ใหญ่พอดีกับขนาดของกรอบ""") st.caption("ref : [kanshudo](https://www.kanshudo.com/collections/jlpt_kanji)")