Update job_recommendation_inference.py

job_recommendation_inference.py

@@ -1,58 +1,75 @@
-import torch
-from transformers import AutoTokenizer, AutoModelForSequenceClassification
-
-# Đường dẫn tới mô hình trên Hugging Face Hub
-model_name = "trangannh/ptit-job-recommendation"
-
-# Khởi tạo tokenizer và mô hình từ tên mô hình trên Hugging Face
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSequenceClassification.from_pretrained(model_name)
-
-# Hàm dự đoán công việc dựa trên kỹ năng cứng, kỹ năng mềm và ngành nghề
-def recommend_jobs(input_hard_skills, input_soft_skills, input_major, top_n=3):
-    # Chuẩn bị input cho mô hình
-    inputs = {
-        "hard_skills": input_hard_skills,
-        "soft_skills": input_soft_skills,
-        "major": input_major
-    }
-    
-    # Tiền xử lý và mã hóa input
-    encoded_input = tokenizer.encode_plus(
-        inputs["hard_skills"],  # Kỹ năng cứng
-        inputs["soft_skills"],  # Kỹ năng mềm
-        inputs["major"],        # Ngành nghề
-        add_special_tokens=True,
-        return_tensors="pt"
-    )
-    
-    # Dự đoán
-    with torch.no_grad():
-        outputs = model(**encoded_input)
-    
-    # Lấy giá trị dự đoán và sắp xếp theo thứ tự giảm dần
-    logits = outputs.logits[0].tolist()
-    sorted_indices = sorted(range(len(logits)), key=lambda k: logits[k], reverse=True)
-    
-    # Lấy top N công việc gợi ý
-    recommended_jobs = []
-    for i in range(min(top_n, len(sorted_indices))):
-        job_index = sorted_indices[i]
-        recommended_jobs.append(tokenizer.decode(job_index))
-    
-    return recommended_jobs
-
-# Hướng dẫn sử dụng
+import numpy as np
+import pandas as pd
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.metrics.pairwise import cosine_similarity
+
+# Load data (assuming your data loading and preprocessing are handled elsewhere)
+
+def recommend_jobs_for_input_skills(input_hard_skills, input_soft_skills, input_major, companies, tfidf_vectorizer_skills, tfidf_vectorizer_majors, companies_skills_vec, companies_majors_vec):
+    input_hard_skills_vec = tfidf_vectorizer_skills.transform([input_hard_skills])
+    input_soft_skills_vec = tfidf_vectorizer_skills.transform([input_soft_skills])
+    input_major_vec = tfidf_vectorizer_majors.transform([input_major])
+
+    # Average the vectorized hard and soft skills
+    input_skills_vec = (input_hard_skills_vec + input_soft_skills_vec) / 2
+
+    # Compute similarities
+    skills_similarity = cosine_similarity(input_skills_vec, companies_skills_vec)
+    major_similarity = cosine_similarity(input_major_vec, companies_majors_vec)
+
+    # Ensure the number of companies in both similarities is aligned
+    if skills_similarity.shape[1] != major_similarity.shape[1]:
+        min_dim = min(skills_similarity.shape[1], major_similarity.shape[1])
+        skills_similarity = skills_similarity[:, :min_dim]
+        major_similarity = major_similarity[:, :min_dim]
+
+    # Combine similarities
+    combined_similarity = (skills_similarity + major_similarity) / 2
+
+    # Get top 3 job recommendations
+    sorted_company_indices = np.argsort(-combined_similarity[0])
+    recommended_companies = companies.iloc[sorted_company_indices]['Major'].values[:3]
+
+    return recommended_companies
+
+# Example usage if run as a script
 if __name__ == "__main__":
-    # Input từ người dùng (có thể làm thay đổi để phù hợp với nhu cầu thực tế)
-    input_hard_skills = input("Nhập kỹ năng cứng của bạn: ")
-    input_soft_skills = input("Nhập kỹ năng mềm của bạn: ")
-    input_major = input("Nhập ngành nghề của bạn: ")
-    
-    # Gợi ý công việc
-    recommended_jobs = recommend_jobs(input_hard_skills, input_soft_skills, input_major)
-    
-    # In kết quả
-    print(f"Các công việc được gợi ý cho bạn:")
-    for i, job in enumerate(recommended_jobs, start=1):
-        print(f"{i}. {job}")
+    # Load necessary data (you may need to adjust paths based on your actual data location)
+    users_data = "1st_train.csv"
+    applicants = pd.read_csv(users_data)
+
+    jobs_data = "jobs_data.csv"
+    companies = pd.read_csv(jobs_data)
+
+    # Preprocess data as needed
+
+    # Vectorize skills and majors
+    tfidf_vectorizer_skills = TfidfVectorizer()
+    tfidf_vectorizer_majors = TfidfVectorizer()
+
+    # Fit vectorizers on all skills and majors
+    all_skills = pd.concat([applicants['final_hard_skill'], applicants['final_soft_skill'],
+                            companies['final_hard_skill'], companies['final_soft_skill']])
+    all_majors = pd.concat([applicants['candidate_field'], companies['Major']])
+
+    all_skills_vectorized = tfidf_vectorizer_skills.fit_transform(all_skills)
+    all_majors_vectorized = tfidf_vectorizer_majors.fit_transform(all_majors)
+
+    # Split the TF-IDF vectors back into applicants and companies
+    num_applicants = len(applicants)
+    num_companies = len(companies)
+
+    applicants_skills_vectorized = all_skills_vectorized[:num_applicants*2]  # because each applicant has 2 skill entries
+    companies_skills_vectorized = all_skills_vectorized[num_applicants*2:]
+
+    applicants_majors_vectorized = all_majors_vectorized[:num_applicants]
+    companies_majors_vectorized = all_majors_vectorized[num_applicants:]
+
+    # Example input
+    input_hard_skills = "Business, Finance, Excel"
+    input_soft_skills = "Communication, Teamwork"
+    input_major = "Marketing"
+
+    recommended_jobs = recommend_jobs_for_input_skills(input_hard_skills, input_soft_skills, input_major, companies, tfidf_vectorizer_skills, tfidf_vectorizer_majors, companies_skills_vectorized, companies_majors_vectorized)
+    print("Recommended Jobs based on input skills and major:")
+    print(recommended_jobs)