combined.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Kütüphane"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "from datasets import load_dataset\n",
    "import pandas as pd \n",
    "from pymongo import MongoClient\n",
    "from transformers import BertTokenizer, BertForMaskedLM, DPRContextEncoderTokenizer,DPRContextEncoder;\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "import numpy as np\n",
    "import re\n",
    "import pandas as pd\n",
    "from nltk.stem import WordNetLemmatizer\n",
    "from nltk.corpus import stopwords as nltk_stopwords\n",
    "from transformers import BertTokenizer, BertModel\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "import torch\n",
    "from pymongo import MongoClient\n",
    "import torch.nn.functional as F\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Turkish stop wordslerin tanımlanması"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "\"\"\"\"\"\"\n",
    "#- burada turkish_stop_words'ü alıyoruz\n",
    "def load_stop_words(file_path, existing_stop_words='gereksiz_kelimeler.txt'):\n",
    "    \"\"\"Stop words'leri dosyadan okuyarak bir liste oluşturur. \n",
    "    Mevcut stop words'ler varsa bunları dikkate alır.\"\"\"\n",
    "    \n",
    "    if existing_stop_words is None:\n",
    "        existing_stop_words = set()\n",
    "    else:\n",
    "        existing_stop_words = set(existing_stop_words)\n",
    "    \n",
    "    with open(file_path, 'r', encoding='utf-8') as file:\n",
    "        for line in file:\n",
    "            word = line.strip()\n",
    "            if word and word not in existing_stop_words:\n",
    "                existing_stop_words.add(word)\n",
    "    \n",
    "    return list(existing_stop_words)\n",
    "\n",
    "# Mevcut stop words'leri kontrol ederek Türkçe stop words dosyasını yükleyin\n",
    "stop_words_list = load_stop_words('gereksiz_kelimeler.txt')\n",
    "\n",
    "#----------------------------------------------------------------------------------------------------"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "MongoDb'deki combined_text koleksiyonunun verilerini csv ye çekme "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#mongodb üzerinden combined_textleri çek\n",
    "import csv\n",
    "from pymongo import MongoClient\n",
    "\n",
    "def mongo_db_combined_texts_to_csv(database_name='combined_text', collection_name='text', host='localhost', port=27017,batch_size=100,output_file='combined_texts.csv'):\n",
    "    client = MongoClient(f'mongodb://{host}:{port}/')\n",
    "    db = client[database_name]\n",
    "    collection = db[collection_name]\n",
    "    \n",
    "    #toplam döküman sayısını al\n",
    "    total_documents = collection.count_documents({})\n",
    "    #batch_documents = []\n",
    "\n",
    "    # CSV dosyasını aç ve yazmaya hazırla\n",
    "    with open(output_file, mode='w', newline='', encoding='utf-8') as file:\n",
    "        writer = csv.writer(file)\n",
    "        writer.writerow([\"combined\"])  # CSV başlığı\n",
    "\n",
    "    # Belirtilen batch_size kadar dökümanları almak için döngü\n",
    "    for i in range(0, total_documents, batch_size):\n",
    "        cursor = collection.find({}, {\"combined\":1, \"_id\": 0}).skip(i).limit(batch_size)\n",
    "        combined_texts = [doc['combined'] for doc in cursor if 'combined' in doc] #combined sütununa ilişkin verileri çeker \n",
    "\n",
    "        # Batch verilerini CSV'ye yaz\n",
    "        with open(output_file, mode='a', newline='', encoding='utf-8') as file:\n",
    "            writer = csv.writer(file)\n",
    "            \n",
    "            for text in combined_texts:\n",
    "                writer.writerow([text])\n",
    "        \n",
    "        \n",
    "\n",
    "    print(f\"combined metinler '{output_file}' dosyasına başarıyla yazıldı.\")\n",
    "\n",
    "# Dökümanları CSV dosyasına yazdır\n",
    "text=mongo_db_combined_texts_to_csv(batch_size=100)\n",
    "        #batch_documents.extend((combined_texts, len(combined_texts)))\n",
    "    #append fonksiyonu listenin içerisine tek bir eleman gibi ekler yani list1 = [1, 2, 3, [4, 5]]\n",
    "    #fakat extend fonksiyonu list1 = [1, 2, 3, 4, 5] bir listeye yeni bir liste eklemeyi teker teker gerçekleştirir.\n",
    "    #return batch_documents\n",
    "\n",
    "# Dökümanları ve döküman sayısını batch olarak çekin\n",
    "#combined_texts = mongo_db_combined_texts(batch_size=1000)\n",
    "\n",
    "# Her batch'i ayrı ayrı işleyebilirsiniz\n",
    "#print(f\"Toplam döküman sayısı:{len(combined_texts)}\")\n",
    "\n",
    "#for index, text in enumerate (combined_texts[:10]):\n",
    "    #print(f\"Döküman {index + 1}: {text}\")\n",
    "\n",
    "#print(combined_texts)\n",
    "\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "import csv\n",
    "from pymongo import MongoClient\n",
    "import pandas as pd\n",
    "\n",
    "def fetch_from_database(database_name='combined_text', collection_name='text', host='localhost', port=27017, batch_size=100):\n",
    "    client = MongoClient(f'mongodb://{host}:{port}/')\n",
    "    db = client[database_name]\n",
    "    collection = db[collection_name]\n",
    "    \n",
    "    # Toplam döküman sayısını al\n",
    "    total_documents = collection.count_documents({})\n",
    "    combined_texts = []\n",
    "\n",
    "    # Belirtilen batch_size kadar dökümanları almak için döngü\n",
    "    for i in range(0, total_documents, batch_size):\n",
    "        cursor = collection.find({}, {\"combined\": 1, \"_id\": 0}).skip(i).limit(batch_size)\n",
    "        combined_texts.extend([doc['combined'] for doc in cursor if 'combined' in doc])  # combined sütununa ilişkin verileri çeker \n",
    "\n",
    "    return combined_texts\n",
    "\n",
    "# Metinleri kısaltma fonksiyonu\n",
    "def truncate_text(text, max_words=300):\n",
    "    words = text.split()  # Metni kelimelere böler\n",
    "    return ' '.join(words[:max_words])  # İlk max_words kadar kelimeyi alır\n",
    "\n",
    "# Veritabanından veri çekme ve kısaltma\n",
    "def fetch_and_truncate_data(database_name, collection_name, host, port, max_words=300):\n",
    "    # Veritabanından veri çekme\n",
    "    combined_texts = fetch_from_database(database_name, collection_name, host, port)\n",
    "    \n",
    "    # Metinleri kısaltma\n",
    "    truncated_texts = [truncate_text(text, max_words) for text in combined_texts]\n",
    "    \n",
    "    return truncated_texts\n",
    "\n",
    "# Kısaltılmış veriyi CSV'ye kaydetme\n",
    "def save_to_csv(data, file_path):\n",
    "    df = pd.DataFrame(data, columns=['combined'])\n",
    "    df.to_csv(file_path, encoding='utf-8', index=False)\n",
    "\n",
    "# Doğru değişken tanımlamaları\n",
    "database_name = 'combined_text'\n",
    "collection_name = 'text'\n",
    "host = 'localhost'\n",
    "port = 27017\n",
    "batch_size = 100\n",
    "max_words = 300\n",
    "output_file = 'processed_data.csv'\n",
    "\n",
    "# Veriyi çekme ve işleme\n",
    "truncated_texts = fetch_and_truncate_data(database_name, collection_name, host, port, max_words)\n",
    "save_to_csv(truncated_texts, output_file)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Tf-Idf ile keywordsleri alma "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\gitProjects\\yeni\\.venv\\lib\\site-packages\\sklearn\\feature_extraction\\text.py:406: UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['leh'] not in stop_words.\n",
      "  warnings.warn(\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "Cell \u001b[1;32mIn[11], line 33\u001b[0m\n\u001b[0;32m     30\u001b[0m     \u001b[38;5;28;01mreturn\u001b[39;00m top_keywords_per_document, top_tfidf_scores_per_document\n\u001b[0;32m     32\u001b[0m \u001b[38;5;66;03m# Anahtar kelimeleri çıkar ve sonuçları al\u001b[39;00m\n\u001b[1;32m---> 33\u001b[0m top_keywords_per_document, top_tfidf_scores_per_document \u001b[38;5;241m=\u001b[39m \u001b[43mextract_keywords_tfidf\u001b[49m\u001b[43m(\u001b[49m\u001b[43mcombined\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mstop_words_list\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mtop_n\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;241;43m10\u001b[39;49m\u001b[43m)\u001b[49m\n\u001b[0;32m     36\u001b[0m \u001b[38;5;66;03m# Sonuçları görüntüleme\u001b[39;00m\n\u001b[0;32m     37\u001b[0m \u001b[38;5;28;01mfor\u001b[39;00m i, (keywords, scores) \u001b[38;5;129;01min\u001b[39;00m \u001b[38;5;28menumerate\u001b[39m(\u001b[38;5;28mzip\u001b[39m(top_keywords_per_document, top_tfidf_scores_per_document)):\n",
      "Cell \u001b[1;32mIn[11], line 21\u001b[0m, in \u001b[0;36mextract_keywords_tfidf\u001b[1;34m(combined, stop_words_list, top_n)\u001b[0m\n\u001b[0;32m     19\u001b[0m \u001b[38;5;28;01mfor\u001b[39;00m row \u001b[38;5;129;01min\u001b[39;00m X:\n\u001b[0;32m     20\u001b[0m     tfidf_scores \u001b[38;5;241m=\u001b[39m row\u001b[38;5;241m.\u001b[39mtoarray()\u001b[38;5;241m.\u001b[39mflatten() \u001b[38;5;66;03m#değişkenleri düz bir değişken haline getirme\u001b[39;00m\n\u001b[1;32m---> 21\u001b[0m     top_indices \u001b[38;5;241m=\u001b[39m \u001b[43mtfidf_scores\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43margsort\u001b[49m\u001b[43m(\u001b[49m\u001b[43m)\u001b[49m[\u001b[38;5;241m-\u001b[39mtop_n:][::\u001b[38;5;241m-\u001b[39m\u001b[38;5;241m1\u001b[39m]  \u001b[38;5;66;03m# En yüksek n skoru bul\u001b[39;00m\n\u001b[0;32m     23\u001b[0m     \u001b[38;5;66;03m#en yüksek skorlu kelimleri ve skorları bul\u001b[39;00m\n\u001b[0;32m     24\u001b[0m     top_keywords \u001b[38;5;241m=\u001b[39m [feature_names[i] \u001b[38;5;28;01mfor\u001b[39;00m i \u001b[38;5;129;01min\u001b[39;00m top_indices]\n",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "import csv\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from joblib import Parallel, delayed\n",
    "import pandas as pd\n",
    "\n",
    "df=pd.read_csv('combined_texts.csv')\n",
    "combined= df['combined'].tolist()\n",
    "def extract_keywords_tfidf(combined, stop_words_list,top_n=10):\n",
    "    \"\"\"TF-IDF ile anahtar kelimeleri çıkarır, stop words listesi ile birlikte kullanır.\"\"\"\n",
    "    vectorizer = TfidfVectorizer(stop_words=stop_words_list)\n",
    "    X = vectorizer.fit_transform(combined) #bunu csv den oku \n",
    "    feature_names = vectorizer.get_feature_names_out() #her kelimenin tf-ıdf vektöründeki karşılığını tutar \n",
    "    #sorted_keywords = [feature_names[i] for i in X.sum(axis=0).argsort()[0, ::-1]]\n",
    "    \n",
    "    top_keywords_per_document = [] #her döküman için en iyi keywordsleri alır\n",
    "    top_tfidf_scores_per_document = [] #tf-ıdf değeri en yüksek olan dökümanlar\n",
    "\n",
    "    # Her dökümanı işleme\n",
    "    for row in X:\n",
    "        tfidf_scores = row.toarray().flatten() #değişkenleri düz bir değişken haline getirme\n",
    "        top_indices = tfidf_scores.argsort()[-top_n:][::-1]  # En yüksek n skoru bul\n",
    "        \n",
    "        #en yüksek skorlu kelimleri ve skorları bul\n",
    "        top_keywords = [feature_names[i] for i in top_indices]\n",
    "        top_tfidf_scores = [tfidf_scores[i] for i in top_indices]\n",
    "        \n",
    "        top_keywords_per_document.append(top_keywords)\n",
    "        top_tfidf_scores_per_document.append(top_tfidf_scores)\n",
    "        \n",
    "    return top_keywords_per_document, top_tfidf_scores_per_document\n",
    "\n",
    "# Anahtar kelimeleri çıkar ve sonuçları al\n",
    "top_keywords_per_document, top_tfidf_scores_per_document = extract_keywords_tfidf(combined, stop_words_list, top_n=10)\n",
    " \n",
    "\n",
    "# Sonuçları görüntüleme\n",
    "for i, (keywords, scores) in enumerate(zip(top_keywords_per_document, top_tfidf_scores_per_document)):\n",
    "    print(f\"Döküman {i+1}:\")\n",
    "    for keyword, score in zip(keywords, scores):\n",
    "        print(f\"{keyword}: {score:.4f}\")\n",
    "    print(\"\\n\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "c:\\gitProjects\\yeni\\.venv\\lib\\site-packages\\sklearn\\feature_extraction\\text.py:406: UserWarning: Your stop_words may be inconsistent with your preprocessing. Tokenizing the stop words generated tokens ['leh'] not in stop_words.\n",
      "  warnings.warn(\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "Cell \u001b[1;32mIn[5], line 53\u001b[0m\n\u001b[0;32m     50\u001b[0m     \u001b[38;5;28;01mreturn\u001b[39;00m top_keywords_per_document, top_tfidf_scores_per_document\n\u001b[0;32m     52\u001b[0m \u001b[38;5;66;03m# Anahtar kelimeleri çıkar ve sonuçları al\u001b[39;00m\n\u001b[1;32m---> 53\u001b[0m top_keywords_per_document, top_tfidf_scores_per_document \u001b[38;5;241m=\u001b[39m \u001b[43mextract_keywords_tfidf\u001b[49m\u001b[43m(\u001b[49m\u001b[43mcombined\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mstop_words_list\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mtop_n\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;241;43m10\u001b[39;49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43mn_jobs\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;241;43m-\u001b[39;49m\u001b[38;5;241;43m1\u001b[39;49m\u001b[43m)\u001b[49m\n\u001b[0;32m     55\u001b[0m \u001b[38;5;66;03m# Sonuçları görüntüleme\u001b[39;00m\n\u001b[0;32m     56\u001b[0m \u001b[38;5;28;01mfor\u001b[39;00m i, (keywords, scores) \u001b[38;5;129;01min\u001b[39;00m \u001b[38;5;28menumerate\u001b[39m(\u001b[38;5;28mzip\u001b[39m(top_keywords_per_document, top_tfidf_scores_per_document)):\n",
      "Cell \u001b[1;32mIn[5], line 45\u001b[0m, in \u001b[0;36mextract_keywords_tfidf\u001b[1;34m(combined, stop_words_list, top_n, n_jobs)\u001b[0m\n\u001b[0;32m     42\u001b[0m     top_tfidf_scores \u001b[38;5;241m=\u001b[39m [tfidf_scores[i] \u001b[38;5;28;01mfor\u001b[39;00m i \u001b[38;5;129;01min\u001b[39;00m top_indices]\n\u001b[0;32m     43\u001b[0m     \u001b[38;5;28;01mreturn\u001b[39;00m top_keywords, top_tfidf_scores\n\u001b[1;32m---> 45\u001b[0m results \u001b[38;5;241m=\u001b[39m \u001b[43mParallel\u001b[49m\u001b[43m(\u001b[49m\u001b[43mn_jobs\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43mn_jobs\u001b[49m\u001b[43m)\u001b[49m\u001b[43m(\u001b[49m\u001b[43mdelayed\u001b[49m\u001b[43m(\u001b[49m\u001b[43mprocess_row\u001b[49m\u001b[43m)\u001b[49m\u001b[43m(\u001b[49m\u001b[43mrow\u001b[49m\u001b[43m)\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;28;43;01mfor\u001b[39;49;00m\u001b[43m \u001b[49m\u001b[43mrow\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;129;43;01min\u001b[39;49;00m\u001b[43m \u001b[49m\u001b[43mX\u001b[49m\u001b[43m)\u001b[49m\n\u001b[0;32m     47\u001b[0m \u001b[38;5;66;03m# Sonuçları listelere ayırma\u001b[39;00m\n\u001b[0;32m     48\u001b[0m top_keywords_per_document, top_tfidf_scores_per_document \u001b[38;5;241m=\u001b[39m \u001b[38;5;28mzip\u001b[39m(\u001b[38;5;241m*\u001b[39mresults)\n",
      "File \u001b[1;32mc:\\gitProjects\\yeni\\.venv\\lib\\site-packages\\joblib\\parallel.py:2007\u001b[0m, in \u001b[0;36mParallel.__call__\u001b[1;34m(self, iterable)\u001b[0m\n\u001b[0;32m   2001\u001b[0m \u001b[38;5;66;03m# The first item from the output is blank, but it makes the interpreter\u001b[39;00m\n\u001b[0;32m   2002\u001b[0m \u001b[38;5;66;03m# progress until it enters the Try/Except block of the generator and\u001b[39;00m\n\u001b[0;32m   2003\u001b[0m \u001b[38;5;66;03m# reaches the first `yield` statement. This starts the asynchronous\u001b[39;00m\n\u001b[0;32m   2004\u001b[0m \u001b[38;5;66;03m# dispatch of the tasks to the workers.\u001b[39;00m\n\u001b[0;32m   2005\u001b[0m \u001b[38;5;28mnext\u001b[39m(output)\n\u001b[1;32m-> 2007\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m output \u001b[38;5;28;01mif\u001b[39;00m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mreturn_generator \u001b[38;5;28;01melse\u001b[39;00m \u001b[38;5;28;43mlist\u001b[39;49m\u001b[43m(\u001b[49m\u001b[43moutput\u001b[49m\u001b[43m)\u001b[49m\n",
      "File \u001b[1;32mc:\\gitProjects\\yeni\\.venv\\lib\\site-packages\\joblib\\parallel.py:1650\u001b[0m, in \u001b[0;36mParallel._get_outputs\u001b[1;34m(self, iterator, pre_dispatch)\u001b[0m\n\u001b[0;32m   1647\u001b[0m     \u001b[38;5;28;01myield\u001b[39;00m\n\u001b[0;32m   1649\u001b[0m     \u001b[38;5;28;01mwith\u001b[39;00m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_backend\u001b[38;5;241m.\u001b[39mretrieval_context():\n\u001b[1;32m-> 1650\u001b[0m         \u001b[38;5;28;01myield from\u001b[39;00m \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_retrieve()\n\u001b[0;32m   1652\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mGeneratorExit\u001b[39;00m:\n\u001b[0;32m   1653\u001b[0m     \u001b[38;5;66;03m# The generator has been garbage collected before being fully\u001b[39;00m\n\u001b[0;32m   1654\u001b[0m     \u001b[38;5;66;03m# consumed. This aborts the remaining tasks if possible and warn\u001b[39;00m\n\u001b[0;32m   1655\u001b[0m     \u001b[38;5;66;03m# the user if necessary.\u001b[39;00m\n\u001b[0;32m   1656\u001b[0m     \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_exception \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;01mTrue\u001b[39;00m\n",
      "File \u001b[1;32mc:\\gitProjects\\yeni\\.venv\\lib\\site-packages\\joblib\\parallel.py:1762\u001b[0m, in \u001b[0;36mParallel._retrieve\u001b[1;34m(self)\u001b[0m\n\u001b[0;32m   1757\u001b[0m \u001b[38;5;66;03m# If the next job is not ready for retrieval yet, we just wait for\u001b[39;00m\n\u001b[0;32m   1758\u001b[0m \u001b[38;5;66;03m# async callbacks to progress.\u001b[39;00m\n\u001b[0;32m   1759\u001b[0m \u001b[38;5;28;01mif\u001b[39;00m ((\u001b[38;5;28mlen\u001b[39m(\u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_jobs) \u001b[38;5;241m==\u001b[39m \u001b[38;5;241m0\u001b[39m) \u001b[38;5;129;01mor\u001b[39;00m\n\u001b[0;32m   1760\u001b[0m     (\u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39m_jobs[\u001b[38;5;241m0\u001b[39m]\u001b[38;5;241m.\u001b[39mget_status(\n\u001b[0;32m   1761\u001b[0m         timeout\u001b[38;5;241m=\u001b[39m\u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mtimeout) \u001b[38;5;241m==\u001b[39m TASK_PENDING)):\n\u001b[1;32m-> 1762\u001b[0m     \u001b[43mtime\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43msleep\u001b[49m\u001b[43m(\u001b[49m\u001b[38;5;241;43m0.01\u001b[39;49m\u001b[43m)\u001b[49m\n\u001b[0;32m   1763\u001b[0m     \u001b[38;5;28;01mcontinue\u001b[39;00m\n\u001b[0;32m   1765\u001b[0m \u001b[38;5;66;03m# We need to be careful: the job list can be filling up as\u001b[39;00m\n\u001b[0;32m   1766\u001b[0m \u001b[38;5;66;03m# we empty it and Python list are not thread-safe by\u001b[39;00m\n\u001b[0;32m   1767\u001b[0m \u001b[38;5;66;03m# default hence the use of the lock\u001b[39;00m\n",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "import re \n",
    "import pandas as pd\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from joblib import Parallel, delayed\n",
    "\n",
    "\n",
    "# CSV dosyasını okuma\n",
    "df = pd.read_csv('combined_texts.csv')\n",
    "combined = df['combined'].tolist()\n",
    "\n",
    "\n",
    "def pad_or_truncate(texts,max_lenght):\n",
    "    \"metinleri belirli bir uzunluğua kısaltır ve padler\"\n",
    "    padded_texts=[]\n",
    "    for text in texts:\n",
    "        words= text.split()\n",
    "        if len(words)> max_lenght:\n",
    "            padded_texts.append(''.join(words[:max_lenght]))\n",
    "        else:\n",
    "            padded_texts.append(' '.join(words + [''] * (max_length - len(words))))\n",
    "    return padded_texts\n",
    "\n",
    "# Padding uzunluğu\n",
    "max_length = 300  # Örneğin, metin uzunluğunu 300 kelimeyle sınırlandırma\n",
    "\n",
    "# Metinleri pad etme veya kısaltma\n",
    "combined_padded = pad_or_truncate(combined, max_length)\n",
    "\n",
    "def parse_text(text):\n",
    "    \"\"\"Verilen metni ayrıştırarak düzenli bir yapıya dönüştürür.\"\"\"\n",
    "    # Satırları ayır\n",
    "    lines = text.split('|-')\n",
    "    \n",
    "    data = []\n",
    "    for line in lines:\n",
    "        line = line.strip()\n",
    "        if not line or line.startswith(\"align\"):\n",
    "            continue\n",
    "\n",
    "        # Satırı parçalara ayır\n",
    "        parts = re.split(r'\\s*\\|\\s*', line) #satırları nasıl parçalara ayırır ??\n",
    "        \n",
    "        # Verileri temizle ve yapıyı oluştur\n",
    "        if len(parts) >= 2: # season ve team neler ve neden değişken olarak tanadı.\n",
    "            season = parts[0].strip()\n",
    "            team = parts[1].strip()\n",
    "            stats = [p.strip() for p in parts[2:] if p.strip()]\n",
    "            data.append([season, team] + stats)\n",
    "\n",
    "    return data \n",
    "\n",
    "def clean_data(file_path):\n",
    "    \"\"\"CSV dosyasını okur ve veriyi düzenler.\"\"\"\n",
    "    with open(file_path, 'r') as file:\n",
    "        raw_text = file.read()\n",
    "    \n",
    "    data = parse_text(raw_text)\n",
    "    \n",
    "    # Veri çerçevesi oluştur\n",
    "    df = pd.DataFrame(data, columns=['kaynakça'])\n",
    "    \n",
    "    return df\n",
    "\n",
    "# CSV dosyasını temizleyip düzenli bir DataFrame oluştur\n",
    "cleaned_df = clean_data('combined_texts.csv')\n",
    "\n",
    "# Düzenlenmiş veriyi kontrol et\n",
    "print(cleaned_df.head())\n",
    "\n",
    "def extract_keywords_tfidf(combined, stop_words_list, top_n=10, n_jobs=-1):\n",
    "    \"\"\"TF-IDF ile anahtar kelimeleri çıkarır, stop words listesi ile birlikte kullanır ve paralel işlem yapar.\"\"\"\n",
    "    vectorizer = TfidfVectorizer(stop_words=stop_words_list)\n",
    "    \n",
    "    # TF-IDF matrisini oluşturma (CPU kullanımını optimize etmek için n_jobs kullanılır)\n",
    "    X = vectorizer.fit_transform(combined)  # bunu csv'den oku\n",
    "    feature_names = vectorizer.get_feature_names_out()  # Her kelimenin tf-idf vektöründeki karşılığını tutar\n",
    "\n",
    "    # Her döküman için en iyi keywords'leri ve tf-idf değerlerini paralel işlemeyle bulma\n",
    "    def process_row(row):\n",
    "        tfidf_scores = row.toarray().flatten()  # Düz bir değişken haline getirme\n",
    "        top_indices = tfidf_scores.argsort()[-top_n:][::-1]  # En yüksek n skoru bul\n",
    "        \n",
    "        # En yüksek skorlu kelimeleri ve skorları bul\n",
    "        top_keywords = [feature_names[i] for i in top_indices]\n",
    "        top_tfidf_scores = [tfidf_scores[i] for i in top_indices]\n",
    "        return top_keywords, top_tfidf_scores\n",
    "\n",
    "    results = Parallel(n_jobs=n_jobs)(delayed(process_row)(row) for row in X)\n",
    "\n",
    "    # Sonuçları listelere ayırma\n",
    "    top_keywords_per_document, top_tfidf_scores_per_document = zip(*results)\n",
    "\n",
    "    return top_keywords_per_document, top_tfidf_scores_per_document\n",
    "\n",
    "# Anahtar kelimeleri çıkar ve sonuçları al\n",
    "top_keywords_per_document, top_tfidf_scores_per_document = extract_keywords_tfidf(combined, stop_words_list, top_n=10, n_jobs=-1)\n",
    "\n",
    "# Sonuçları görüntüleme\n",
    "for i, (keywords, scores) in enumerate(zip(top_keywords_per_document, top_tfidf_scores_per_document)):\n",
    "    print(f\"Döküman {i+1}:\")\n",
    "    for keyword, score in zip(keywords, scores):\n",
    "        print(f\"{keyword}: {score:.4f}\")\n",
    "    print(\"\\n\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sentence_transformers import SentenceTransformer\n",
    "\n",
    "model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')\n",
    "\n",
    "# Top_keywords embedding\n",
    "keyword_embeddings = model.encode(top_keywords_per_document)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Keyword: bir, Similarity: 0.26726124191242445\n",
      "Keyword: anahtar, Similarity: 0.26726124191242445\n",
      "Keyword: kelimeleri, Similarity: 0.26726124191242445\n",
      "Keyword: test, Similarity: 0.26726124191242445\n",
      "Keyword: başka, Similarity: 0.0\n"
     ]
    }
   ],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "\n",
    "def calculate_keyword_similarity(text, keywords):\n",
    "    # TF-IDF matrisini oluştur\n",
    "    tfidf_vectorizer = TfidfVectorizer()\n",
    "\n",
    "    #texti ve anahtar kelimeleri tf-ıdf vektörlerine dönüştür\n",
    "    text_tfidf = tfidf_vectorizer.fit_transform([text]) #burayı combined sütunundan almalıyım\n",
    "    #benzerlik hesaplama \n",
    "    similarity_array = []\n",
    "    for keyword in keywords:\n",
    "        # Her bir anahtar kelimeyi TF-IDF vektörüne dönüştür\n",
    "        keyword_tfidf = tfidf_vectorizer.transform([keyword]) #keywordleri teker teker alma fonksiyonu\n",
    "        \n",
    "        # Cosine similarity ile benzerlik hesapla\n",
    "        similarity = cosine_similarity(text_tfidf, keyword_tfidf)[0][0]\n",
    "        \n",
    "        # Anahtar kelime ve benzerlik skorunu kaydet\n",
    "        similarity_array.append((keyword, similarity))\n",
    "    \n",
    "    return similarity_array\n",
    "   \n",
    "\n",
    "# Örnek metin ve anahtar kelimeler\n",
    "#combined verileri \n",
    "text = \"Bu bir örnek metindir ve bu metin üzerinde anahtar kelimeleri test ediyoruz.\"\n",
    "keywords = [\"başka\", \"bir\", \"anahtar\", \"kelimeleri\", \"test\"] #bu keywordsler tf-değerinden alınarak arraylere çevrilmeli \n",
    "    \n",
    "# Uygunluk skorunu hesapla\n",
    "similarity_results = calculate_keyword_similarity(text, keywords)\n",
    "top_5_keywords = sorted(similarity_results, key=lambda x: x[1], reverse=True)[:5]\n",
    "# Her bir anahtar kelimenin uyumluluk skorunu yazdır\n",
    "\n",
    "for keyword, similarity in top_5_keywords:\n",
    "    print(f\"Keyword: {keyword}, Similarity: {similarity}\")\n",
    "    #print(f\"Keyword: '{keyword}' - Relevance score: {score:.4f}\")\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<function __main__.process_texts(combined_texts, stop_words_list, top_n)>"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "# BERT Tokenizer ve Model'i yükleyin\n",
    "tokenizer = BertTokenizer.from_pretrained('dbmdz/bert-base-turkish-cased')\n",
    "model = BertModel.from_pretrained('dbmdz/bert-base-turkish-cased')\n",
    "# Keywords çıkarma fonksiyonu\n",
    "def extract_keywords_tfidf(combined_texts, stop_words_list,top_n=5):\n",
    "    \"\"\"TF-IDF ile anahtar kelimeleri çıkarır, stop words listesi ile birlikte kullanır.\"\"\"\n",
    "    vectorizer = TfidfVectorizer(stop_words=stop_words_list)\n",
    "    X = vectorizer.fit_transform(combined_texts) #bunu csv den oku \n",
    "    feature_names = vectorizer.get_feature_names_out()\n",
    "    #sorted_keywords = [feature_names[i] for i in X.sum(axis=0).argsort()[0, ::-1]]\n",
    "    \n",
    "    top_keywords_per_document = [] #her döküman için en iyi keywordsleri alır\n",
    "    top_tfidf_scores_per_document = [] #tf-ıdf değeri en yüksek olan dökümanlar\n",
    "#------------------------------------------------------------------------------------------\n",
    "    for row in X:\n",
    "        tfidf_scores = row.toarray().flatten()\n",
    "        top_indices = tfidf_scores.argsort()[-top_n:][::-1]  # En yüksek n skoru bul\n",
    "        top_keywords = [feature_names[i] for i in top_indices]\n",
    "        top_tfidf_scores_per_document = [tfidf_scores[i] for i in top_indices]\n",
    "\n",
    "\n",
    "        top_tfidf_scores_per_document.append(top_tfidf_scores)\n",
    "        top_keywords_per_document.append(top_keywords)\n",
    "        \n",
    "    return top_keywords_per_document\n",
    "\n",
    "# Anahtar kelimeleri çıkar ve BERT ile embedding oluştur\n",
    "def process_texts(combined_texts, stop_words_list,top_n):\n",
    "    results = []\n",
    "    \n",
    "    for text in combined_texts:\n",
    "        # Anahtar kelimeleri çıkar\n",
    "        keywords = extract_keywords_tfidf(text, stop_words_list,top_n=15)\n",
    "        \n",
    "        # BERT ile embedding oluştur\n",
    "        inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=512)\n",
    "        with torch.no_grad():\n",
    "            outputs = model(**inputs)\n",
    "            embeddings = outputs.last_hidden_state.mean(dim=1).squeeze()\n",
    "        \n",
    "        results.append({\n",
    "            'text': text,\n",
    "            'keywords': keywords,\n",
    "            'embedding': embeddings\n",
    "        })\n",
    "        \n",
    "    return results\n",
    "\n",
    "results=process_texts\n",
    "results\n",
    "#tüm metinleri işle\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "MongoDb'den database'in çekilmesi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "combined metinler 'combined_texts.csv' dosyasına başarıyla yazıldı.\n"
     ]
    }
   ],
   "source": [
    "#mongodb üzerinden combined_textleri çek\n",
    "import csv\n",
    "from pymongo import MongoClient\n",
    "\n",
    "def mongo_db_combined_texts_to_csv(database_name='combined_text', collection_name='text', host='localhost', port=27017,batch_size=1000,output_file='combined_texts.csv'):\n",
    "    client = MongoClient(f'mongodb://{host}:{port}/')\n",
    "    db = client[database_name]\n",
    "    collection = db[collection_name]\n",
    "    \n",
    "    #toplam döküman sayısını al\n",
    "    total_documents = collection.count_documents({})\n",
    "    #batch_documents = []\n",
    "\n",
    "    # CSV dosyasını aç ve yazmaya hazırla\n",
    "    with open(output_file, mode='w', newline='', encoding='utf-8') as file:\n",
    "        writer = csv.writer(file)\n",
    "        writer.writerow([\"combined\"])  # CSV başlığı\n",
    "\n",
    "    # Belirtilen batch_size kadar dökümanları almak için döngü\n",
    "    for i in range(0, total_documents, batch_size):\n",
    "        cursor = collection.find({}, {\"combined\":1, \"_id\": 0}).skip(i).limit(batch_size)\n",
    "        combined_texts = [doc['combined'] for doc in cursor if 'combined' in doc] #combined sütununa ilişkin verileri çeker \n",
    "\n",
    "        # Batch verilerini CSV'ye yaz\n",
    "        with open(output_file, mode='a', newline='', encoding='utf-8') as file:\n",
    "            writer = csv.writer(file)\n",
    "            \n",
    "            for text in combined_texts:\n",
    "                writer.writerow([text])\n",
    "        \n",
    "        \n",
    "\n",
    "    print(f\"combined metinler '{output_file}' dosyasına başarıyla yazıldı.\")\n",
    "\n",
    "# Dökümanları CSV dosyasına yazdır\n",
    "text=mongo_db_combined_texts_to_csv(batch_size=1000)\n",
    "        #batch_documents.extend((combined_texts, len(combined_texts)))\n",
    "    #append fonksiyonu listenin içerisine tek bir eleman gibi ekler yani list1 = [1, 2, 3, [4, 5]]\n",
    "    #fakat extend fonksiyonu list1 = [1, 2, 3, 4, 5] bir listeye yeni bir liste eklemeyi teker teker gerçekleştirir.\n",
    "    #return batch_documents\n",
    "\n",
    "# Dökümanları ve döküman sayısını batch olarak çekin\n",
    "#combined_texts = mongo_db_combined_texts(batch_size=1000)\n",
    "\n",
    "# Her batch'i ayrı ayrı işleyebilirsiniz\n",
    "#print(f\"Toplam döküman sayısı:{len(combined_texts)}\")\n",
    "\n",
    "#for index, text in enumerate (combined_texts[:10]):\n",
    "    #print(f\"Döküman {index + 1}: {text}\")\n",
    "\n",
    "#print(combined_texts)\n",
    "\n",
    "    "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Gereksiz kelimelerin 'gereksiz_kelimeler.txt' üzerinden import edilmesi"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "TF-IDF Skorları "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#-----------------------------------------------------------------------------------------------------\n",
    "# Tüm metinleri işle\n",
    "combined_texts = mongo_db_combined_texts()\n",
    "processed_texts = process_texts(combined_texts, stop_words_list,top_n=5)\n",
    "\n",
    "combined_texts, document_count = mongo_db_combined_texts()\n",
    "print(f\"Toplam döküman sayısı: {document_count}\")\n",
    "print(\"Combined metinler:\", combined_texts)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "\n",
    "# Text ve keywords\n",
    "text = \"\"\"Peynir, çok büyük bir çeşitlilikteki aroma, tat, yapı ve şekle sahip bir grup süt ürünü için kullanılan genel isimdir.\n",
    "\n",
    "Etimoloji \n",
    "Peynir, kelimesi modern Türkçeye Farsça sütten yapılmış manasına gelen panīr kelimesinden geçmiştir. İngilizceye ise Latince caseus dan gelmiştir. Bu kelimenin kökeninin Hint-Avrupa dillerinde yer alan mayalanmak-ekşimek manasına gelen kwat- kökünden geçtiği düşünülmektedir. Bu kelime diğer Cermen dillerinde de muhafaza edilmiştir. İspanyolca ve Portekizce de Latinceden almışlardır ve Malezya ve Endonezya da konuşulan dillere de keşifler vasıtasıyla geçirmişlerdir.\n",
    "\n",
    "Fransızca, İtalyanca ve Katalancaya ise yine aynı kökenden gelmiş olmasına ragmen, Romalılar tarafından askerlerin tüketimi için yapılan caseus formatus (kalıp peyniri) sözünün ikinci parçası olan kalıp manasına gelen formatusdan türeyen kelimeler kullanılmaya başlanmıştır. İspanyolcada \"queso\", Portekizcede \"queijo\", Almancada \"Käse\", Felemenkçede \"Kaas\", ve İngilizcede \"cheese\" İtalyancada \"formaggio\" olması yanında, Fransızcada \"fromage\", ve bu terim Katalancada \"formatge\" olmuştur.\n",
    "\n",
    "İlk kez Memluk Türkçesinde benir, penir, beynir şekillerinde görülür. Yazılı olarak en eski ÖzTürkçe karşılığı ise Kâşgarlı Mahmud tarafından yazılan Divânu Lügati't-Türk'te geçmektedir; udma ve udhıtma. Udhıtmak Uygur Türkçesi'nde uyutmak anlamındadır ve Udhıtma udhıttı, sütü uyutmak, uyumuş süt, peynir anlamında kullanılmıştır. Farklı Türk lehçelerinde farklı kelimeler kullanılmıştır: ağrımışık, sogut (Karluk), kurut, kesük, çökelek, bışlak.\n",
    "\n",
    " Tarihçe \n",
    "Peynir kökeni oldukça eskiye dayanan bir yiyecektir. Peynir üretimine dair elde mevcut en eski arkeolojik bulgular M.Ö. 5000 yıllarına aittir ve günümüz Polonya'sında ortaya çıkarılmıştır. Çıkış noktaları Orta Asya, Orta Doğu ya da Avrupa olarak tahmin edilmektedir. Yaygınlaşmasının Roma İmparatorluğu zamanlarında olduğu düşünülür.\n",
    "\n",
    "İlk üretimi için önerilen tarih MÖ 8. binyıl (koyunun evcilleşitirildiği tarih) ile 9. binyıla kadar değişir. O zamanlar yiyecekleri saklayıcı özelliği nedeniyle hayvanın derisi ya da iç organları kullanılmaktaydı. Bu iç organlardan olan midede (işkembe) saklanan sütün buradaki enzimlerle (kültürle) mayalanması üzerine lor haline gelmesi peynirin ilk oluşumu hakkındaki teorilerden biridir. Buna benzer bir hikâyenin, bir tüccar Arap'ın peynir saklaması hakkında da farklı söylenişleri vardır.Vicki Reich, Cheese January 2002 Newsletter, Moscow Food Co-op Food Info.  \n",
    "\n",
    "Bir başka teoriyse peynirin sütü tuzlamak ve basınç altında tutma sonucunda ortaya çıktığıdır. Hayvan midesinde bekletilen sütün değişimi üzerine de bu karışıma kasıtlı olarak maya eklenmiş olabilir.\n",
    "\n",
    "Peynir yapıcılığı ile ilgili ilk yazılı kaynak MÖ 2000'li yıllara, Mısır'daki mezar yazıtlarına dayanmaktadır. Antik zamanlarda yapılan peynirin ekşi ve tuzlu olduğu ve günümüz feta ve beyaz peynire benzediği tahmin edilmektedir.\n",
    "\n",
    "Avrupa'daki peynir üretiminde ise iklimden dolayı daha az tuz kullanılır. Daha az tuzlu ortamda daha çeşitli faydalı mikrop ve enzim yetişebilmesinden dolayı bu peynirler farklı ve ilginç tatlar içerirler.\n",
    "\n",
    " Modern çağ \n",
    "\n",
    "Avrupa kültürüyle birlikte yayılmasına kadar peynir, Doğu Asya kültürlerinde ve Kolomb öncesi Amerika'da neredeyse hiç duyulmamıştı ve Akdeniz altı Afrika'da yalnızca sınırlı bir kullanıma sahipti, esasen yalnızca Avrupa, Orta Doğu, Hint altkıtası ve ve bu kültürlerden etkilenen bölgelerde yaygın ve popülerdi. Ancak önce Avrupa emperyalizminin daha sonra da Avrupa-Amerikan kültürünün ve yemeklerinin yayılmasıyla birlikte peynir dünyada giderek daha fazla tanınmaya ve popülerleşmeye başladı.\n",
    "\n",
    "Peynirin endüstriyel üretimi için ilk fabrika 1815'te İsviçre'de açıldı ancak büyük ölçekli üretim ilk olarak Amerika Birleşik Devletleri'nde gerçek başarıyı yakaladı. Bu başarı genellikle montaj-hattı tarzında komşu çiftliklerden gelen sütü kullanarak 1851'de peynir yapmaya başlayan ve Roma, New York'tan mandıra çiftçisi olan Jesse Williams'a atfedilir. \n",
    "Onlarca yıl içinde bu türden yüzlerce süt birlikleri ortaya çıktı.\n",
    "\n",
    "1860'larda seri üretilen peynir mayası üretimi başladı ve yüzyılın başında bilim adamları saf mikrobiyal kültürler üretiyorlardı. O zamandan önce, peynir yapımındaki bakteriler çevreden veya daha önceki bir partinin peynir altı suyunun geri dönüştürülmesinden geliyordu; saf kültürler, daha standart bir peynirin üretilebileceği anlamına geliyordu.\n",
    "\n",
    "Fabrika yapımı peynir İkinci Dünya Savaşı döneminde geleneksel peynir yapımını geride bıraktı ve fabrikalar o zamandan beri Amerika ve Avrupa'daki çoğu peynirin kaynağıdır.\n",
    "\n",
    "Birleşmiş Milletler Gıda ve Tarım Örgütü'ne göre 2004 yılı dünya üzerindeki peynir üretimi 18 milyon ton dur. Bu kahve tanesi, çay yaprağı kakao tanesi ve tütün yıllık üretiminden daha fazladır.\n",
    "\n",
    " Üretim \n",
    "\n",
    "2014 yılında tam inek sütünden yapılan peynir üretimi dünya’da 18.7 milyon tondu ve Amerika Birleşik Devletleri dünya toplamının %29'u (5.4 milyon ton) peynir üretirken onu büyük üreticiler olarak Almanya, Fransa ve İtalya izledi.\n",
    "\n",
    "İşlenmiş peynirde diğer 2014 dünya toplamları şunlardı:\n",
    " yağsız inek sütünden, 2.4 milyon ton (845,500 ton ile Almanya liderdir)\n",
    " keçi sütünden, 523,040 ton (110,750 ton ile Güney Sudan liderdir)\n",
    " koyun sütünden, 680,302 ton (125,000 ton ile Yunanistan liderdir)\n",
    " manda sütünden, 282,127 ton (254,000 ton Mısır liderdir)\n",
    "\n",
    "2015 yılında Almanya, Fransa, Hollanda ve İtalya ürettikleri peynirin %10-14'ünü ihraç etti. Amerika Birleşik Devletleri üretiminin çoğunu kendi iç pazarına sattığından ihracatı azdır (toplam inek sütü üretiminin %5.3'ü).\n",
    "\n",
    "2004 yılına göre en büyük peynir ihracatcısı (parasal değere göre) Fransa olup ikinci Almanya (miktar bakımından birinci olmasına rağmen). En üstteki on ihracatçıdan sadece İrlanda, Yeni Zelanda, Hollanda ve Avustralya ihracat için peynir üretir. Üretimlerinin ihracat yüzdeleri sırasıyla: %95, %90, %72 ve %65 dir. En büyük peynir ihracatçısı Fransa peynir üretiminin sadece %30'unu ihraç eder.\n",
    "\n",
    " Tüketim \n",
    "Fransa, İzlanda, Finlandiya, Danimarka ve Almanya 2014 yılında kişi başına ortalama  peynir tüketen ülkelerdi.\n",
    "\n",
    "{| class=\"wikitable\" style=\"width:30em;\"\n",
    "! colspan=2|En çok peynir tüketen ülkeler - 2003(kişi başına yılık tüketim kg olarak)<ref>{{Web kaynağı |url=http://www.maison-du-lait.com/Scripts/public/stat.asp?Language=GB |başlık=CNIEL |erişimtarihi=20 Eylül 2008 |arşivurl=https://web.archive.org/web/20071006081314/http://www.maison-du-lait.com/Scripts/public/stat.asp?Language=GB |arşivtarihi=6 Ekim 2007 |ölüurl=evet }}</ref>\n",
    "|-\n",
    "|  || align=\"right\" | 27.3\n",
    "|-\n",
    "|  || align=\"right\" | 24.0\n",
    "|-\n",
    "|   || align=\"right\" | 22.9\n",
    "|-\n",
    "|  || align=\"right\" | 20.6\n",
    "|-\n",
    "|  || align=\"right\" | 20.2\n",
    "|-\n",
    "|  || align=\"right\" | 19.9\n",
    "|-\n",
    "| || align=\"right\" | 19.5\n",
    "|-\n",
    "|  || align=\"right\" | 17.9\n",
    "|}\n",
    "\n",
    " Yapımı \n",
    "\n",
    "Peynir, süt proteini kazeinin peynir mayası ve peynir kültürü ile pıhtılaştırılması ve bu pıhtıdan peynir altı suyunun ayrılmasıyla elde edilen fermente bir süt ürünüdür. Buna karşılık kazein yerine peynir altı suyu proteininden oluşan ricotta ve lor gibi peynirler ile peynir mayası içermeyen quark gibi peynirler de vardır. Sütün pH değerinin düşürülmesi için kullanılan peynir kültürü de peynir üretimi için zorunlu olmayıp sitrik asit ve sirke gibi asit içeren maddeler ile sübstitüte edilebilir.\n",
    "\n",
    "Peynir altı suyu ayrıldıktan sonra tuzlu peynirler için tuzlama aşamasına gelinir. Tuzlama, peynirin yüzeyine kuru tuzlama şeklinde veya peynir salamuraya daldırılarak yapılabilir. Peynir altı suyunun tekrar 90 C°'ye kaynatılması ile lor peynir elde edilir.\n",
    "\n",
    "Takip eden basamak olgunlaştırmadır; peynir taze olarak tüketilebileceği gibi belirli bir olgunlaştırma periyodunu takiben de tüketilebilir.\n",
    "Bu üretim basamaklarına ait teknik parametrelere bağlı olarak çok geniş bir çeşitlilikte peynirler elde edilir.\n",
    "\n",
    "Diğer fermente süt ürünleri gibi peynir de canlı organizmalar içerebilir. Raf ömrü boyunca peynirin duyusal, yapısal ve kimyasal özelliklerinde çeşitli değişiklikler görülebilir. Bu değişikliklerin en az olması için peynirin genellikle 6-8 °C’lik sıcaklıklarda tutulması gereklidir.\n",
    "\n",
    "Soğuk iklimlerde yaşayanlar için sıcaklığı 6-8 °C civarında, nem oranı sabit ve havadar kilerler peynir saklamak için idealdir. Ancak bu imkânın olmadığı yerde peynir buzdolabının alt raflarında ve kapalı şekilde saklanmalıdır.\n",
    "\n",
    " Çeşitleri \n",
    "\n",
    "Türkiye'de tüketimi en yaygın olan peynirler; beyaz peynir, deri peyniri ve kaşar peyniri olmakla birlikte, yöresel peynirler yönünden de hayli çeşitlilik gösterir. Bunlardan bazıları:     \n",
    "\n",
    " Beslenme ve sağlık \n",
    "Peynirin besin değeri çok değişkendir. Süzme peynir %4 yağ ve %11 protein içerebilirken bazı peynir altı suyu peynirleri %15 yağ ve %11 protein ve üçlü krem peynirler %36 yağ ve %7 protein içerir. Genellikle peynir, zengin bir kalsiyum, protein, fosfor, sodyum ve doymuş yağ (Günlük Değer'in %20'si veya daha fazlası) kaynağıdır. 28 gramlık (bir ons) porsiyon çedar peyniri yaklaşık  protein ve 202 miligram kalsiyum içerir. Besinsel olarak peynir esasında konsantre süttür ancak kültür ve yaşlandırma süreçlerince değiştirilir: bu kadar proteini sağlamak için, suda çözünen vitamin ve minerallerin miktarları değişmesine rağmen, yaklaşık  süt ve buna eşit  kalsiyum gerekir.\n",
    "\n",
    "Sağlıklı hayvan sütlerinden sağlıklı şartlarda üretilen peynirin insan beslenmesine protein, kalsiyum, mineraller ve diğer besin elemanlarının temin edilmesinde ve sağlıklı yaşamın sürdürülmesinde önemli katkıları bulunur. Ancak çiğ sütten yapılan peynirlerden Brucella ve Listeria gibi zoonotik enfeksiyonların tüketenlere bulaşması, ayrıca uygun saklama koşullarına uyulmaması dolayısıyla bakteri üremesine bağlı akut barsak enfeksiyonlarının gelişmesi mümkündür. Tuzlu peynir tüketimi hipertansiyon hastalarında risk oluşturabilir.\n",
    "\n",
    "Küflü peynir tüketimi\n",
    "\n",
    "Bazı (yumuşak tip) küflü peynir çeşitlerinin listeria riski dolayısıyla hamilelerde tüketiminin uygun olmadığı, pişirilerek yenmesi durumunda bu sakıncanın ortadan kalkmış olacağı NHS tarafından ifade edilmektedir. Konya'da yöresel olarak tüketilen küflü peynir çeşitleri üzerinde akademik yapılan bir çalışma ile bu peynirlerden elde edilen küf cinsleri, bunların primer ve sekonder metabolitleri, ürettikleri mikotoksinler, aspergillus tipi küflerde ise aflatoksinler gibi kanser yapıcı toksinlerin mevcudiyeti ve zararları ele alınmıştır. Küflü peynirler üzerinde yapılan bir başka çalışmada ise özellikle siyah, beyaz ve kırmızı renkte küf içeren peynir çeşitlerinde aflatoksin miktarının yüksekliğine dikkat çekilmiştir. Bazı mikotoksinlerin DNA hasarı (mutajen) ve fetüs üzerinde sakatlık oluşturma (teratojen) kapasitelerinin olduğu bilinmektedir.http://www.academia.edu/3251581/DUNYADA_VE_TURKIYEDE_INSAN_SAGLIGINI_TEHDIT_EDEN_MIKOTOKSINLERhttp://informahealthcare.com/doi/abs/10.3109/15569549909009258\n",
    "\n",
    " Peynirle ilgili kitaplar \n",
    " \"Süt Uyuyunca - Türkiye Peynirleri\", Artun Ünsal, Yapı Kredi Yayınları, İstanbul, 1. Baskı 1997.\n",
    " \"Türkiye'nin Peynir Hazineleri* \" (Özgün adı: The Treasury of Turkish Cheeses''), Suzanne Swan, Boyut Yayın Grubu, 2005.\n",
    " \"Yurdumuz Peynirlerini Olgunlaştıran Mikroplar ve Anzimleri\", Mehmet Karasoy, Ankara Üniversitesi Veteriner Fakültesi Yay. 1955.\n",
    " \"Her Yönüyle Peynir\", Mehmet Demirci, Hasad Yayıncılık.\n",
    " \"Türkiye'de Yapılan Muhtelif Tip Peynirler ve Özellikleri\", Dilek Uraz - Abdi Karacabey, Ankara, 1974.\n",
    " \"Peynir\", Rauf Cemil Adam, Ege Üniv. Matbaası, 1974.\n",
    " \"Peynir Teknolojisi Bibliyografyası\", Tümer Uraz, Ankara Üniv.\n",
    " \"Sütçülük, Tereyağcılık ve Peynircilik Sanatları'\" (Eski Türkçe), Onnik İhsan, Matbaa-i Âmire, İstanbul, 1915.\n",
    "\n",
    "Ayrıca bakınız \n",
    " Mandıra ürünü\n",
    "\n",
    "Notlar \n",
    "\n",
    " \n",
    "Süt ürünleri\n",
    "Farsçadan Türkçeye geçen sözcükler\"\"\"\n",
    "\n",
    "keywords = ['peynir', 'peynirin', 'peynirler', 'olarak', 'ton', 'süt', 'avrupa', 'right', 'align', 'yapılan', 'altı', 'üretimi', 'protein', 'büyük', 'elde', 'amerika', 'almanya', 'sütünden', 'fransa', 'dünya', 'farklı', 'küflü', 'ilk', 'kalsiyum', 'çok', 'türkiye', 'peyniri', 'yağ', 'gelen', '20', 'sütü', 'tüketimi', 'tuzlu', 'milyon', 'liderdir', 'olan', 'diğer', 'com', 'doğu', 'daki', 'beyaz', 'devletleri', '2014', 'üzerinde', 'web', 'mayası', 'eski', 'manasına', 'olduğu', 'sağlıklı', 'ortaya', 'www', 'veya', 'tuzlama', 'sütün', 'üretiminin', 'suyu', 'suyunun', 'orta', 'tarafından', 'ankara', 'üretim', 'birleşik', 'lor', 'inek', 'iç', 'göre', 'edilmektedir', 'http', 'üniv', 'üzerine', 'ürünü', '11', '10', '90', '000', 'du', 'dillerinde', 'çeşitli', 'çeşitleri', 'caseus', 'cheese', 'dolayısıyla', 'asit', 'başına', 'asp', 'asya', 'ayrıca', 'üretilen', 'başladı', 'başka', 'besin', 'kaynağıdır', 'kelimeler', 'kalıp', 'yöresel', 'içeren', 'hint', 'ikinci', 'zamandan', 'hollanda', 'günümüz', 'food', 'fermente', 'gb', 'geliyordu', 'fabrika', 'edilen', 'olması', 'olmasına', 'yaygın', 'yapımı', 'olmadığı', 'mısır', 'mö', 'modern', 'maison', 'mandıra', 'nde', 'lk', 'listeria', 'language', 'lait', 'mehmet', 'kullanılmıştır', 'kişi', 'kültürü', 'küf', 'kültürler', 'kullanılan', 'hayvan', 'ilgili', 'içerir', 'ihracat', 'ihraç', 'roma', 'yaklaşık', 'yalnızca', 'peynirleri', 'peynirlerden', 'yapı', 'uraz', 'uyutmak', 'uygun', 'vardır', 'rağmen', 'stanbul', 'scripts', 'yazılı', 'ref', 'proteini', 'public', 'saf', 'te', 'stat', 'sütten', 'türk', 'udhıttı', 'udhıtmak', 'tütün', 'şeklinde', 'üretiyorlardı', 'üretirken', 'üretir', 'üretimlerinin', 'üretimine', 'üretiminden', 'üretiminde', '1860', '1851', '1815']\n",
    "# TF-IDF vektörizer oluştur\n",
    "tfidf_vectorizer = TfidfVectorizer()\n",
    "\n",
    "# Texti ve anahtar kelimeleri TF-IDF vektörlerine dönüştür\n",
    "text_tfidf = tfidf_vectorizer.fit_transform([text])\n",
    "keywords_tfidf = tfidf_vectorizer.transform(keywords)\n",
    "\n",
    "# Benzerlik hesapla\n",
    "similarities = []\n",
    "for i in range(keywords_tfidf.shape[0]):\n",
    "    keyword_tfidf = keywords_tfidf[i, :]\n",
    "    similarity = cosine_similarity(text_tfidf, keyword_tfidf)\n",
    "    similarities.append((keywords[i], similarity[0][0]))\n",
    "\n",
    "# Sonuçları yazdır\n",
    "for keyword, similarity in similarities:\n",
    "    #print(f\"Keyword: {keyword}, Similarity: {similarity}\")\n",
    "\n",
    "# En yüksek benzerliğe sahip olan ilk 5 anahtar kelimeyi filtrele\n",
    "    top_5_keywords = sorted(similarities, key=lambda x: x[1], reverse=True)[:5]\n",
    "\n",
    "# Sonuçları yazdır\n",
    "for keyword, similarity in top_5_keywords:\n",
    "    print(f\"Keyword: {keyword}, Similarity: {similarity}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    " "
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": ".venv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}