library(shiny)
library(shinyjs)
library(bslib)
library(dplyr)
library(ggplot2)
library(tm)
library(SnowballC)
library(plotly)
library(text2vec)
library(tokenizers)
library(dplyr)
library(tidyr)
library(igraph)
library(ggraph)
library(topicmodels)
library(wordcloud)
library(wordcloud2)
library(reshape2)
library(SnowballC)
library(RColorBrewer)
library(syuzhet)
library(cluster)
library(tidytext)
library(word2vec)
library(Rtsne)
library(umap)
library(MASS)
library(koRpus)
library(openxlsx)
library(tools)
library(shinyWidgets)
options(width = 150)
options(digits = 4, scipen = 1000000000)
options(shiny.maxRequestSize=30*1024^2)



# Function to process a chunk of lines and update word counts
process_chunk <- function(chunk, word_counts) {
  max_word_length <- 1000  # Set a maximum word length
  
  for (line in chunk) {
    words <- unlist(strsplit(line, "\\s+"))  # Splitting line into words
    for (word in words) {
      word <- as.character(word)  # Ensure 'word' is a character string
      if (nchar(word) == 0 || nchar(word) > max_word_length) {
        next  # Skip empty words or words that are too long
      }
      # Check if word exists and get the current count
      if (!is.null(word_counts[[word]])) {
        current_count <- word_counts[[word]]
      } else {
        current_count <- 0
      }
      word_counts[[word]] <- current_count + 1
    }
  }
  return(word_counts)
}

# Main function to count word frequencies in the file
count_word_frequencies <- function(file_path) {
  con <- file(file_path, "r")      # Open file connection
  word_counts <- new.env(hash = TRUE, size = 600000)  # Initialize environment for counting
  
  while(TRUE) {
    lines <- readLines(con, n = 5000)  # Adjust 'n' based on system capability
    if (length(lines) == 0) {
      break
    }
    word_counts <- process_chunk(lines, word_counts)
  }
  
  close(con)  # Close file connection
  return(as.list(word_counts))  # Convert environment to list for easy access
}

ui <- fluidPage(
  theme = bs_theme(version = 5, bootswatch = "spacelab"),
  useShinyjs(),  # Initialize shinyjs
  titlePanel("PtteM Data Science"),
  tags$head(tags$link(rel = "stylesheet", href="https://fonts.googleapis.com/css?family=Montserrat:100,300,400,700&display=swap"),
            tags$style(HTML("
        body, h1, h2, h3, h4, h5, h6, .nav, p, a, .shiny-input-container {
        font-family: 'Montserrat'; /* Font type for the title attribute */
        font-weight: 385;
        color: #007c9e !important;
      }
        * {
        font-family: 'Montserrat', sans-serif;
        font-weight: 385; 
        color: #195576; /* Blue color */
      }
        body { 
        background-color: #f7f7f7; /* Light gray background */
        }
      .icon-btn {
        border: 1px solid #0d6efd; /* Example border: solid, 2 pixels, #555 color */
        border-radius: 15%; /* Circular border */
        color: #00969e; /* Icon color */
        font-family: 'Montserrat'; /* Font type for the title attribute */
        font-weight: 385;
        background-color: #f7f7f7;
        padding: 125px; /* Space around the icon */
        margin: 25px; /* Space around the button */
        font-size: 24px; /* Icon size */
        box-shadow: 0 2px 4px rgba(0,0,0,0.2);
      }
      .icon-btn:hover {
        color: #00969e; /* Icon color on hover */
        border-color: #007c9e;
        background-color: #ebfbfd;/* Border color on hover */
      }
           /* Add custom styles here */
      .shiny-input-container {
        margin-bottom: 15px;
      }
      .box {
        border: 1px solid #ddd;
        padding: 20px;
        border-radius: 50px;
        margin-bottom: 200px;
        gap: 200px;
        align-items: center;
      }
    #statsTable_wrapper {
      margin: 0 auto;
    }
    .shiny-output-error {
    border: 1px solid #FF0000; /* Red border on error */
    }
      /* If you want to change the font size of the tooltip, you can add custom CSS for the 'title' attribute's default styling. */
    "))),
  tags$head(
    # Include JavaScript to reload the page
    tags$script(HTML("
    document.addEventListener('DOMContentLoaded', function() {
    document.getElementById('myElement').style.color = '#0d6efd'; // Change to your desired color
  });
"))
  ),
  tags$head(
    tags$script(HTML("
      function reloadPage() {
        window.location.reload();
      }
    "))
  ),
  # Refresh button that calls the JavaScript function
  actionButton("refresh", "Refresh Analysis", onclick = "reloadPage();"),
  # Help Text or Information for the user
  helpText("Bu uygulama ile metin analizi başlığı altındaki veri bilimi fonksiyonlarına erişebilirsiniz."),
        # Your tabsetPanel or other UI elements for Text Analytics
        # Your content for Web Scraping
        h2("Text Analytics Section"),
        tabsetPanel(
          tabPanel("Word Frequency Plots",
                   sidebarLayout(
                     sidebarPanel(
                       # Sidebar content
                       fileInput("textFile", "Choose text file",
                                 accept = c("text/plain", ".txt")),
                       actionButton("countBtn", "Count Words"),
                       HTML("<div>
  <h2>Metin İlişkileri Paneli</h2>
  <p>Bu panel, kullanıcıların metin dosyalarında belirli terimler arasındaki ilişkileri keşfetmelerini sağlar. Kullanım adımları şunlardır:</p>
  <ol>
    <li><strong>Dosya Yükleme:</strong> Kullanıcılar <code>fileInput</code> aracılığıyla analiz için metin dosyalarını yüklerler.</li>
    <li><strong>Terimleri Girme:</strong> Kullanıcılar, analiz edilecek terimleri virgülle ayrılmış olarak <code>textInput</code> aracılığıyla girerler.</li>
    <li><strong>İlişkileri Bul:</strong> <code>actionButton</code> kullanılarak ilişki analizini başlatılır ve sonuçlar <code>tableOutput</code> ile gösterilir.</li>
  </ol>
  <h3>Çıktının Anlamı ve Kullanımı</h3>
  <p>Analiz sonucunda elde edilen tablo, girilen terimlerle ilişkili diğer terimleri ve bunların korelasyon değerlerini içerir. Bu değerler, terimler arasındaki ilişkinin gücünü gösterir.</p>
  <h3>Veri Bilimi Kullanım Alanları</h3>
  <p>Metin ilişkileri analizi, metin madenciliği, SEO, içerik analizi ve dil modellemesi gibi çeşitli veri bilimi uygulamalarında kullanılır. Elde edilen bilgiler, metnin içeriğini daha iyi anlamak ve belirli konular veya kavramlar hakkında bilgi edinmek için kullanılabilir.</p>
  <h3>Desteklenen Dosya Tipleri</h3>
  <p>Kullanıcılar, genellikle düz metin formatında (.txt) dosyaları yükleyebilirler.</p>
  <h3>Sonuçların Yorumlanması</h3>
  <p>Kullanıcılar, çıkan sonuçları metnin içerdiği temaları, sık kullanılan terimleri ve dilin kullanım zenginliğini anlamak için kullanabilirler. Örneğin, bir kelime bulutu veya sıklık tablosu, metnin odaklandığı anahtar kavramları ve konuları ortaya çıkarabilir. Bu bilgiler, içerik stratejileri geliştirme, SEO (Arama Motoru Optimizasyonu) için anahtar kelime analizi veya metin tabanlı araştırmalar için kullanılabilir. İşte bu analizlerin uygulanabileceği bazı örnek durumlar:</p>
  
  <ul>
    <li><strong>Eğitim Materyallerinin Analizi:</strong> Eğitim metinlerinde en sık kullanılan kelimelerin analizi, öğretim materyallerinin odak noktalarını ve ana temalarını belirlemeye yardımcı olabilir. Bu, ders içeriklerinin iyileştirilmesi veya öğrencilerin ilgi alanlarına yönelik materyallerin geliştirilmesinde kullanılabilir.</li>
    <li><strong>Pazarlama Kampanyalarının Değerlendirilmesi:</strong> Reklam ve pazarlama metinlerindeki kelime kullanımının analizi, hedef kitleye yönelik mesajların etkinliğini ölçmede önemlidir. En çok kullanılan kelimeler, kampanyanın vurgulamak istediği mesajları ve müşteriye hitap etme şeklini gösterebilir.</li>
    <li><strong>Akademik Araştırmalarda Trend Analizi:</strong> Akademik yayınlarda kullanılan terimlerin frekans analizi, araştırma alanlarındaki eğilimleri ve popüler konuları ortaya çıkarabilir. Bu, gelecekteki araştırma yönlerini belirlemek ve akademik çalışmaların odaklanacağı alanları anlamak için kullanılabilir.</li>
  </ul>
  
  <p>Bu örnekler, metin analizinin, çeşitli alanlardaki içerik ve stratejileri anlamak ve geliştirmek için nasıl kullanılabileceğini göstermektedir.</p>
</div>
")
                       
                     ),
                     
                     mainPanel(
                       
                       
                       # Use fluidRow and column to organize the layout
                       fluidRow(
                         column(4, tableOutput("wordFrequencyTable")),  # Word frequency list in the left column
                         column(5, uiOutput("wordcloudPlot")),
                       )
                     )
                   )
          ),
          # Tab for Text Associations
          tabPanel("Text Associations",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("assocFileUpload", "Upload Text File for Associations", accept = c("text/plain", ".txt")),
                       textInput("terms", "Enter Terms (comma-separated)"),
                       actionButton("assocBtn", "Find Associations"),
                       HTML("<div>
  <h2>Metin İlişkileri Bölümü</h2>
  <p>Çıktı, metinde sıkça bir arada geçen terimler arasındaki istatistiksel ilişkilerin bir tablosunu içerir ve metin madenciliği ile doğal dil işleme çalışmalarında terimlerin birbiriyle olan bağlamını ve ilişkili oldukları kavramları anlamak için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3>
  <ol>
    <li><strong>Metin Dosyası Yükleme:</strong> <code>fileInput</code> aracı ile analiz edilmek üzere bir metin dosyası yükleyin.</li>
    <li><strong>Terim Girişi:</strong> <code>textInput</code> ile virgülle ayrılmış terimler girin.</li>
    <li><strong>İlişki Analizi:</strong> <code>Find Associations</code> butonuna tıklayarak ilişki analizini başlatın.</li>
  </ol>

  <h3>Kullanıcı Etkileşimi:</h3>
  <p>Kullanıcılar, analiz edilecek terimleri ve metin dosyasını yükledikten sonra analizi başlatmak için bir butona tıklarlar. İlişkiler ve korelasyon değerleri bir tablo olarak gösterilir.</p>

  <h3>Veri Bilimi Alanındaki Kullanımı:</h3>
  <p>Metin ilişkileri analizi, metin madenciliği, içerik analizi, SEO optimizasyonu ve dil modellemesi gibi alanlarda kullanılır. Metinlerdeki gizli kalıpları ortaya çıkarmak ve metin içeriğini daha iyi anlamak için faydalıdır.</p>

  <h3>Desteklenen Dosya Tipleri:</h3>
  <p>Kullanıcılar, düz metin (.txt) dosyalarını yükleyebilirler.</p>

  <h3>Sonuçların Yorumlanması:</h3>
  <p>Elde edilen tablodaki ilişkiler ve korelasyon skorları, terimlerin birbiriyle olan ilişkisinin güçlülüğünü gösterir. Yüksek korelasyon skorları, terimlerin metinde sıkça birlikte kullanıldığını ve güçlü bir ilişki içinde olabileceğini işaret eder. Bu bilgiler, içerik yazarları, pazar araştırmacıları ve dil araştırmacıları tarafından, anahtar kelimelerin ve konseptlerin belirlenmesinde kullanılabilir. Örneklerle açıklamak gerekirse:</p>
  
  <ul>
    <li><strong>Sosyal Medya Analizi:</strong> Sosyal medya gönderilerindeki terim ilişkileri, popüler konuların ve trendlerin anlaşılmasında yardımcı olabilir. Örneğin, bir ürün lansmanı sırasında sıkça birlikte anılan terimler, müşterilerin ilgi alanlarını ve pazarlama stratejilerinin etkinliğini gösterir.</li>
    <li><strong>Akademik Araştırmalar:</strong> Bilimsel makalelerdeki terim ilişkileri, araştırma alanlarında gündemde olan konuları ve sıkça ele alınan kavramları ortaya çıkarabilir. Bu, araştırma trendlerini ve bilimsel topluluğun odak noktalarını anlamada önemlidir.</li>
    <li><strong>İçerik Pazarlama:</strong> Web siteleri ve blog yazıları için yapılan analizler, SEO optimizasyonu için anahtar terim kombinasyonlarını belirleyebilir. Bu kombinasyonlar, arama motoru sıralamalarını iyileştirmek ve hedef kitleye daha iyi ulaşmak için kullanılabilir.</li>
  </ul>
  
  <p>Bu örnekler, metin ilişkileri analizinin, farklı alanlarda veriye dayalı kararlar almak ve stratejiler geliştirmek için nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       tableOutput("assocTable")  # Output for association table
                     )
                   )
          ),
          #Sentiment Analysis
          tabPanel("Sentiment Analysis",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("SAFileUpload", "Upload Text File for Sentiment Analysis", 
                                 accept = c("text/plain", ".txt")),
                       actionButton("SABtn", "Analyze Sentiment"),
                       HTML("<div>
  <h2>Duygu Analizi Paneli</h2>
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, yüklenen metin dosyalarındaki cümlelerin veya ifadelerin duygusal yükünü analiz eder ve sonuçları bir bar grafiği olarak gösterir. Duygu analizi, metnin genel tonunu ve duygusal içeriğini anlamak için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3>
  <ol>
    <li>Metin dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><code>Analyze Sentiment</code> butonuna tıklayarak duygu analizini başlatın.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, dosya yükleme ve analiz başlatma işlemlerini basit arayüz elemanları üzerinden gerçekleştirebilirler. Analiz sonucunda, duygusal ifadelerin sıklığına dayalı bir grafik elde edilir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> Duygu analizi, müşteri geri bildirimleri, sosyal medya gönderileri, ürün yorumları gibi metinlerin duygusal eğilimlerini değerlendirmede kullanılır. Bu sayede, müşteri memnuniyeti, pazar araştırmaları ve kamuoyu analizi gibi alanlarda derinlemesine bilgiler elde edilir.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, analiz için genellikle düz metin formatında (.txt) dosyalarını yükleyebilirler.</p>
  <h3>Sonuçların Yorumlanması:</h3>
  <p> Bar grafiği, belirli duygusal niteliklere sahip ifadelerin metinde ne sıklıkla geçtiğini gösterir. Bu veriler, içerik yazarlarına duygusal tonları ayarlamada, pazarlamacılara ve ürün geliştiricilere müşteri duyarlılıklarını ölçmede yardımcı olabilir. Örneklerle açıklamak gerekirse:</p>
  
  <ul>
    <li><strong>Sosyal Medya Kampanyaları:</strong> Bir markanın sosyal medya gönderileri üzerinde yapılan duygu analizi, hangi tür gönderilerin olumlu veya olumsuz tepkiler aldığını gösterebilir. Bu bilgi, markanın gelecekteki içerik stratejilerini şekillendirmek için kullanılabilir.</li>
    <li><strong>Müşteri Geri Bildirimleri:</strong> Müşteri geri bildirimlerinde yapılan duygu analizi, ürün veya hizmetlerle ilgili müşteri memnuniyet seviyelerini gösterir. Olumsuz duyguların yoğun olduğu alanlar, iyileştirme gerektiren konuları işaret eder.</li>
    <li><strong>Haber Metinleri:</strong> Haber metinlerinde duygu analizi, haberin tonunu ve toplum üzerindeki potansiyel etkisini belirlemek için kullanılabilir. Örneğin, siyasi haberlerdeki duygusal ifadeler, kamuoyunun tepkisini öngörmekte yardımcı olabilir.</li>
  </ul>
  
  <p>Bu örnekler, duygu analizinin metin içeriklerinin duygusal yönlerini daha iyi anlamak ve buna göre stratejiler geliştirmek için nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       plotlyOutput("sentimentPlot", width = "100%", height = "650px")  # Output for the sentiment bar plot
                     )
                   )
          ),
          # N-Gram Analysis
          tabPanel("N-Gram Analysis",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("fileBigram", "Choose a Text File"),
                       actionButton("btnBigram", "Analyze Bigrams"),
                       actionButton("btnTrigram", "Analyze Trigrams"),
                       actionButton("btnFourgram", "Analyze Four-grams"),
                       HTML("<div>
  <h2>N-Gram Analizi Paneli</h2>
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, metinlerdeki kelime gruplarının (bigram, trigram ve four-gram) sıklığını analiz etmek ve görselleştirmek için kullanılır. N-gramlar, metinde sıkça birlikte kullanılan ardışık kelime kombinasyonlarını belirler ve dil yapısını anlamak için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3></p>
  <ol>
    <li><strong>Metin Dosyası Yükleme:</strong> Analiz için bir metin dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><strong>N-Gram Analizi:</strong> Bigram, trigram veya four-gram analizi için ilgili butonlara (<code>btnBigram</code>, <code>btnTrigram</code>, <code>btnFourgram</code>) tıklayın.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, analizi başlatmak için ilgili N-gram düğmesine tıklarlar ve sonuçlar grafik olarak ana panelde gösterilir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> N-gram analizi, dil modellemesi, metin madenciliği ve makine öğrenmesi uygulamalarında kullanılır. Özellikle, doğal dil işleme (NLP) ve konuşma tanıma sistemlerinde önemli bir rol oynar.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, genellikle düz metin formatında (.txt) dosyalarını yükleyebilirler.</p>
  
  <h3>Sonuçların Yorumlanması:</h3> Elde edilen grafikler, metindeki en sık kullanılan kelime kombinasyonlarını gösterir. Bu bilgiler, metin üzerinde daha ayrıntılı dil analizleri yapılmasına olanak tanır ve dilin kullanım kalıplarını ortaya çıkarır. Örneklerle açıklamak gerekirse:</p>
  
  <ul>
    <li><strong>Metin Stili Analizi:</strong> Edebi metinlerde yapılan N-Gram analizi, yazarın kullanım tercihlerini ve yazım stilini ortaya çıkarabilir. Örneğin, belirli kelime kombinasyonlarının sıklığı, yazarın belirli temaları veya anlatım tarzını vurgulama şeklini gösterebilir.</li>
    <li><strong>Konuşma Dili İncelenmesi:</strong> Günlük konuşma dilindeki metinler üzerinde yapılan N-Gram analizi, dilin doğal kullanımını ve yaygın ifade biçimlerini ortaya koyabilir. Bu, dil öğrenimi ve dilbilimsel araştırmalar için yararlıdır.</li>
    <li><strong>SEO ve İçerik Analizi:</strong> Web içeriklerinde ve SEO çalışmalarında N-Gram analizi, arama motorlarında popüler olan kelime öbeklerini belirlemede kullanılabilir. Bu sayede, hangi terim kombinasyonlarının daha etkili olduğunu anlamak ve içerik stratejilerini buna göre şekillendirmek mümkün olur.</li>
  </ul>
  
  <p>Bu örnekler, N-Gram analizlerinin metin içeriklerinin daha derinlemesine anlaşılmasında nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       plotlyOutput("bigramPlot", width = "100%", height = "650px"),
                       plotlyOutput("trigramPlot", width = "100%", height = "650px"),
                       plotlyOutput("fourgramPlot", width = "100%", height = "650px")
                     )
                   )
          ),
          # N-Gram Network Analysis
          tabPanel("N-Gram Network Graphs",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("fileNgramNet", "Choose a Text File for N-Gram Analysis"),
                       hr(),
                       tags$h4("Select the N-Gram network to display:"),
                       radioButtons("selectNgramNet", label = NULL,
                                    choices = list("Bigram Network" = "bigram",
                                                   "Trigram Network" = "trigram",
                                                   "Fourgram Network" = "fourgram"),
                                    selected = "bigram"),
                       HTML("<div>
  <h2>N-Gram Ağ Analizi Paneli</h2>
  
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, metin dosyalarındaki ardışık kelime gruplarının (bigram, trigram ve four-gram) ağ yapılarını analiz etmek ve görselleştirmek için kullanılır. Bu ağlar, kelime ilişkilerinin karmaşıklığını ve metin içindeki yapısını gösterir, dilin yapısını ve kelime öbeklerinin birbiriyle olan ilişkilerini derinlemesine anlamak için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3></p>
  <ol>
    <li><strong>Metin Dosyası Yükleme:</strong> Analiz için bir metin dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><strong>Ağ Türünü Seçme:</strong> Bigram, trigram veya four-gram ağını göstermek için <code>radioButtons</code> ile seçim yapın.</li>
    <li><strong>Ağ Analizi:</strong> Seçilen N-gram türüne göre ağ analizi yapılır ve sonuçlar ağ grafiği olarak gösterilir.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, analiz edilecek N-gram türünü seçtikten sonra, sonuçlar dinamik olarak ana panelde ağ grafiği şeklinde güncellenir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> N-gram ağ analizi, metin madenciliği, dil modellemesi, ve konuşma veya yazı dilinin otomatik olarak işlenmesi gibi alanlarda kullanılır. Özellikle, doğal dil işleme (NLP) ve metin sınıflandırma gibi uygulamalar için önemlidir.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, genellikle düz metin formatında (.txt) dosyalarını yükleyebilirler.</p>
  
  <h3>Sonuçların Yorumlanması:</h3> Ağ grafiği, kelimelerin birbiriyle olan ilişkilerinin sıklığını ve gücünü görsel olarak ifade eder. Kelimeler arasındaki bağların genişliği, o iki kelimenin metin içinde bir arada ne kadar sıklıkla kullanıldığını gösterir. Bu, metnin içeriği ve kelime kullanımı hakkında önemli bilgiler sağlar. Örnek olarak:</p>
  
  <ul>
    <li><strong>Edebiyat Analizi:</strong> Edebi eserlerde yapılan N-Gram ağ analizi, yazarın kullanım tercihlerini ve tarzını ortaya çıkarabilir. Örneğin, bazı kelime kombinasyonlarının tekrarlanması, yazarın belirli temaları veya kavramları vurgulama biçimini gösterebilir.</li>
    <li><strong>Trend Analizi:</strong> Sosyal medya metinlerinde uygulanan N-Gram analizi, popüler terimler ve ifadeler arasındaki ilişkileri ortaya çıkarabilir. Bu, halkın ilgi alanlarını ve sosyal medya üzerindeki konuşma trendlerini anlamak için kullanılabilir.</li>
    <li><strong>Pazarlama Stratejileri:</strong> Müşteri yorumlarındaki N-Gram analizi, müşterilerin en çok neye odaklandığını ve hangi özelliklerin veya konuların daha fazla dikkat çektiğini gösterir. Bu, ürün geliştirme ve pazarlama iletişiminde önemli içgörüler sunar.</li>
  </ul>
  
  <p>Bu örnekler, N-Gram ağ analizlerinin metin içeriklerinin daha derinlemesine anlaşılmasında nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       # Use conditionalPanel to show the graph based on the selected N-Gram type
                       conditionalPanel(
                         condition = "input.selectNgramNet == 'bigram'",
                         plotlyOutput("bigramNetworkPlot", width = "100%", height = "650px")
                       ),
                       conditionalPanel(
                         condition = "input.selectNgramNet == 'trigram'",
                         plotlyOutput("trigramNetworkPlot", width = "100%", height = "650px")
                       ),
                       conditionalPanel(
                         condition = "input.selectNgramNet == 'fourgram'",
                         plotlyOutput("fourgramNetworkPlot", width = "100%", height = "650px")
                       )
                     )
                   )
          ),
          #Clustering K-Means/PCA
          tabPanel("Clustering K-Means/PCA",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("dataFile", "Upload CSV or Text File"),
                       numericInput("numClusters", "Number of Clusters", value = 3, min = 3),
                       actionButton("runAnalysis", "Run Clustering Analysis"),
                       HTML("<div>
  <h2>K-Means/PCA Kümeleme Paneli</h2>
  
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, K-Means kümeleme ve PCA (Temel Bileşen Analizi) kullanarak metin verilerini kümeler halinde görselleştirir. Bu analiz, büyük veri kümelerini anlamak ve altta yatan yapıları veya grupları keşfetmek için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3></p>
  <ol>
    <li><strong>Dosya Yükleme:</strong> CSV veya metin dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><strong>Küme Sayısı Belirleme:</strong> Analiz için kullanılacak küme sayısını <code>numericInput</code> ile belirleyin.</li>
    <li><strong>Kümeleme Analizi:</strong> <code>runAnalysis</code> butonuna tıklayarak kümeleme analizini başlatın.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, dosya yükleyip küme sayısını belirledikten sonra analizi başlatır ve sonuçlar ana panelde görselleştirilir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> Kümeleme, metin madenciliği, veri görselleştirme ve doğal dil işleme gibi alanlarda kullanılır. Bu teknikler, veri setlerinin anlaşılmasına ve verilerin yapısal özelliklerinin ortaya çıkarılmasına yardımcı olur.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, analiz için CSV veya düz metin (.txt) formatında dosyalar yükleyebilirler.</p>
  
  <h3>Sonuçların Yorumlanması:</h3> Elde edilen grafikler, verilerin nasıl kümelere ayrıldığını ve her kümenin veri seti içindeki konumunu gösterir. Bu sonuçlar, veri setinin altında yatan desenler ve gruplar hakkında önemli bilgiler sağlar. Örnek olarak:</p>
  
  <ul>
    <li><strong>Pazar Araştırması:</strong> Müşteri geri bildirimleri veya satın alma davranışları üzerinde yapılan K-Means analizi, müşteri segmentlerini ortaya çıkarabilir. Örneğin, farklı satın alma eğilimlerine göre müşteri grupları belirlenebilir, bu da hedeflenmiş pazarlama ve ürün geliştirme stratejilerine yol gösterir.</li>
    <li><strong>Sağlık Verileri Analizi:</strong> Hastaların tıbbi kayıtları üzerinde yapılan PCA ve K-Means analizi, hastalık türlerine veya tedaviye yanıt verme biçimlerine göre farklı hasta gruplarını ayırt edebilir. Bu, hastalıkların daha iyi anlaşılmasını ve kişiselleştirilmiş tedavi yaklaşımlarının geliştirilmesini sağlar.</li>
    <li><strong>Sosyal Medya Trend Analizi:</strong> Sosyal medya gönderileri üzerinde uygulanan K-Means ve PCA, popüler konuları ve kullanıcıların ilgi alanlarını belirleyebilir. Bu analiz, sosyal medya kampanyalarının ve içerik stratejilerinin daha etkili planlanmasına yardımcı olur.</li>
  </ul>
  
  <p>Bu örnekler, K-Means ve PCA kümeleme analizlerinin, farklı türde veri setlerindeki gizli yapıları ve grupları keşfetmede nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       plotlyOutput("pcaPlot", width = "100%", height = "650px")
                     )
                   )
          ),
          #t-SNE Clustering
          tabPanel("t-SNE Clustering",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("tsneDataFile", "Upload Text or CSV File"),
                       numericInput("tsnePerplexity", "Perplexity", value = 30, min = 5, max = 50),
                       numericInput("tsneDims", "Number of Dimensions", value = 2, min = 2, max = 3),
                       numericInput("tsneMaxIter", "Max Iterations", value = 500, min = 200, max = 1000),
                       actionButton("runTsne", "Run t-SNE"),
                       HTML("<div>
  <h2>t-SNE Kümeleme Paneli</h2>
  
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, t-SNE (t-Distributed Stochastic Neighbor Embedding) algoritması kullanarak yüksek boyutlu verilerin iki veya üç boyutlu bir uzayda görselleştirilmesini sağlar. Bu yöntem, veriler arasındaki ilişkileri ve grupları anlamak için kullanılır, özellikle karmaşık ve yüksek boyutlu veri setlerinde.</p>
  
  <h3>Kullanım Adımları:</h3></p>
  <ol>
    <li><strong>Dosya Yükleme:</strong> Metin veya CSV dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><strong>Parametre Ayarları:</strong> <code>numericInput</code> aracılığıyla t-SNE için perplexity, boyut sayısı ve maksimum iterasyon değerlerini ayarlayın.</li>
    <li><strong>t-SNE Analizi:</strong> <code>runTsne</code> butonuna tıklayarak t-SNE analizini başlatın.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, dosya yükleyip gerekli parametreleri ayarladıktan sonra analizi başlatır ve sonuçlar interaktif bir grafik olarak ana panelde gösterilir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> t-SNE, veri görselleştirme, makine öğrenmesi ve doğal dil işleme gibi alanlarda yaygın olarak kullanılır. Özellikle, yüksek boyutlu verilerin görselleştirilmesi ve anlaşılması için tercih edilen bir yöntemdir.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, analiz için metin (.txt) veya CSV (.csv) formatında dosyalar yükleyebilirler.</p>
  
  <h3>Sonuçların Yorumlanması:</h3> Elde edilen grafik, verilerin iki veya üç boyutlu uzaydaki dağılımını gösterir. Bu dağılım, veri setindeki grupları ve potansiyel ilişkileri ortaya çıkarır, böylece kullanıcılar veri setinin altında yatan yapıları anlayabilirler. Örnek olarak:</p>
  
  <ul>
    <li><strong>Müşteri Segmentasyonu:</strong> Müşteri verilerinde yapılan t-SNE analizi, müşterilerin davranışlarına ve tercihlerine göre farklı segmentleri ortaya çıkarabilir. Bu, pazarlama stratejilerinin ve kişiselleştirilmiş hizmetlerin daha etkili bir şekilde hedeflenmesine yardımcı olur.</li>
    <li><strong>Biyoinformatik:</strong> Genetik verilerde t-SNE kullanımı, farklı genetik örüntüler arasındaki ilişkileri ve grupları görselleştirmek için kullanılabilir. Bu, hastalık araştırmaları ve genetik çeşitlilik analizlerinde değerli içgörüler sağlar.</li>
    <li><strong>Sosyal Ağ Analizi:</strong> Sosyal medya verilerinde uygulanan t-SNE, kullanıcı gruplarının etkileşimlerini ve topluluk yapılarını anlamak için kullanışlı bir araçtır. Bu, sosyal dinamikler ve etkileşim kalıpları hakkında bilgi verir.</li>
  </ul>
  
  <p>Bu örnekler, t-SNE'nin farklı veri setlerindeki karmaşık yapıları görselleştirmede ve yorumlamada nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       plotlyOutput("tsnePlot", width = "100%", height = "650px")  # Output for the t-SNE plot
                     )
                   )
          ),
          # LDA Topic Modeling
          tabPanel("LDA Topic Modeling",
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("ldaFileUpload", "Upload Text File for Topic Modeling"),
                       numericInput("numTopics", "Number of Topics", value = 5, min = 2),
                       actionButton("runLdaModel", "Run Topic Modeling"),
                       HTML("<div>
  <h2>LDA Konu Modelleme Paneli</h2>
  
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, Latent Dirichlet Allocation (LDA) kullanarak metinlerdeki ana konuları modelleyip görselleştirir. LDA, büyük metin veri setlerindeki gizli konu yapılarını ortaya çıkarır ve metinlerin içeriğini anlamak için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3></p>
  <ol>
    <li><strong>Metin Dosyası Yükleme:</strong> Konu modellemesi için bir metin dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><strong>Konu Sayısı Belirleme:</strong> <code>numericInput</code> ile analiz edilecek konu sayısını belirleyin.</li>
    <li><strong>Modellemeyi Çalıştırma:</strong> <code>runLdaModel</code> butonuna tıklayarak konu modellemesini başlatın.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, dosya yükledikten ve konu sayısını belirledikten sonra analizi başlatır ve sonuçlar ana panelde görselleştirilir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> LDA konu modellemesi, metin madenciliği, belge sınıflandırması ve içerik analizi gibi alanlarda kullanılır. Özellikle, büyük metin veri setlerinin yapısını ve içerdiği ana konuları anlamak için tercih edilen bir yöntemdir.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, analiz için metin (.txt) formatında dosyalar yükleyebilirler.</p>
  
  <h3>Sonuçların Yorumlanması:</h3> Elde edilen grafik, her belgenin hangi konulara ağırlıklı olarak odaklandığını gösterir. Bu, metin setindeki temel konuların ve bu konuların belgeler içindeki dağılımının anlaşılmasına yardımcı olur. Örnek olarak:</p>
  
  <ul>
    <li><strong>Haber Analizi:</strong> Güncel olaylara dair çeşitli haber metinlerinde yapılan LDA analizi, ana gündem maddelerini ve kamuoyunun ilgisini çeken konuları ortaya çıkarabilir. Örneğin, siyasi haberlerdeki ana konular, kamuoyunun gündemindeki politik meseleleri yansıtır.</li>
    <li><strong>Akademik Araştırmalar:</strong> Bilimsel makale koleksiyonlarında LDA modellemesi, araştırma alanlarının ana temalarını ve zaman içindeki gelişimini gösterebilir. Bu, araştırma trendlerini ve popüler konuları anlamak için kullanışlıdır.</li>
    <li><strong>Sosyal Medya İçerik Analizi:</strong> Sosyal medya gönderilerindeki LDA analizi, kullanıcıların en çok ilgilendikleri ve tartıştıkları konuları belirleyebilir. Bu, toplumsal eğilimler ve kullanıcı davranışları hakkında bilgi sağlar.</li>
  </ul>
  
  <p>Bu örnekler, LDA konu modelleme analizinin, metin veri setlerinden derinlemesine içgörüler elde etmek ve ana temaları anlamak için nasıl kullanılabileceğini gösterir.</p>
</div>
")
                     ),
                     mainPanel(
                       plotlyOutput("ldaTopicPlot", width = "100%", height = "650px")
                     )
                   )
          ),
          #Lexical Richness
          tabPanel("Lexical Richness", 
                   sidebarLayout(
                     sidebarPanel(
                       fileInput("fileInput", "Upload Text File"),
                       actionButton("analyzeButton", "Run Lexical Richness"),
                       HTML("<div>
  <h2>Sözcüksel Zenginlik Paneli</h2>
  
  <h3>Çıktı Nedir ve Neden Kullanılır?</h3> Bu panel, yüklenen metinlerin sözcüksel zenginliğini, yani metinde kullanılan benzersiz kelime çeşitliliğini ölçer ve görselleştirir. Sözcüksel zenginlik, bir metnin dil çeşitliliği ve yaratıcılığını değerlendirmek için kullanılır.</p>
  
  <h3>Kullanım Adımları:</h3></p>
  <ol>
    <li><strong>Metin Dosyası Yükleme:</strong> Analiz için bir metin dosyasını <code>fileInput</code> aracılığıyla yükleyin.</li>
    <li><strong>Analizi Çalıştırma:</strong> <code>analyzeButton</code> butonuna tıklayarak sözcüksel zenginlik analizini başlatın.</li>
  </ol>
  
  <h3>Kullanıcı Etkileşimi:</h3> Kullanıcılar, dosya yükledikten sonra analizi başlatır ve sonuçlar histogram olarak ana panelde gösterilir.</p>
  
  <h3>Veri Bilimi Alanındaki Kullanımı:</h3> Sözcüksel zenginlik analizi, metin madenciliği, dilbilimsel analiz ve eğitim alanlarında kullanılır. Bu analiz, yazarların veya konuşmacıların dil kullanımını değerlendirmede ve metinlerin stilistik analizinde yardımcı olur.</p>
  
  <h3>Desteklenen Dosya Tipleri:</h3> Kullanıcılar, analiz için genellikle düz metin (.txt) formatında dosyalar yükleyebilirler.</p>
  
  <h3>Sonuçların Yorumlanması:</h3> Histogram, belirli metin bölümlerindeki sözcüksel zenginlik oranını (Type-Token Ratio, TTR) gösterir. Yüksek TTR değerleri, metinde daha fazla kelime çeşitliliği olduğunu gösterir, bu da dilin zengin ve çeşitli kullanıldığını işaret eder. Örnek olarak:</p>
    <ul>
    <li><strong>Edebiyat ve Yazarlık:</strong> Bir yazarın eserlerindeki kelime çeşitliliği, yaratıcılığının ve dil kullanım becerisinin bir göstergesi olabilir. Örneğin, bir romanın farklı bölümlerinde yapılan analiz, yazarın dil zenginliğini ve karakterlerin konuşma stillerini ayırt etmeye yardımcı olabilir.</li>
    <li><strong>Eğitim ve Dil Öğrenimi:</strong> Eğitim materyalleri veya öğrenci yazılarında yapılan sözcüksel zenginlik analizi, dil öğrenimindeki ilerlemeyi veya öğretim materyallerinin etkinliğini değerlendirmede kullanılabilir. Öğrencilerin yazılarında zaman içinde artan bir TTR, dil becerilerinin geliştiğinin bir işareti olabilir.</li>
    <li><strong>Araştırma ve İçerik Analizi:</strong> Akademik makaleler, haber metinleri veya blog yazıları gibi farklı türdeki metinlerde yapılan analiz, yazarların konuları işleme biçimini ve kullanılan dilin zenginliğini ortaya çıkarabilir. Bu, içeriklerin kalitesi ve çeşitliliği hakkında bilgi verir ve karşılaştırmalı analizler için kullanılabilir.</li>
  </ul>
  
  <p>Bu örnekler, sözcüksel zenginlik analizinin yaratıcılığı, eğitimi ve içerik kalitesini değerlendirmede nasıl kullanılabileceğini gösterir.</p>

</div>
")
                     ),
                     mainPanel(
                       plotlyOutput("richnessPlot", width = "100%", height = "650px")
                     )
                   )
          )
        ),

)

server <- function(input, output, session) {

  # Placeholder for the word frequencies
  word_frequencies <- reactiveVal(list())
  
  observeEvent(input$countBtn, {
    # Make sure a file is uploaded
    if (is.null(input$textFile)) return()
    
    # Call the word counting function
    word_freqs <- count_word_frequencies(input$textFile$datapath)
    
    # Update the reactive value
    word_frequencies(word_freqs)
  })
  
  # Render word cloud based on word frequencies
  output$wordcloudPlot <- renderUI({
    freqs <- word_frequencies()
    if (length(freqs) == 0) return(NULL)
    
    # Create a data frame for the wordcloud2 function
    words_df <- data.frame(word = names(freqs), freq = unlist(freqs))
    wordcloud2(words_df, size = 0.7)
  })
  
  # Render word frequency table
  output$wordFrequencyTable <- renderTable({
    freqs <- word_frequencies()
    if (length(freqs) == 0) return(NULL)
    
    # Sort and create a data frame for rendering as a table
    freqs_sorted <- sort(unlist(freqs), decreasing = TRUE)
    data.frame(word = names(freqs_sorted), freq = freqs_sorted)
  })
  
  # Observe the event of the 'Find Associations' button being clicked
  observeEvent(input$assocBtn, {
    # Ensure a file is uploaded and terms are entered
    req(input$assocFileUpload)
    req(input$terms)
    
    # Read the uploaded file
    original_texts <- readLines(input$assocFileUpload$datapath, warn = FALSE, encoding = "UTF-8")
    
    # Process the text into a corpus and a term-document matrix
    corpus <- Corpus(VectorSource(original_texts))
    corpus <- tm_map(corpus, content_transformer(tolower))
    
    tdm <- TermDocumentMatrix(corpus)
    
    # Get the terms from input, convert to lower case, and find associations
    terms <- tolower(unlist(strsplit(input$terms, "\\s*,\\s*")))
    associations <- findAssocs(tdm, terms, corlimit = 0.25)
    
    # Convert the list of associations to a data frame
    assoc_df <- create_assoc_df(associations)
    
    # Update the association table
    output$assocTable <- renderTable({
      assoc_df
    })
  })
  
  # Helper function to create a data frame from associations
  create_assoc_df <- function(associations) {
    assoc_df <- data.frame(term = character(), associated_term = character(), correlation = numeric(), stringsAsFactors = FALSE)
    for (term in names(associations)) {
      for (assoc_term in names(associations[[term]])) {
        assoc_df <- rbind(assoc_df, data.frame(
          term = term,
          associated_term = assoc_term,
          correlation = associations[[term]][assoc_term],
          stringsAsFactors = FALSE
        ))
      }
    }
    assoc_df <- assoc_df[order(-assoc_df$correlation),] # Sort by correlation
    return(assoc_df)
  }
  
  #Sentiment Analysis
  # Reactive expression that triggers when the actionButton is clicked
  sentimentAnalysis <- eventReactive(input$SABtn, {
    req(input$SAFileUpload)  # Require that a file is uploaded
    
    # Read the text file from the uploaded file
    text <- readLines(input$SAFileUpload$datapath, warn = FALSE, encoding = "UTF-8")
    
    # Initialize progress bar
    withProgress(message = "Analyzing sentiment...", value = 0, {
      # Perform sentiment analysis for each line and update progress
      results <- data.frame()
      for (i in seq_along(text)) {
        # Update progress bar to reflect completion of each line of text
        incProgress(1 / length(text), detail = paste("Processing line", i, "of", length(text)))
        
        # Perform sentiment analysis on the current line of text
        line_result <- get_nrc_sentiment(text[i])
        
        # Combine results into a data frame
        results <- rbind(results, line_result)
        
        # Optionally, insert a short pause or check for a condition to continue
        # Sys.sleep(0.01) # Uncomment if needed to simulate processing time
      }
      
      # Transform the data as needed for plotting
      td <- data.frame(t(results))
      td_new <- data.frame(rowSums(td))
      names(td_new)[1] <- "count"
      td_new <- cbind("sentiment" = rownames(td_new), td_new)
      rownames(td_new) <- NULL
      td_new2 <- td_new[1:8,]  # Assuming you want the first 8 sentiments
      
      # Return the ggplot object for rendering
      ggplot(td_new2, aes(x = sentiment, y = count, fill = sentiment)) +
        geom_bar(stat = "identity") +
        labs(y = "count", title = "Sentiment Analysis") +
        theme_minimal() +
        scale_fill_brewer(palette = "Set3")  # Using a color palette for sentiments
    })
  })
  
  # Render the Plotly plot
  output$sentimentPlot <- renderPlotly({
    sentimentAnalysis() %>% ggplotly()  # Convert ggplot to plotly object
  })
  
  
  # Observe event for bigram analysis
  observeEvent(input$btnBigram, {
    req(input$fileBigram)  # Make sure a file is uploaded
    
    # Read the text file
    text_data <- readLines(input$fileBigram$datapath, warn = FALSE)
    text_combined <- paste(text_data, collapse = " ")
    
    # Tokenize the text into bigrams
    bigrams <- unlist(tokenize_ngrams(text_combined, n = 2))
    bigram_df <- data.frame(table(bigrams))
    bigram_df <- bigram_df[order(-bigram_df$Freq), ]
    
    # Extended custom color palette with 20 unique colors
    my_colors <- c("#1f77b4", "#ff7f0e", "#2ca02c", "#d62728", "#9467bd", 
                   "#8c564b", "#e377c2", "#7f7f7f", "#bcbd22", "#17becf", 
                   "#1a55FF", "#ffBB78", "#2ca02c", "#d62728", "#9467bd", 
                   "#c5b0d5", "#8c564b", "#c49c94", "#e377c2", "#f7b6d2",
                   "#7b4173", "#a55194", "#ce6dbd", "#de9ed6", "#31a354",
                   "#74c476", "#a1d99b", "#c7e9c0", "#756bb1", "#9e9ac8",
                   "#bcbddc", "#dadaeb", "#636363", "#969696", "#bdbdbd",
                   "#d9d9d9", "#393b79", "#5254a3", "#6b6ecf", "#9c9ede")
    
    
    # Create the bigram plot
    output$bigramPlot <- renderPlotly({
      req(bigram_df) # Ensure bigram_df is available
      
      top_bigrams <- head(bigram_df, 20) # Select the top 20 bigrams
      
      ggplot(top_bigrams, aes(x = reorder(bigrams, Freq), y = Freq, fill = bigrams)) +
        geom_bar(stat = "identity") +
        geom_text(aes(label = Freq), vjust = -0.3, size = 5) + # Increase size of frequency labels
        coord_flip() +
        scale_fill_manual(values = my_colors) +
        labs(title = "Top 20 Bigrams in Text Data", x = "Bigrams", y = "Frequency") +
        theme_minimal() +
        theme(
          legend.position = "none",
          axis.text.y = element_text(size = 11), # Increase size of y-axis text (bigrams)
          axis.text.x = element_text(size = 11)  # Increase size of x-axis text (frequency)
        )
    })
    
    
  })
  
  # Observe event for trigram analysis
  observeEvent(input$btnTrigram, {
    req(input$fileBigram)  # Use the same file input for trigrams
    
    text_data <- readLines(input$fileBigram$datapath, warn = FALSE)
    text_combined <- paste(text_data, collapse = " ")
    
    trigrams <- unlist(tokenize_ngrams(text_combined, n = 3))
    trigram_df <- data.frame(table(trigrams))
    trigram_df <- trigram_df[order(-trigram_df$Freq), ]
    
    # Extended custom color palette with 40 unique colors
    my_colors <- c("#1f77b4", "#ff7f0e", "#2ca02c", "#d62728", "#9467bd", 
                   "#8c564b", "#e377c2", "#7f7f7f", "#bcbd22", "#17becf", 
                   "#1a55FF", "#ffBB78", "#2ca02c", "#d62728", "#9467bd", 
                   "#c5b0d5", "#8c564b", "#c49c94", "#e377c2", "#f7b6d2",
                   "#7b4173", "#a55194", "#ce6dbd", "#de9ed6", "#31a354",
                   "#74c476", "#a1d99b", "#c7e9c0", "#756bb1", "#9e9ac8",
                   "#bcbddc", "#dadaeb", "#636363", "#969696", "#bdbdbd",
                   "#d9d9d9", "#393b79", "#5254a3", "#6b6ecf", "#9c9ede")
    
    output$trigramPlot <- renderPlotly({
      top_trigrams <- head(trigram_df, 20) # Select the top 20 trigrams
      
      ggplot(top_trigrams, aes(x = reorder(trigrams, Freq), y = Freq, fill = trigrams)) +
        geom_bar(stat = "identity") +
        geom_text(aes(label = Freq), vjust = -0.3, size = 5) + # Increase size of frequency labels
        coord_flip() +
        scale_fill_manual(values = my_colors) + # Apply custom color palette
        labs(title = "Top 20 Trigrams in Text Data", x = "Trigrams", y = "Frequency") +
        theme_minimal() +
        theme(
          legend.position = "none",
          axis.text.y = element_text(size = 11), # Increase size of y-axis text (trigrams)
          axis.text.x = element_text(size = 11)  # Increase size of x-axis text (frequency)
        )
    })
    
  })
  
  # Observe event for fourgram analysis
  observeEvent(input$btnFourgram, {
    req(input$fileBigram)  # Use the same file input for four-grams
    
    text_data <- readLines(input$fileBigram$datapath, warn = FALSE)
    text_combined <- paste(text_data, collapse = " ")
    
    fourgrams <- unlist(tokenize_ngrams(text_combined, n = 4))
    fourgram_df <- data.frame(table(fourgrams))
    fourgram_df <- fourgram_df[order(-fourgram_df$Freq), ]
    
    # Extended custom color palette with 20 unique colors
    my_colors <- c("#1f77b4", "#ff7f0e", "#2ca02c", "#d62728", "#9467bd", 
                   "#8c564b", "#e377c2", "#7f7f7f", "#bcbd22", "#17becf", 
                   "#1a55FF", "#ffBB78", "#2ca02c", "#d62728", "#9467bd", 
                   "#c5b0d5", "#8c564b", "#c49c94", "#e377c2", "#f7b6d2",
                   "#7b4173", "#a55194", "#ce6dbd", "#de9ed6", "#31a354",
                   "#74c476", "#a1d99b", "#c7e9c0", "#756bb1", "#9e9ac8",
                   "#bcbddc", "#dadaeb", "#636363", "#969696", "#bdbdbd",
                   "#d9d9d9", "#393b79", "#5254a3", "#6b6ecf", "#9c9ede")
    
    output$fourgramPlot <- renderPlotly({
      top_fourgrams <- head(fourgram_df, 20)  # Select the top 20 fourgrams
      
      ggplot(top_fourgrams, aes(x = reorder(fourgrams, Freq), y = Freq, fill = fourgrams)) + 
        geom_bar(stat = "identity") +
        geom_text(aes(label = Freq), vjust = -0.3, size = 5) +  # Increase size of frequency labels
        coord_flip() +
        scale_fill_manual(values = my_colors) +  # Apply custom color palette
        labs(title = "Top 20 Four-grams in Text Data", x = "Four-grams", y = "Frequency") +
        theme_minimal() +
        theme(
          legend.position = "none",
          axis.text.y = element_text(size = 11),  # Increase size of y-axis text (fourgrams)
          axis.text.x = element_text(size = 11)  # Increase size of x-axis text (frequency)
        )
    })
    
  })
  
  #N-Grams Network Analysis
  output$bigramNetworkPlot <- renderPlotly({
    req(input$fileNgramNet)  # Ensure the file is uploaded
    
    text_data <- readLines(input$fileNgramNet$datapath, warn = FALSE)
    text_combined <- paste(text_data, collapse = " ")
    
    bigrams <- unlist(tokenize_ngrams(text_combined, n = 2))
    bigram_df <- data.frame(table(bigrams))
    
    bigram_network_data <- bigram_df %>%
      head(650) %>%  # Adjust the number based on your needs
      separate(bigrams, into = c("Word1", "Word2"), sep = " ") %>%
      filter(!is.na(Word1) & !is.na(Word2))
    
    bigram_graph <- graph_from_data_frame(bigram_network_data, directed = FALSE)
    
    ggraph(bigram_graph, layout = "fr") +
      geom_edge_link(aes(width = Freq), edge_colour = "gray") +
      geom_node_point(color = "steelblue", size = 3) +
      geom_node_text(aes(label = name), vjust = 1.8, size = 3) +
      theme_void()
  })
  
  #Trigram
  output$trigramNetworkPlot <- renderPlotly({
    req(input$fileNgramNet)  # Ensure the file is uploaded
    
    text_data <- readLines(input$fileNgramNet$datapath, warn = FALSE)
    text_combined <- paste(text_data, collapse = " ")
    
    trigrams <- unlist(tokenize_ngrams(text_combined, n = 3))
    trigram_df <- data.frame(table(trigrams))
    
    trigram_network_data <- trigram_df %>%
      head(650) %>%  # Adjust the number based on your needs
      separate(trigrams, into = c("Word1", "Word2", "Word3"), sep = " ") %>%
      filter(!is.na(Word1) & !is.na(Word2) & !is.na(Word3))
    
    trigram_graph <- graph_from_data_frame(trigram_network_data, directed = FALSE)
    
    ggraph(trigram_graph, layout = "fr") +
      geom_edge_link(aes(width = Freq), edge_colour = "gray") +
      geom_node_point(color = "steelblue", size = 3) +
      geom_node_text(aes(label = name), vjust = 1.8, size = 3) +
      theme_void()
  })
  
  #Fourgram
  output$fourgramNetworkPlot <- renderPlotly({
    req(input$fileNgramNet)  # Ensure the file is uploaded
    
    text_data <- readLines(input$fileNgramNet$datapath, warn = FALSE)
    text_combined <- paste(text_data, collapse = " ")
    
    fourgrams <- unlist(tokenize_ngrams(text_combined, n = 4))
    fourgram_df <- data.frame(table(fourgrams))
    
    fourgram_network_data <- fourgram_df %>%
      head(650) %>%  # Adjust the number based on your needs
      separate(fourgrams, into = c("Word1", "Word2", "Word3", "Word4"), sep = " ") %>%
      filter(!is.na(Word1) & !is.na(Word2) & !is.na(Word3) & !is.na(Word4))
    
    fourgram_graph <- graph_from_data_frame(fourgram_network_data, directed = FALSE)
    
    ggraph(fourgram_graph, layout = "fr") +
      geom_edge_link(aes(width = Freq), edge_colour = "gray") +
      geom_node_point(color = "steelblue", size = 3) +
      geom_node_text(aes(label = name), vjust = 1.8, size = 3) +
      theme_void()
  })
  
  #Clustering K-Means/PCA
  observeEvent(input$runAnalysis, {
    req(input$dataFile)
    
    extension <- tools::file_ext(input$dataFile$name)
    data <- NULL
    
    if (extension == "csv") {
      data <- readr::read_csv(input$dataFile$datapath)
      if (!"Word" %in% names(data)) {
        showNotification("Text column not found in CSV file", type = "error")
        return()
      }
    } else if (extension == "txt") {
      text_content <- readr::read_lines(input$dataFile$datapath)
      if (length(text_content) == 0) {
        showNotification("Empty text file", type = "error")
        return()
      }
      data <- data.frame(text_column = text_content)
    } else {
      showNotification("Unsupported file type", type = "error")
      return()
    }
    
    # Preprocess the text data
    text_corpus <- Corpus(VectorSource(data$text_column))
    text_corpus <- tm_map(text_corpus, content_transformer(tolower))
    text_corpus <- tm_map(text_corpus, removePunctuation)
    text_corpus <- tm_map(text_corpus, removeNumbers)
    text_corpus <- tm_map(text_corpus, removeWords, stopwords("english"))
    text_corpus <- tm_map(text_corpus, stripWhitespace)
    
    # Processed text
    processed_text <- sapply(text_corpus, as.character)
    
    # Ensure the text is correctly encoded
    processed_text <- iconv(processed_text, to = "UTF-8")
    
    # Train word vectors
    word_vectors_model <- word2vec(x = processed_text, type = "skip-gram", dim = 50, iter = 10)
    
    # Retrieve word vectors
    word_vectors <- as.matrix(word_vectors_model)
    
    # Read the number of clusters from input
    num_clusters <- input$numClusters
    
    # Perform K-means clustering with user-specified number of clusters
    set.seed(123)
    cluster_result <- kmeans(word_vectors, centers = num_clusters)
    
    # PCA for dimensionality reduction
    pca_result <- prcomp(word_vectors, center = TRUE, scale. = TRUE)
    pca_data <- as.data.frame(pca_result$x)
    pca_data$cluster <- as.factor(cluster_result$cluster)
    
    # Plotting
    pcaPlot <- reactiveVal()
    pcaPlot({
      ggplot(pca_data, aes(x = PC1, y = PC2, color = cluster)) +
        geom_point(alpha = 0.5) +
        labs(color = "Cluster") +
        theme_minimal()
    })
    
    output$pcaPlot <- renderPlotly({
      req(pcaPlot())
    })
  })
  
  #t-SNE Clustering
  observeEvent(input$runTsne, {
    req(input$tsneDataFile)
    
    extension <- tools::file_ext(input$tsneDataFile$name)
    data <- NULL
    
    # Read and preprocess text data
    if (extension == "csv") {
      data <- readr::read_csv(input$tsneDataFile$datapath)
    } else if (extension == "txt") {
      text_content <- readr::read_lines(input$tsneDataFile$datapath)
      data <- data.frame(text_column = text_content)
    } else {
      showNotification("Unsupported file type", type = "error")
      return()
    }
    
    text_corpus <- Corpus(VectorSource(data$text_column))
    text_corpus <- tm_map(text_corpus, content_transformer(tolower))
    text_corpus <- tm_map(text_corpus, removePunctuation)
    text_corpus <- tm_map(text_corpus, removeNumbers)
    text_corpus <- tm_map(text_corpus, removeWords, stopwords("english"))
    text_corpus <- tm_map(text_corpus, stripWhitespace)
    
    dtm <- DocumentTermMatrix(text_corpus)
    features_matrix <- as.matrix(dtm)
    
    # Remove duplicate rows
    features_matrix_unique <- features_matrix[!duplicated(features_matrix), ]
    
    # Perform t-SNE analysis
    tsne_result <- Rtsne(features_matrix_unique, 
                         dims = input$tsneDims, 
                         perplexity = input$tsnePerplexity, 
                         verbose = TRUE,
                         partial_pca = TRUE,
                         max_iter = input$tsneMaxIter)
    
    tsne_data <- as.data.frame(tsne_result$Y)
    
    output$tsnePlot <- renderPlotly({
      req(tsne_data)  # Ensure tsne_data is available
      
      # Calculate the density of points with kde2d
      kde <- with(tsne_data, MASS::kde2d(V1, V2, n = 100))  # Use a smaller n for performance
      
      # Map density values back onto the t-SNE points
      # This creates a lookup table from the kde results
      kde_lookup <- expand.grid(x = kde$x, y = kde$y)
      kde_lookup$z <- as.vector(kde$z)
      
      # Find the nearest density value for each point
      tsne_data$color_density <- with(tsne_data, 
                                      approx(x = kde_lookup$x, y = kde_lookup$z, 
                                             xout = V1, method = "linear")$y)
      
      # Plot using ggplot2
      ggplot(tsne_data, aes(x = V1, y = V2, color = color_density)) +
        geom_point(alpha = 0.5) +
        scale_color_gradient(low = "green", high = "black") +
        theme_minimal() +
        ggtitle("t-SNE Clustering")
    })
    
    
  })
  
  
  #LDA Topic Modeling
  observeEvent(input$runLdaModel, {
    req(input$ldaFileUpload)  # Check if a file is uploaded
    req(input$numTopics)      # Check if the number of topics is specified
    
    # Read the uploaded file
    original_texts <- readLines(input$ldaFileUpload$datapath, warn = FALSE, encoding = "UTF-8")
    
    # Combine lines into a single string
    original_texts_combined <- paste(original_texts, collapse = " ")
    
    # Create a corpus
    corpus <- VCorpus(VectorSource(original_texts_combined))
    
    # Preprocess the corpus
    corpus <- tm_map(corpus, content_transformer(tolower))
    corpus <- tm_map(corpus, removePunctuation)
    corpus <- tm_map(corpus, removeNumbers)
    corpus <- tm_map(corpus, removeWords, stopwords("english"))
    corpus <- tm_map(corpus, stripWhitespace)
    
    # Create a Document-Term Matrix with term frequency weighting
    dtm <- DocumentTermMatrix(corpus, control = list(weighting = function(x) weightTf(x)))
    
    # Check for empty documents after preprocessing
    empty_docs <- which(rowSums(as.matrix(dtm)) == 0)
    if(length(empty_docs) > 0) {
      dtm <- dtm[-empty_docs, ]  # Remove empty documents
    }
    
    # Fit the LDA model with the specified number of topics
    lda_model <- LDA(dtm, k = input$numTopics)
    
    # Extract the top terms from each topic
    top_terms <- terms(lda_model, 5)  # Assuming you want the top 5 terms
    topic_names <- apply(top_terms, 2, paste, collapse = ", ")
    
    # Get the topic probabilities for each document
    topic_probabilities <- posterior(lda_model)$topics
    
    # Ensure that row names are present
    if(is.null(rownames(topic_probabilities))) {
      rownames(topic_probabilities) <- seq_along(topic_probabilities[, 1])
    }
    
    # Convert to a data frame and format for ggplot
    topic_df <- as.data.frame(topic_probabilities)
    topic_df$document <- rownames(topic_probabilities)
    names(topic_df)[-length(names(topic_df))] <- topic_names
    melted_topic_df <- melt(topic_df, id.vars = "document")
    
    # Factoring the variable to have the correct names
    melted_topic_df$variable <- factor(melted_topic_df$variable, levels = topic_names)
    
    # Plot the topic probabilities
    output$ldaTopicPlot <- renderPlotly({
      ggplot(melted_topic_df, aes(x = document, y = value, fill = variable)) +
        geom_bar(stat = "identity", position = position_dodge()) +
        geom_text(aes(label = sprintf("%.2f", value)), 
                  vjust = -0.5, 
                  position = position_dodge(0.9), 
                  size = 3) + # adjust size as needed
        theme_minimal() +
        xlab("Document") +
        ylab("Topic Probability") +
        ggtitle("Topic Probabilities per Document") +
        scale_fill_brewer(palette = "Set3", name = "Topics") +
        theme(axis.text.x = element_text(angle = 90, hjust = 1, size = 12),
              axis.text.y = element_text(angle = 90, hjust = 1, size = 12))
    })
  })
  
  #Lexical Richness 
  observeEvent(input$analyzeButton, {
    req(input$fileInput)  # Ensure a file is uploaded
    
    # Read and preprocess text data
    text_data <- readLines(input$fileInput$datapath)
    
    # Check if data is empty
    if(length(text_data) == 0) {
      showModal(modalDialog(
        title = "Error",
        "Uploaded file is empty. Please upload a valid text file."
      ))
      return()
    }
    
    text_data <- tolower(text_data)
    text_data <- gsub("[[:punct:]]", "", text_data)
    text_data <- gsub("[[:digit:]]", "", text_data)
    text_data <- gsub("\\s+", " ", text_data)
    text_data <- trimws(text_data)
    
    # Tokenize and calculate lexical richness
    lexical_richness <- lapply(text_data, function(line) {
      if(nchar(line) == 0) return(NA)  # Skip empty lines
      tokens <- unlist(strsplit(line, " "))
      ttr <- length(unique(tokens)) / length(tokens)
      return(ttr)
    })
    
    # Remove NAs from results
    lexical_richness <- unlist(lexical_richness)
    lexical_richness <- lexical_richness[!is.na(lexical_richness)]
    
    # Plot results
    output$richnessPlot <- renderPlotly({
      if(length(lexical_richness) == 0) {
        p <- plot_ly() %>%
          add_annotations(text = "No data to display", 
                          x = 0.5, y = 0.5, 
                          showarrow = F, 
                          font = list(size = 20))
      } else {
        p <- plot_ly(x = lexical_richness, type = 'histogram') %>%
          layout(title = 'Lexical Richness (Type-Token Ratio)',
                 xaxis = list(title = 'Document Segment'),
                 yaxis = list(title = 'TTR'))
      }
      
      p
    })
    
  })
}

shinyApp(ui, server)