{ "cells": [ { "cell_type": "markdown", "id": "57176cfe-974a-430b-b51b-11f5eae772f7", "metadata": { "id": "mGXJ4xe93YSr" }, "source": [ "# Creating data set from excel to json" ] }, { "cell_type": "code", "execution_count": null, "id": "9e6e6551", "metadata": { "id": "9e6e6551" }, "outputs": [], "source": [ "import pandas as pd\n", "import json" ] }, { "cell_type": "code", "execution_count": null, "id": "a410636f", "metadata": { "id": "a410636f" }, "outputs": [], "source": [ "pd.set_option('display.max_rows', None)\n", "pd.set_option('display.max_columns', None)\n", "pd.set_option('display.width', None)\n", "pd.set_option('display.max_colwidth', None)" ] }, { "cell_type": "code", "execution_count": null, "id": "9a95c015", "metadata": { "id": "9a95c015" }, "outputs": [], "source": [ "# read data set in excel\n", "dataset = pd.read_excel(\"S-Kanava_2.xlsx\")" ] }, { "cell_type": "code", "execution_count": null, "id": "5cbbfcdb", "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "5cbbfcdb", "outputId": "d4a21e61-6a4e-4d67-cb28-315f4decba3e" }, "outputs": [ { "data": { "text/plain": [ "(2, 2)" ] }, "execution_count": 21, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset.shape" ] }, { "cell_type": "code", "execution_count": null, "id": "6d0f665a", "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "6d0f665a", "outputId": "9dfe6ffa-bfb2-4752-a0cd-97b182b34cce" }, "outputs": [ { "data": { "text/plain": [ "(2, 2)" ] }, "execution_count": 22, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset.dropna()\n", "dataset.shape" ] }, { "cell_type": "code", "execution_count": null, "id": "446d22c9", "metadata": { "colab": { "base_uri": "https://localhost:8080/", "height": 230 }, "id": "446d22c9", "outputId": "9d08ba83-7011-475d-ed4a-fd5736fa1e95" }, "outputs": [ { "data": { "application/vnd.google.colaboratory.intrinsic+json": { "summary": "{\n \"name\": \"dataset\",\n \"rows\": 2,\n \"fields\": [\n {\n \"column\": \"Kysymys\",\n \"properties\": {\n \"dtype\": \"string\",\n \"num_unique_values\": 2,\n \"samples\": [\n \"Miksi s\\u00e4hk\\u00f6postiosoite tulee vahvistaa?\",\n \"Kuinka vaihdan uutiskirjeen s\\u00e4hk\\u00f6postiosoitteen?\"\n ],\n \"semantic_type\": \"\",\n \"description\": \"\"\n }\n },\n {\n \"column\": \"Vastaus\",\n \"properties\": {\n \"dtype\": \"string\",\n \"num_unique_values\": 2,\n \"samples\": [\n \"S\\u00e4hk\\u00f6postiosoitteiden vahvistaminen on yleisesti k\\u00e4yt\\u00f6ss\\u00e4 oleva tapa varmistua siit\\u00e4, ett\\u00e4 henkil\\u00f6ll\\u00e4 itsell\\u00e4\\u00e4n on p\\u00e4\\u00e4sy h\\u00e4nen tiedoissaan olevaan s\\u00e4hk\\u00f6postiosoitteeseen.\\n\\nS\\u00e4hk\\u00f6postiosoite tulee vahvistaa itse, joko S-mobiilissa tai samalla kun luot itsellesi S-k\\u00e4ytt\\u00e4j\\u00e4tilin. Kun l\\u00e4het\\u00e4t vahvistusviestin omissa tiedoissasi n\\u00e4kyv\\u00e4\\u00e4n s\\u00e4hk\\u00f6postiosoitteeseen ja vahvistat itse osoitteen oikeaksi s\\u00e4hk\\u00f6postiisi l\\u00e4hetetyll\\u00e4 vahvistuskoodilla, saamme varmistuksen, ett\\u00e4 osoitteesi on voimassa ja kuuluu juuri sinulle.\\n\\nJos asiakastiedoissasi olevasta s\\u00e4hk\\u00f6postiosoitteesta puuttuu viel\\u00e4 vahvistus, n\\u00e4kyy osoitteen yhteydess\\u00e4 Vahvista -painike.\\n\\nBonustiedot ja muut henkil\\u00f6kohtaiset tiedotteet l\\u00e4hetet\\u00e4\\u00e4n vain vahvistettuun s\\u00e4hk\\u00f6postiosoitteeseen. Bonustilanteesi voit kuitenkin jatkossakin tarkastaa S-mobiilista, S-k\\u00e4ytt\\u00e4j\\u00e4tililt\\u00e4 sek\\u00e4 toimipaikkojen S-Etukorttip\\u00e4\\u00e4tteilt\\u00e4.\",\n \"Peruuta ensin vanhaan osoitteeseen tilattu uutiskirje kirjeen alareunan \\u201cPeruuta tilaus\\u201d -linkist\\u00e4.\\nTilaa uutiskirje uudelleen oikeaan osoitteeseen.\"\n ],\n \"semantic_type\": \"\",\n \"description\": \"\"\n }\n }\n ]\n}", "type": "dataframe", "variable_name": "dataset" }, "text/html": [ "\n", "
\n", "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
KysymysVastaus
0Kuinka vaihdan uutiskirjeen sähköpostiosoitteen?Peruuta ensin vanhaan osoitteeseen tilattu uutiskirje kirjeen alareunan “Peruuta tilaus” -linkistä.\\nTilaa uutiskirje uudelleen oikeaan osoitteeseen.
1Miksi sähköpostiosoite tulee vahvistaa?Sähköpostiosoitteiden vahvistaminen on yleisesti käytössä oleva tapa varmistua siitä, että henkilöllä itsellään on pääsy hänen tiedoissaan olevaan sähköpostiosoitteeseen.\\n\\nSähköpostiosoite tulee vahvistaa itse, joko S-mobiilissa tai samalla kun luot itsellesi S-käyttäjätilin. Kun lähetät vahvistusviestin omissa tiedoissasi näkyvään sähköpostiosoitteeseen ja vahvistat itse osoitteen oikeaksi sähköpostiisi lähetetyllä vahvistuskoodilla, saamme varmistuksen, että osoitteesi on voimassa ja kuuluu juuri sinulle.\\n\\nJos asiakastiedoissasi olevasta sähköpostiosoitteesta puuttuu vielä vahvistus, näkyy osoitteen yhteydessä Vahvista -painike.\\n\\nBonustiedot ja muut henkilökohtaiset tiedotteet lähetetään vain vahvistettuun sähköpostiosoitteeseen. Bonustilanteesi voit kuitenkin jatkossakin tarkastaa S-mobiilista, S-käyttäjätililtä sekä toimipaikkojen S-Etukorttipäätteiltä.
\n", "
\n", "
\n", "\n", "
\n", " \n", "\n", " \n", "\n", " \n", "
\n", "\n", "\n", "
\n", " \n", "\n", "\n", "\n", " \n", "
\n", "
\n", "
\n" ], "text/plain": [ " Kysymys \\\n", "0 Kuinka vaihdan uutiskirjeen sähköpostiosoitteen? \n", "1 Miksi sähköpostiosoite tulee vahvistaa? \n", "\n", " Vastaus \n", "0 Peruuta ensin vanhaan osoitteeseen tilattu uutiskirje kirjeen alareunan “Peruuta tilaus” -linkistä.\\nTilaa uutiskirje uudelleen oikeaan osoitteeseen. \n", "1 Sähköpostiosoitteiden vahvistaminen on yleisesti käytössä oleva tapa varmistua siitä, että henkilöllä itsellään on pääsy hänen tiedoissaan olevaan sähköpostiosoitteeseen.\\n\\nSähköpostiosoite tulee vahvistaa itse, joko S-mobiilissa tai samalla kun luot itsellesi S-käyttäjätilin. Kun lähetät vahvistusviestin omissa tiedoissasi näkyvään sähköpostiosoitteeseen ja vahvistat itse osoitteen oikeaksi sähköpostiisi lähetetyllä vahvistuskoodilla, saamme varmistuksen, että osoitteesi on voimassa ja kuuluu juuri sinulle.\\n\\nJos asiakastiedoissasi olevasta sähköpostiosoitteesta puuttuu vielä vahvistus, näkyy osoitteen yhteydessä Vahvista -painike.\\n\\nBonustiedot ja muut henkilökohtaiset tiedotteet lähetetään vain vahvistettuun sähköpostiosoitteeseen. Bonustilanteesi voit kuitenkin jatkossakin tarkastaa S-mobiilista, S-käyttäjätililtä sekä toimipaikkojen S-Etukorttipäätteiltä. " ] }, "execution_count": 23, "metadata": {}, "output_type": "execute_result" } ], "source": [ "dataset.head()" ] }, { "cell_type": "code", "execution_count": null, "id": "d75eeb59", "metadata": { "id": "d75eeb59" }, "outputs": [], "source": [ "def buildprompt(data):\n", " prompt = {}\n", " prompt['text'] = \"Given the question delimited by triple backticks ```{\" + data['Kysymys'] + \"}```, what is the answer? Answer: {\" + data['Vastaus'] + \"}\"\n", " return prompt" ] }, { "cell_type": "code", "execution_count": null, "id": "dfc2d587", "metadata": { "id": "dfc2d587" }, "outputs": [], "source": [ "dataset['prompt'] = dataset.apply(buildprompt, axis=1)" ] }, { "cell_type": "code", "execution_count": null, "id": "25972ccd", "metadata": { "colab": { "base_uri": "https://localhost:8080/" }, "id": "25972ccd", "outputId": "e397d17c-1d6b-4ea5-ce44-8e662f0e656b" }, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "{'text': 'Given the question delimited by triple backticks ```{Miksi sähköpostiosoite tulee vahvistaa?}```, what is the answer? Answer: {Sähköpostiosoitteiden vahvistaminen on yleisesti käytössä oleva tapa varmistua siitä, että henkilöllä itsellään on pääsy hänen tiedoissaan olevaan sähköpostiosoitteeseen.\\n\\nSähköpostiosoite tulee vahvistaa itse, joko S-mobiilissa tai samalla kun luot itsellesi S-käyttäjätilin. Kun lähetät vahvistusviestin omissa tiedoissasi näkyvään sähköpostiosoitteeseen ja vahvistat itse osoitteen oikeaksi sähköpostiisi lähetetyllä vahvistuskoodilla, saamme varmistuksen, että osoitteesi on voimassa ja kuuluu juuri sinulle.\\n\\nJos asiakastiedoissasi olevasta sähköpostiosoitteesta puuttuu vielä vahvistus, näkyy osoitteen yhteydessä Vahvista -painike.\\n\\nBonustiedot ja muut henkilökohtaiset tiedotteet lähetetään vain vahvistettuun sähköpostiosoitteeseen. Bonustilanteesi voit kuitenkin jatkossakin tarkastaa S-mobiilista, S-käyttäjätililtä sekä toimipaikkojen S-Etukorttipäätteiltä.}'}\n" ] } ], "source": [ "print(dataset['prompt'][1])" ] }, { "cell_type": "markdown", "id": "xcO1VF8yEoNE", "metadata": { "id": "xcO1VF8yEoNE" }, "source": [] }, { "cell_type": "code", "execution_count": null, "id": "131b3149", "metadata": { "id": "131b3149" }, "outputs": [], "source": [ "result = dataset['prompt'].to_list()\n", "with open('prompts_2.json', 'w') as outfile:\n", " json.dump(result, outfile, ensure_ascii=False)" ] }, { "cell_type": "code", "execution_count": null, "id": "91f808cf", "metadata": { "id": "91f808cf" }, "outputs": [], "source": [] } ], "metadata": { "colab": { "provenance": [] }, "kernelspec": { "display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.11.7" } }, "nbformat": 4, "nbformat_minor": 5 }