{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"metadata": {},
"outputs": [
{
"name": "stderr",
"output_type": "stream",
"text": [
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- configuration.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
]
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "047d95084e98403589b108942daf1a0c",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)esolve/main/model.py: 0%| | 0.00/6.66k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "840315351a8e489d9e65c4285a9511b2",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)event_arg_predict.py: 0%| | 0.00/12.8k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "e211aa84be44465396acb1e1e1b5b683",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)/args_model_utils.py: 0%| | 0.00/11.2k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- args_model_utils.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
]
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "b4c2fe2b94884fa5bc8e245a874ad21a",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)nt_nugget_predict.py: 0%| | 0.00/10.7k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "d192dbc95c6749b6a9c6a5c984c646fd",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)ugget_model_utils.py: 0%| | 0.00/6.59k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- nugget_model_utils.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
]
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "0ca6f6c3195c4708bb1834a0c876e893",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)esolve/main/utils.py: 0%| | 0.00/7.05k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- utils.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- event_nugget_predict.py\n",
"- nugget_model_utils.py\n",
"- utils.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- event_arg_predict.py\n",
"- args_model_utils.py\n",
"- event_nugget_predict.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n"
]
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "2776f9469d414ed6aaa5b594fae0c6a8",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)nt_realis_predict.py: 0%| | 0.00/11.5k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "22265c1ceb7d4611a5118fbde096bc1d",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Downloading (…)ealis_model_utils.py: 0%| | 0.00/7.09k [00:00<?, ?B/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stderr",
"output_type": "stream",
"text": [
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- realis_model_utils.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- event_realis_predict.py\n",
"- realis_model_utils.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
"A new version of the following files was downloaded from https://huggingface.co/CyberPeace-Institute/Cybersecurity-Knowledge-Graph:\n",
"- model.py\n",
"- event_arg_predict.py\n",
"- event_realis_predict.py\n",
". Make sure to double-check they do not contain any added malicious code. To avoid downloading new versions of the code file, you can pin a revision.\n",
"Some weights of RobertaModel were not initialized from the model checkpoint at ehsanaghaei/SecureBERT and are newly initialized: ['roberta.pooler.dense.weight', 'roberta.pooler.dense.bias']\n",
"You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n",
"Some weights of RobertaModel were not initialized from the model checkpoint at ehsanaghaei/SecureBERT and are newly initialized: ['roberta.pooler.dense.weight', 'roberta.pooler.dense.bias']\n",
"You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n",
"Some weights of RobertaModel were not initialized from the model checkpoint at ehsanaghaei/SecureBERT and are newly initialized: ['roberta.pooler.dense.weight', 'roberta.pooler.dense.bias']\n",
"You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.\n"
]
}
],
"source": [
"# Load model directly\n",
"from transformers import AutoModelForTokenClassification\n",
"model = AutoModelForTokenClassification.from_pretrained(\"CyberPeace-Institute/Cybersecurity-Knowledge-Graph\", trust_remote_code=True)"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {},
"outputs": [
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "e3e5818a4d6b4ba99243603a068622d0",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Map: 0%| | 0/1 [00:00<?, ? examples/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "f3a24eb19f414ae3ad974b1461fc3e64",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Map: 0%| | 0/1 [00:00<?, ? examples/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "3c3dd376f5614f739e5c0780af8b3a9b",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Map: 0%| | 0/1 [00:00<?, ? examples/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "20c9cd31ea854bb58208249c18840e14",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Map: 0%| | 0/1 [00:00<?, ? examples/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"application/vnd.jupyter.widget-view+json": {
"model_id": "a668052410cf41968f97ebdcf187debc",
"version_major": 2,
"version_minor": 0
},
"text/plain": [
"Map: 0%| | 0/1 [00:00<?, ? examples/s]"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/plain": [
"[{'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 287, 'token': ' As', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 502, 'token': ' June', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 336, 'token': ' 2016', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 55, 'token': ' more', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 87, 'token': ' than', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 3982, 'token': ' 150', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 153,\n",
" 'token': ' million',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2171,\n",
" 'token': ' active',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1434,\n",
" 'token': ' users',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 10754,\n",
" 'token': ' interact',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 19, 'token': ' with', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 65, 'token': ' one', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 277,\n",
" 'token': ' another',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1230,\n",
" 'token': ' daily',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1241, 'token': ' via', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11477,\n",
" 'token': ' Snapchat',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5763,\n",
" 'token': ' Others',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 32, 'token': ' are', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 4777,\n",
" 'token': ' drawn',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 30, 'token': ' by', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 544,\n",
" 'token': ' service',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 55, 'token': ' more', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 485,\n",
" 'token': ' recent',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1575,\n",
" 'token': ' features',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2246,\n",
" 'token': ' Those',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 680,\n",
" 'token': ' include',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 14100,\n",
" 'token': ' Snap',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 20122, 'token': 'cash', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5448,\n",
" 'token': ' method',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2942,\n",
" 'token': ' introduced',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 13, 'token': ' for', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1434,\n",
" 'token': ' users',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2142, 'token': ' send', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1830,\n",
" 'token': ' mobile',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 3081,\n",
" 'token': ' payments',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 964,\n",
" 'token': ' friends',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 6211,\n",
" 'token': ' Given',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1553, 'token': ' app', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 7347,\n",
" 'token': ' popularity',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 24, 'token': ' it', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 117, 'token': ' no', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5170,\n",
" 'token': ' wonder',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 804,\n",
" 'token': ' online',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 9177,\n",
" 'token': ' criminals',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 33, 'token': ' have', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 278, 'token': ' set', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 579, 'token': ' s', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 6183, 'token': 'ights', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 15, 'token': ' on', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11597,\n",
" 'token': ' hacking',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1434,\n",
" 'token': ' users',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11477,\n",
" 'token': ' Snapchat',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-PII',\n",
" 'realis': 'O'},\n",
" {'id': 2349,\n",
" 'token': ' accounts',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-PII',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 286, 'token': ' For', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 4327,\n",
" 'token': ' instance',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 124, 'token': ' back', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11, 'token': ' in', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 628,\n",
" 'token': ' late',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Time',\n",
" 'realis': 'O'},\n",
" {'id': 1014,\n",
" 'token': ' 2013',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Time',\n",
" 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 10,\n",
" 'token': ' a',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Person',\n",
" 'realis': 'O'},\n",
" {'id': 333,\n",
" 'token': ' group',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Person',\n",
" 'realis': 'O'},\n",
" {'id': 9,\n",
" 'token': ' of',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Person',\n",
" 'realis': 'O'},\n",
" {'id': 11344,\n",
" 'token': ' hackers',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Person',\n",
" 'realis': 'O'},\n",
" {'id': 1027,\n",
" 'token': ' published',\n",
" 'nugget': 'B-Databreach',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'B-Data', 'realis': 'O'},\n",
" {'id': 8503,\n",
" 'token': ' database',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Data',\n",
" 'realis': 'O'},\n",
" {'id': 8200,\n",
" 'token': ' containing',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'B-PII', 'realis': 'O'},\n",
" {'id': 32200,\n",
" 'token': ' usernames',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-PII',\n",
" 'realis': 'O'},\n",
" {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1028,\n",
" 'token': ' phone',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-PII',\n",
" 'realis': 'O'},\n",
" {'id': 1530,\n",
" 'token': ' numbers',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-PII',\n",
" 'realis': 'O'},\n",
" {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2219,\n",
" 'token': ' approximately',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 204, 'token': ' 4', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 4, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 401, 'token': '6', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 153,\n",
" 'token': ' million',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 11477,\n",
" 'token': ' Snapchat',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Person',\n",
" 'realis': 'O'},\n",
" {'id': 1434,\n",
" 'token': ' users',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Person',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 234, 'token': ' N', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 4550, 'token': 'ef', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 38313,\n",
" 'token': 'arious',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2172,\n",
" 'token': ' individuals',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 115, 'token': ' could', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 33, 'token': ' have', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 341, 'token': ' used', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 14, 'token': ' that', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 335,\n",
" 'token': ' information',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 4392,\n",
" 'token': ' profile',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 3247,\n",
" 'token': ' targets',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 420,\n",
" 'token': ' across',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1533,\n",
" 'token': ' multiple',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 3748, 'token': ' web', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2349,\n",
" 'token': ' accounts',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 166, 'token': ' We', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 67, 'token': ' also', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 6056, 'token': ' ca', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 295, 'token': ' n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 75, 'token': \"'t\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 4309,\n",
" 'token': ' forget',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 59, 'token': ' about', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 573,\n",
" 'token': ' security',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1160,\n",
" 'token': ' incident',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 14, 'token': ' that', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2756,\n",
" 'token': ' occurred',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 124, 'token': ' back', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11, 'token': ' in', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 902,\n",
" 'token': ' February',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Time',\n",
" 'realis': 'O'},\n",
" {'id': 336,\n",
" 'token': ' 2016',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Time',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 96, 'token': ' In', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 14,\n",
" 'token': ' that',\n",
" 'nugget': 'B-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 908,\n",
" 'token': ' attack',\n",
" 'nugget': 'I-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 951,\n",
" 'token': ' someone',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Person',\n",
" 'realis': 'O'},\n",
" {'id': 7444,\n",
" 'token': ' posed',\n",
" 'nugget': 'B-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 25,\n",
" 'token': ' as',\n",
" 'nugget': 'I-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 138,\n",
" 'token': ' company',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Organization',\n",
" 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1324,\n",
" 'token': ' CEO',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Person',\n",
" 'realis': 'O'},\n",
" {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 7013,\n",
" 'token': ' convinced',\n",
" 'nugget': 'B-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11477,\n",
" 'token': ' Snapchat',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Person',\n",
" 'realis': 'O'},\n",
" {'id': 3200,\n",
" 'token': ' employee',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Person',\n",
" 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2142,\n",
" 'token': ' send',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Purpose',\n",
" 'realis': 'O'},\n",
" {'id': 81,\n",
" 'token': ' over',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Purpose',\n",
" 'realis': 'O'},\n",
" {'id': 10984,\n",
" 'token': ' payroll',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Purpose',\n",
" 'realis': 'O'},\n",
" {'id': 335,\n",
" 'token': ' information',\n",
" 'nugget': 'O',\n",
" 'argument': 'I-Purpose',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 20,\n",
" 'token': ' The',\n",
" 'nugget': 'B-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 1800,\n",
" 'token': ' successful',\n",
" 'nugget': 'I-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 28237,\n",
" 'token': ' phish',\n",
" 'nugget': 'I-Phishing',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 3284,\n",
" 'token': ' ultimately',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 13969,\n",
" 'token': ' compromised',\n",
" 'nugget': 'B-Databreach',\n",
" 'argument': 'O',\n",
" 'realis': 'Actual'},\n",
" {'id': 4295,\n",
" 'token': ' dozens',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1321,\n",
" 'token': ' employees',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-Person',\n",
" 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 14875,\n",
" 'token': ' identities',\n",
" 'nugget': 'O',\n",
" 'argument': 'B-PII',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 598, 'token': ' To', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 28, 'token': ' be', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2105, 'token': ' fair', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 14251,\n",
" 'token': ' mega',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 6999,\n",
" 'token': ' breach',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 15, 'token': ' on', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 3189,\n",
" 'token': ' scale',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 99, 'token': ' what', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2132,\n",
" 'token': ' affected',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 6582,\n",
" 'token': ' LinkedIn',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 9494,\n",
" 'token': ' Tumblr',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 10354,\n",
" 'token': ' Yahoo',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 34, 'token': ' has', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 648, 'token': ' yet', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2506,\n",
" 'token': ' strike',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11203,\n",
" 'token': ' messaging',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 1553, 'token': ' app', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 125, 'token': ' But', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 14, 'token': ' that', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 45, 'token': ' not', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 224, 'token': ' say', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 9177,\n",
" 'token': ' criminals',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 32, 'token': ' are', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 295, 'token': ' n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 75, 'token': \"'t\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 667,\n",
" 'token': ' trying',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 465, 'token': ' find', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 169, 'token': ' way', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 88, 'token': ' into', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 82, 'token': ' people', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 128, 'token': \" '\", 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 29, 'token': 's', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2349,\n",
" 'token': ' accounts',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 46450,\n",
" 'token': ' Hackers',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2563,\n",
" 'token': ' clearly',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 33, 'token': ' have', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 11477,\n",
" 'token': ' Snapchat',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 11, 'token': ' in', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 579, 'token': ' s', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 6183, 'token': 'ights', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2156, 'token': ',', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 61, 'token': ' which', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 16, 'token': ' is', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 596, 'token': ' why', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1434,\n",
" 'token': ' users',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 240, 'token': ' need', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1532,\n",
" 'token': ' learn',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 141, 'token': ' how', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 7, 'token': ' to', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1514, 'token': ' spot', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5, 'token': ' the', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2892,\n",
" 'token': ' warning',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 2434,\n",
" 'token': ' signs',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 9, 'token': ' of', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 10, 'token': ' a', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 14157,\n",
" 'token': ' hack',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 8, 'token': ' and', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 141, 'token': ' how', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 51, 'token': ' they', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 64, 'token': ' can', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 5312,\n",
" 'token': ' recover',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 49, 'token': ' their', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 2349,\n",
" 'token': ' accounts',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 114, 'token': ' if', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 951,\n",
" 'token': ' someone',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 30478,\n",
" 'token': ' compromises',\n",
" 'nugget': 'O',\n",
" 'argument': 'O',\n",
" 'realis': 'O'},\n",
" {'id': 106, 'token': ' them', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 479, 'token': '.', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 1437, 'token': ' ', 'nugget': 'O', 'argument': 'O', 'realis': 'O'},\n",
" {'id': 50118, 'token': '\\n', 'nugget': 'O', 'argument': 'O', 'realis': 'O'}]"
]
},
"execution_count": 2,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"input = \"\"\"\n",
"As of June 2016, more than 150 million active users interact with one another daily via Snapchat. Others are drawn by the service's more recent features. Those include Snapcash, a method introduced for users to send mobile payments to their friends. \n",
"Given the app's popularity, it's no wonder online criminals have set their sights on hacking users' Snapchat accounts. For instance, back in late 2013, a group of hackers published a database containing the usernames and phone numbers of approximately 4.6 million Snapchat users. \n",
"Nefarious individuals could have used that information to profile targets across multiple web accounts. We also can't forget about the security incident that occurred back in February 2016. In that attack, someone posed as the company's CEO and convinced a Snapchat employee to send over payroll information. \n",
"The successful phish ultimately compromised dozens of employees' identities. To be fair, a mega breach on the scale of what affected LinkedIn, Tumblr, and Yahoo has yet to strike the messaging app. But that's not to say criminals aren't trying to find a way into people's accounts. \n",
"Hackers clearly have Snapchat in their sights, which is why users need to learn how to spot the warning signs of a hack and how they can recover their accounts if someone compromises them.\n",
"\"\"\"\n",
"\n",
"model(input)"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"model.forward()"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": []
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.9.15"
},
"orig_nbformat": 4
},
"nbformat": 4,
"nbformat_minor": 2
}