Add files using upload-large-folder tool

lm-evaluation-harness/lm_eval/tasks/eus_exams/eus_exams_eu_opeosakiceladoreu.yaml

@@ -0,0 +1,4 @@
+# Generated by utils.py
+dataset_name: eu_opeosakiceladoreu
+include: eus_exams_eu
+task: eus_exams_eu_opeosakiceladoreu

lm-evaluation-harness/lm_eval/tasks/eus_exams/eus_exams_eu_opeosakioperarioeu.yaml

@@ -0,0 +1,4 @@
+# Generated by utils.py
+dataset_name: eu_opeosakioperarioeu
+include: eus_exams_eu
+task: eus_exams_eu_opeosakioperarioeu

lm-evaluation-harness/lm_eval/tasks/eus_exams/eus_exams_eu_osakidetza1e.yaml

@@ -0,0 +1,4 @@
+# Generated by utils.py
+dataset_name: eu_osakidetza1e
+include: eus_exams_eu
+task: eus_exams_eu_osakidetza1e

lm-evaluation-harness/lm_eval/tasks/eus_exams/eus_exams_eu_osakidetza2e.yaml

@@ -0,0 +1,4 @@
+# Generated by utils.py
+dataset_name: eu_osakidetza2e
+include: eus_exams_eu
+task: eus_exams_eu_osakidetza2e

lm-evaluation-harness/lm_eval/tasks/eus_exams/eus_exams_eu_osakidetza3e.yaml

@@ -0,0 +1,4 @@
+# Generated by utils.py
+dataset_name: eu_osakidetza3e
+include: eus_exams_eu
+task: eus_exams_eu_osakidetza3e

lm-evaluation-harness/lm_eval/tasks/eus_exams/eus_exams_eu_osakidetza7e.yaml

@@ -0,0 +1,4 @@
+# Generated by utils.py
+dataset_name: eu_osakidetza7e
+include: eus_exams_eu
+task: eus_exams_eu_osakidetza7e

lm-evaluation-harness/lm_eval/tasks/eus_exams/utils.py

@@ -0,0 +1,15 @@
+import datasets
+
+
+def process_docs(dataset: datasets.Dataset):
+    """Filter out examples with no answer."""
+
+    def valid_example(example: dict) -> bool:
+        """Check if an example is valid."""
+        if example["answer"] not in [0, 1, 2, 3]:
+            return False
+        if example["candidates"] == ["", "", "", ""]:
+            return False
+        return True
+
+    return dataset.filter(valid_example)

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner-fic_group.yaml

@@ -0,0 +1,9 @@
+group: evalita-mp_ner_fic_group
+group_alias: 'evalita NER: FIC'
+task:
+  - evalita-mp_ner-v2_tasks_fic
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner-fic_group_p1.yaml

@@ -0,0 +1,17 @@
+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+test_split: dev
+fewshot_split: dev
+task_alias: prompt-1
+tag: evalita-mp_ner-v2_tasks_fic
+task: evalita-mp_ner-v2_fic_p1
+
+#
+doc_to_target: !function utils.filter_per_entities_from_lines
+doc_to_target: entities
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'. Testo: {{text}}"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner-wn_group.yaml

@@ -0,0 +1,9 @@
+group: evalita-mp_ner_wn_group
+group_alias: 'evalita NER: WN'
+task:
+  - evalita-mp_ner-v2_tasks_wn
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner-wn_group_p2.yaml

@@ -0,0 +1,13 @@
+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: dev
+task_alias: prompt-2
+tag: evalita-mp_ner-v2_tasks_wn
+task: evalita-mp_ner-v2_wn_p2
+
+# English
+#doc_to_text: "Given the following text, write the entity mentions in the text, indicating their type: [PER] (person), [LOC] (location), [ORG] (organization). Respond with the following format: Entity$Type. Separate each entity-type pair with the '%' character. Text: {{text}}"
+# Italian
+doc_to_text: "Dato il seguente testo, scrivi le menzioni di entità nel testo, indicandone il tipo: PER (persona), LOC (luogo), ORG (organizzazione). Rispondi con il seguente formato: Entità$Tipo%Entità$Tipo. Separa ogni coppia entità-tipo con il carattere '%' ad esempio:  Entità_2$Tipo%Entità_2$Tipo. In caso non ci siano entita' rispondi '&&NOENT&&'.
+Testo: {{text}}"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_adg.yaml

@@ -0,0 +1,7 @@
+group: evalita-mp_ner_tasks_adg
+group_alias: evalita NER adg
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_adg_p1.yaml

@@ -0,0 +1,14 @@
+include: _ner_template_yaml
+dataset_name: adg
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: ADG prompt-1
+tag: evalita-mp_ner_tasks_adg
+task: evalita-mp_ner_adg_p1
+
+
+#p1
+doc_to_text: "Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_adg_p2.yaml

@@ -0,0 +1,14 @@
+include: _ner_template_yaml
+dataset_name: adg
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: ADG prompt-2
+tag: evalita-mp_ner_tasks_adg
+task: evalita-mp_ner_adg_p2
+
+
+#p8
+doc_to_text: "Devi svolgere un compito di riconoscimento delle entità nei testi. Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_fic.yaml

@@ -0,0 +1,5 @@
+
+group: evalita-mp_ner_tasks_fic
+group_alias: evalita NER fic
+
+task_alias: NER fic

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_fic_p1.yaml

@@ -0,0 +1,15 @@
+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: FIC prompt-1
+tag: evalita-mp_ner_tasks_fic
+task: evalita-mp_ner_fic_p1
+
+
+
+#p1
+doc_to_text: "Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_fic_p2.yaml

@@ -0,0 +1,13 @@
+include: _ner_template_yaml
+dataset_name: fic
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: FIC prompt-2
+tag: evalita-mp_ner_tasks_fic
+task: evalita-mp_ner_fic_p2
+
+#p8
+doc_to_text: "Devi svolgere un compito di riconoscimento delle entità nei testi. Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_group.yaml

@@ -0,0 +1,11 @@
+group: evalita-mp_ner_group
+group_alias: evalita NER
+task:
+  - evalita-mp_ner_tasks_fic
+  - evalita-mp_ner_tasks_adg
+  - evalita-mp_ner_tasks_wn
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_wn.yaml

@@ -0,0 +1,7 @@
+group: evalita-mp_ner_tasks_wn
+group_alias: evalita NER wn
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_wn_p1.yaml

@@ -0,0 +1,13 @@
+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: WN prompt-1
+tag: evalita-mp_ner_tasks_wn
+task: evalita-mp_ner_wn_p1
+
+
+doc_to_text: "Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_ner_wn_p2.yaml

@@ -0,0 +1,13 @@
+include: _ner_template_yaml
+dataset_name: wn
+test_split: reduced_test
+fewshot_split: trial
+
+task_alias: WN prompt-2
+tag: evalita-mp_ner_tasks_wn
+task: evalita-mp_ner_wn_p2
+
+
+doc_to_text: "Devi svolgere un compito di riconoscimento delle entità nei testi. Estrai tutte le entità di tipo PER (persona), LOC (luogo) e ORG (organizzazione) dal testo seguente. Riporta ogni entità con il formato: Entità$Tipo, separando ciascuna coppia con ','. Se non ci sono entità da estrarre, rispondi con '&&NOENT&&'.
+Testo: '{{text}}'
+Entità:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_re_p1.yaml

@@ -0,0 +1,10 @@
+tag: evalita-mp_re_tasks
+include: _re_template_yaml
+task: evalita-mp_re_prompt-1
+fewshot_split: dev
+task_alias: prompt-1
+
+#p4
+doc_to_text: "Dato un documento medico devi estrarre tutte le misurazioni degli esami medici presenti. Riporta ogni relazione nel formato: misurazione$esame, separando ciascuna coppia con '%'. Se non ci sono relazioni da estrarre, rispondi con '&&NOREL&&'.
+Testo: '{{text}}'
+Relazioni:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_re_p2.yaml

@@ -0,0 +1,10 @@
+tag: evalita-mp_re_tasks
+include: _re_template_yaml
+fewshot_split: dev
+task: evalita-mp_re_prompt-2
+task_alias: prompt-2
+
+#p5
+doc_to_text: "Devi svolgere un compito di estrazione di relazioni da documenti medici. Dato un documento medico devi estrarre tutte le misurazioni degli esami medici presenti. Riporta ogni relazione nel formato: misurazione$esame, separando ciascuna coppia con '%'. Se non ci sono relazioni da estrarre, rispondi con '&&NOREL&&'.
+Testo: '{{text}}'
+Relazioni:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_re_task.yaml

@@ -0,0 +1,10 @@
+group: evalita-mp_re
+group_alias: relation-extraction
+task:
+- evalita-mp_re_tasks
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_p1.yaml

@@ -0,0 +1,10 @@
+tag: evalita-mp_sa_tasks
+include: _sa_template_yaml
+task: evalita-mp_sa_prompt-1
+task_alias: prompt-1
+#doc_to_text: "Opinione: '{{text}}' Determinare la sentiment dell'opinione data. Possibili risposte: A – neutrale B – negativo C – positivo D - misto Risposta:"
+doc_to_text: "Qual è il sentiment espresso nel seguente tweet: '{{text}}'?"
+metric_list:
+  - metric: f1
+    higher_is_better: True
+    aggregation: !function metrics._aggreg_sa

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_p2.yaml

@@ -0,0 +1,10 @@
+tag: evalita-mp_sa_tasks
+include: _sa_template_yaml
+task: evalita-mp_sa_prompt-2
+task_alias: prompt-2
+#doc_to_text: "Opinione: '{{text}}' Determinare la sentiment dell'opinione data. Possibili risposte: A – neutrale B – negativo C – positivo D - misto Risposta:"
+doc_to_text: "Devi svolgere un compito di analisi del sentiment. Qual è il sentiment espresso nel seguente tweet: '{{text}}'?"
+metric_list:
+  - metric: f1
+    higher_is_better: True
+    aggregation: !function metrics._aggreg_sa

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_p3.yaml

@@ -0,0 +1,11 @@
+tag: evalita-mp_sa_tasks
+include: _sa_template_yaml
+task: evalita-mp_sa_prompt-3
+task_alias: prompt-3
+#doc_to_text: "Opinione: '{{text}}' Determinare la sentiment dell'opinione data. Possibili risposte: A – neutrale B – negativo C – positivo D - misto Risposta:"
+doc_to_choice: ["A", "B", "C", "D"]
+doc_to_text: "Qual è il sentiment espresso nel seguente tweet: '{{text}}'?\nA: Positivo\nB: Negativo\nC: Neutro\nD: Misto\nRisposta:"
+metric_list:
+  - metric: f1
+    higher_is_better: True
+    aggregation: !function metrics._aggreg_sa

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_p4.yaml

@@ -0,0 +1,11 @@
+tag: evalita-mp_sa_tasks
+include: _sa_template_yaml
+task: evalita-mp_sa_prompt-4
+task_alias: prompt-4
+#doc_to_text: "Opinione: '{{text}}' Determinare la sentiment dell'opinione data. Possibili risposte: A – neutrale B – negativo C – positivo D - misto Risposta:"
+doc_to_choice: ["A", "B", "C", "D"]
+doc_to_text: "Devi svolgere un compito di analisi del sentiment. Qual è il sentiment espresso nel seguente tweet: '{{text}}'?\nA: Positivo\nB: Negativo\nC: Neutro\nD: Misto\nRisposta:"
+metric_list:
+  - metric: f1
+    higher_is_better: True
+    aggregation: !function metrics._aggreg_sa

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_p5.yaml

@@ -0,0 +1,11 @@
+tag: evalita-mp_sa_tasks
+include: _sa_template_yaml
+task: evalita-mp_sa_prompt-5
+task_alias: prompt-5
+#doc_to_text: "Opinione: '{{text}}' Determinare la sentiment dell'opinione data. Possibili risposte: A – neutrale B – negativo C – positivo D - misto Risposta:"
+#doc_to_choice: ["A", "B", "C", "D"]
+doc_to_text: "Il seguente tweet: '{{text}}' esprime un sentiment"
+metric_list:
+  - metric: f1
+    higher_is_better: True
+    aggregation: !function metrics._aggreg_sa

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_p6.yaml

@@ -0,0 +1,11 @@
+tag: evalita-mp_sa_tasks
+include: _sa_template_yaml
+task: evalita-mp_sa_prompt-6
+task_alias: prompt-6
+#doc_to_text: "Opinione: '{{text}}' Determinare la sentiment dell'opinione data. Possibili risposte: A – neutrale B – negativo C – positivo D - misto Risposta:"
+#doc_to_choice: ["A", "B", "C", "D"]
+doc_to_text: "Devi svolgere un compito di analisi del sentiment. Il seguente tweet: '{{text}}' esprime un sentiment"
+metric_list:
+  - metric: f1
+    higher_is_better: True
+    aggregation: !function metrics._aggreg_sa

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sa_tasks.yaml

@@ -0,0 +1,9 @@
+group: evalita-mp_sa
+group_alias: sentiment-analysis
+task:
+  - evalita-mp_sa_tasks # Each of the tasks has to have a matching tag in its own yaml file
+aggregate_metric_list:
+  - metric: f1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sum_fp-small_p1.yaml

@@ -0,0 +1,12 @@
+tag: evalita-mp_sum_fp-small_tasks
+include: _sum_template_fp-small_yaml
+task: evalita-sp_sum_task_fp-small_p1
+task_alias: prompt-1
+#doc_to_text: >
+#  "Crea un sommario del seguente testo. Testo: {{source}}\nSommario: "
+doc_to_text: "Riassumi il seguente articolo di giornale: '{{source}}'\nRiassunto:"
+process_results: !function sum_utils.process_results_sum
+metric_list:
+  - metric: rouge1
+    higher_is_better: true
+    aggregation: mean

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sum_fp-small_p2.yaml

@@ -0,0 +1,12 @@
+tag: evalita-mp_sum_fp-small_tasks
+include: _sum_template_fp-small_yaml
+task: evalita-sp_sum_task_fp-small_p2
+task_alias: prompt-2
+#doc_to_text: >
+#  "Crea un sommario del seguente testo. Testo: {{source}}\nSommario: "
+doc_to_text: "Devi risolvere un compito di sintesi automatica del testo. Riassumi il seguente articolo di giornale: '{{source}}'\nRiassunto:"
+process_results: !function sum_utils.process_results_sum
+metric_list:
+  - metric: rouge1
+    higher_is_better: true
+    aggregation: mean

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sum_fp-small_task.yaml

@@ -0,0 +1,9 @@
+group: evalita-mp_sum_fp
+group_alias: summarization-fanpage
+task:
+- evalita-mp_sum_fp-small_tasks
+aggregate_metric_list:
+  - metric: rouge1
+    weight_by_size: True
+metadata:
+  version: 0.0

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sum_fp_p1.yaml

@@ -0,0 +1,10 @@
+tag: evalita-mp_sum_fp_tasks
+include: _sum_template_fp_yaml
+task: evalita-sp_sum_task_fp_p1
+task_alias: prompt-1
+doc_to_text: "Riassumi il seguente articolo di giornale: '{{source}}'\nRiassunto:"
+process_results: !function sum_utils.process_results_sum
+metric_list:
+  - metric: rouge1
+    higher_is_better: true
+    aggregation: mean

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sum_fp_p2.yaml

@@ -0,0 +1,10 @@
+tag: evalita-mp_sum_fp_tasks
+include: _sum_template_fp_yaml
+task: evalita-sp_sum_task_fp_p2
+task_alias: prompt-2
+doc_to_text: "Devi risolvere un compito di sintesi automatica del testo. Riassumi il seguente articolo di giornale: '{{source}}'\nRiassunto:"
+process_results: !function sum_utils.process_results_sum
+metric_list:
+  - metric: rouge1
+    higher_is_better: true
+    aggregation: mean

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_sum_fp_task.yaml

@@ -0,0 +1,9 @@
+group: evalita-mp_sum_fp
+group_alias: summarization-fanpage
+task:
+- evalita-mp_sum_fp_tasks
+aggregate_metric_list:
+  - metric: rouge1
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_p1.yaml

@@ -0,0 +1,9 @@
+tag: evalita-mp_te_tasks
+include: _te_template_yaml
+task: evalita-mp_te_prompt-1
+task_alias: prompt-1
+#doc_to_text: "Task di Text Entailment. Rispondi Vero o Falso in base alla correttezza dell'ipotesi rispetto al testo.\nTesto:{{text1}}\nIpotesi: {{text2}}\nRisposta:"
+doc_to_text: "La frase: '{{text1}}' implica logicamente che la frase: '{{text2}}' sia vera?"
+#metric_list:
+#  - metric: acc
+#    higher_is_better: true

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_p2.yaml

@@ -0,0 +1,5 @@
+tag: evalita-mp_te_tasks
+include: _te_template_yaml
+task: evalita-mp_te_prompt-2
+task_alias: prompt-2
+doc_to_text: "Devi risolvere un compito di inferenza semantica. La frase: '{{text1}}' implica logicamente che la frase: '{{text2}}' sia vera?"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_p3.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_te_tasks
+include: _te_template_yaml
+task: evalita-mp_te_prompt-3
+task_alias: prompt-3
+doc_to_choice: ["A", "B"]
+doc_to_text: "La frase: '{{text1}}' implica logicamente che la frase: '{{text2}}' sia vera?\nA: Sì\nB: No\nRisposta:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_p4.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_te_tasks
+include: _te_template_yaml
+task: evalita-mp_te_prompt-4
+task_alias: prompt-4
+doc_to_choice: ["A", "B"]
+doc_to_text: "Devi risolvere un compito di inferenza semantica. La frase: '{{text1}}' implica logicamente che la frase: '{{text2}}' sia vera?\nA: Sì\nB: No\nRisposta:"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_p5.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_te_tasks
+include: _te_template_yaml
+task: evalita-mp_te_prompt-5
+task_alias: prompt-5
+doc_to_choice: ["La frase 1 implica logicamente che la frase 2 sia vera", "La frase 1 non implica logicamente che la frase 2 sia vera"]
+doc_to_text: "Frase 1: '{{text1}}' Frase 2: '{{text2}}'"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_p6.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_te_tasks
+include: _te_template_yaml
+task: evalita-mp_te_prompt-6
+task_alias: prompt-6
+doc_to_choice: ["La frase 1 implica logicamente che la frase 2 sia vera", "La frase 1 non implica logicamente che la frase 2 sia vera"]
+doc_to_text: "Devi risolvere un compito di inferenza semantica. Frase 1: '{{text1}}' Frase 2: '{{text2}}'"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_te_tasks.yaml

@@ -0,0 +1,9 @@
+group: evalita-mp_te
+group_alias: text-entailment
+task:
+  - evalita-mp_te_tasks # this has to match the tag in the task yaml file
+aggregate_metric_list:
+  - metric: acc
+    weight_by_size: True
+metadata:
+  version: 1

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_wic_p1.yaml

@@ -0,0 +1,5 @@
+tag: evalita-mp_wic_tasks
+task: evalita-mp_wic_prompt-1
+task_alias: prompt-1
+include: _wic_template_yaml
+doc_to_text: "La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' ha lo stesso significato della parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'?"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_wic_p2.yaml

@@ -0,0 +1,5 @@
+tag: evalita-mp_wic_tasks
+task: evalita-mp_wic_prompt-2
+task_alias: prompt-2
+include: _wic_template_yaml
+doc_to_text: "Devi determinare se una stessa parola usata in due frasi differenti ha lo stesso significato in entrambi i contesti. La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' ha lo stesso significato della parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'?"

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_wic_p3.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_wic_tasks
+task: evalita-mp_wic_prompt-3
+task_alias: prompt-3
+include: _wic_template_yaml
+doc_to_text: "La parola '{{sentence1[start1:end1]}}' nella frase '{{sentence1}}' ha lo stesso significato della parola '{{sentence2[start2:end2]}}' nella frase '{{sentence2}}'?\nA: Sì\nB: No\nRisposta:"
+doc_to_choice: ["B", "A"]

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_wic_p4.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_wic_tasks
+task: evalita-mp_wic_prompt-4
+task_alias: prompt-4
+include: _wic_template_yaml
+doc_to_text: "Devi determinare se una stessa parola usata in due frasi differenti ha lo stesso significato in entrambi i contesti. La parola '{{sentence1[start1:end1]}}' nella frase '{{sentence1}}' ha lo stesso significato della parola '{{sentence2[start2:end2]}}' nella frase '{{sentence2}}'?\nA: Sì\nB: No\nRisposta:"
+doc_to_choice: ["B", "A"]

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_wic_p5.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_wic_tasks
+task: evalita-mp_wic_prompt-5
+task_alias: prompt-5
+include: _wic_template_yaml
+doc_to_text: "La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' e la parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'"
+doc_to_choice: ["non hanno lo stesso significato", "hanno lo stesso significato"]

lm-evaluation-harness/lm_eval/tasks/evalita_llm/_evalita-mp_wic_p6.yaml

@@ -0,0 +1,6 @@
+tag: evalita-mp_wic_tasks
+task: evalita-mp_wic_prompt-6
+task_alias: prompt-6
+include: _wic_template_yaml
+doc_to_text: "Devi determinare se una stessa parola usata in due frasi differenti ha lo stesso significato in entrambi i contesti. La parola: '{{sentence1[start1:end1]}}' nella frase: '{{sentence1}}' e la parola: '{{sentence2[start2:end2]}}' nella frase: '{{sentence2}}'"
+doc_to_choice: ["non hanno lo stesso significato", "hanno lo stesso significato"]