Home
412
3
CLEFeHealth 2014 Task 3 Evaluation Package 
View resource name in all available languages
Package d'évaluation CLEFeHealth tâche 3 2014
ID:
ELRA-E0043
The CLEF Initiative (Conference and Labs of the Evaluation Forum) promotes the systematic evaluation of information access systems through experimentation on shared tasks, with an emphasis on multilingual and multimodal information. It is structured in two main parts: a series of Evaluation Labs for the systems devised and a peer-reviewed conference on a broad range of issues related to the project.
The CLEFeHealth 2014 Task 3 Evaluation Package contains data used for the User-centred health information retrieval Shared task at the CLEFeHealth Lab conducted in 2014.
Task 3 aimed at evaluating information retrieval to address questions patients may have when reading clinical reports.
The package contains:
• a collection of medical-related documents,
• guidelines provided to the participants,
• queries generated by medical professionals,
• a set of manual relevance assessments,
• the official results obtained by the participants,
• working notes papers.
The collection consists of a set of around 1 million medical-related documents, provided by the Khresmoi project. This collection contains documents covering a broad set of medical topics, and does not contain any patient information.
The documents in the collection come from several online sources, including Health On the Net organization certified websites, as well as well-known medical sites and databases (e.g. Genetics Home Reference, ClinicalTrial.gov).
Five sample development queries, 50 test queries and their translation in Czech, French and German, as well as result set are provided with the data set. The queries have been manually generated by medical professionals from disorders mentioned in discharge summaries used for task 2 of CLEF eHealth.
The training set contains 20 topics:
• 5 in English
• 5 in Czech
• 5 in French
• 5 in German
Topic Test Set
The official test topic and result set for Task 3 consists of 50 topics in 2013 and 200 in 2014 (50 in English, 50 in Czech, 50 in French and 50 in German) and corresponding result set generated from manual relevance assessment (by medical professionals) on a pool generated from participants runs.
The test set contains 200 topics:
• 50 in English
• 50 in Czech
• 50 in French
• 50 in German
A demo version of the package is available from http://clefpackages.elra.info/clefehealthtask3/
View resource description in
French
L’initiative CLEF (Conference and Labs of the Evaluation Forum) a pour but de promouvoir l’évaluation systématique des systèmes d’accès à l’information à travers l’expérimentation sur des tâches partagées, avec un accent mis sur l’information multilingue et multimodale. Elle comprend deux parties : l’une constituée de laboratoires d’évaluation des systèmes élaborés, l’autre comprenant une conférence d’évaluation entre chercheurs du domaine sur de nombreuses thématiques liées au projet.
Le package d’évaluation CLEFeHealth tâche 3 2014 est composé de données utilisées lors de la tâche partagée de recherche d’information centrée-utilisateur sur la santé réalisée dans le cadre du laboratoire CLEFeHealth 2014.
La tâche 3 visait à l’évaluation de la recherche d’informations relatives aux questions que les patients sont susceptibles d’avoir lorsqu’ils lisent des rapports cliniques.
Le package est composé de:
• une collection de documents de type médical,
• directives fournies aux participants,
• requêtes générées par les professionnels du domaine médical,
• un ensemble de jugements pertinents réalisés manuellement,
• résultats officiels obtenus par les participants,
• notes de travail.
La collection consiste en un ensemble d’environ 1 million de documents de type médical, fournis par le projet Khresmoi. Cette collection contient des documents couvrant un large ensemble de thèmes du domaine médical et ne contient aucune information sur les patients.
Les documents de la collection proviennent de plusieurs sources disponibles en ligne, dont des sites web certifiés par l’organisation Health On the Net, ainsi que des sites médicaux et des bases de données renommées, telles queGenetics Home Reference, ClinicalTrial.gov.
Cinq requêtes pour le développement de l’échantillon, 50 requêtes pour les tests et leur traduction en tchèque, français et allemand, ainsi que l’ensemble des résultats sont fournis avec l’ensemble des données. Les requêtes ont été générées manuellement par des professionnels du domaine médical à partir de troubles mentionnés dans des résumés de congé de patients utilisés pour la tâche 2 de CLEFeHealth.
Les données d’entraînement contiennent 20 thèmes :
• 5 en anglais
• 5 en tchèque
• 5 en français
• 5 en allemand
Les données de test sur les thèmes :
Les données officielles de test sur les thèmes et de leurs résultats pour la tâche 3 comprennent 50 thèmes en 2013 et 200 en 2014 (50 en anglais, 50 en tchèque, 50 en français et 50 en allemand) et contiennent également les résultats correspondants générés à partir d’une évaluation manuelle de la pertinence (par des professionnels du domaine médical) sur un ensemble commun généré à partir des résultats des participants.
Les données de test contiennent 200 thèmes :
• 50 en anglais
• 50 en tchèque
• 50 en français
• 50 en allemand
Une version de démonstration du package est disponible à cette adresse http://clefpackages.elra.info/clefehealthtask3/
| MEMBER | academic | commercial |
|---|---|---|
| Licence: Evaluation Use - ELRA EVALUATION |
0.00 €
 |
0.00 €
|
| NON MEMBER | academic | commercial |
|---|---|---|
| Licence: Evaluation Use - ELRA EVALUATION |
0.00 €
|
0.00 €
|
