Exploring Wikidata properties by the similarity of their use

by Envel Le Hir — CC BY 4.0 — April 7, 2019 — Wikidata

A few weeks ago, I released Related Properties, a tool to explore Wikidata properties and find the ones used together.

Features overview

The first idea when you want to find which properties are the most used with one specific property in Wikidata is to look at the cardinality of intersection, i.e. the number of items that use both properties. The issue with this method is that it will mainly returns general properties. For instance, when you look at the closest properties of archives at (P485) sorted by the cardinality of intersection, you have a bunch of general properties about humans (sex or gender, occupation, given name, …).

Another idea is to use the Jaccard index, which is the cardinality of intersection divided by the cardinality of union of two sets. It allows to find properties that are used mainly together and not on differing sets of items. With the same example of archives at (P485), we can see that the closest properties sorted by the Jaccard index are quite different, with mostly external IDs from authorities.

In a nutshell:

The tool unveils closest properties by both methods. Each property is displayed with its English label and its P number, and is also linked to its page on Wikidata. Properties can be filtered by type, for example to gather statistics about external ids only. The data can be downloaded from the main page of the tool.

Limits

At the moment, statistics are limited to:

Other methods to detect similarity should be available. For instance, the fact that P4285 is (or should be) a subset of P269 is not clearly visible at the moment.

Note: the idea to use the Jaccard index comes from Goran S. Milovanović (T214897).

Technical overview

The tool relies on the weekly Wikidata JSON dump, which is read in a one-time pass with the Wikidata Toolkit, to compute the cardinality of each property and the cardinality of intersection of each pair of properties. The data is then imported into a MySQL database to compute the Jaccard index and to easily display the data with PHP.

Here is a description of the algorithm and its main variables used to generate the statistics:

set p_s to an empty set of pairs;
set q_s to an empty set of 4-tuples;
for each item in the Wikidata JSON dump:
    set u_s to an empty set of singletons;
    for each statement with normal or preferred rank in the item:
        set p the main property used in the statement;
        if p not in u_s:
            add p to u_s;
    for each property pa in u_s:
        if (pa, _) not in p_s:
            add (pa, 0) to p_s;
        set (pa, n) to (pa, n + 1) in p_s;
        for each property pb in u_s:
            if pa < pb:
                if (pa, pb, _, _) not in q_s:
                    add (pa, pb, 0, _) to q_s;
                set (pa, pb, n, _) to (pa, pb, n + 1, _) in q_s;
for each tuple (pa, pb, i, _) in q_s:
    get (p, c_a) from p_s where p = pa;
    get (p, c_b) from p_s where p = pb;
    set (pa, pb, i, _) to (pa, pb, i, i / (c_a + c_b - i)) in q_s;

Lines 1 to 17 of the pseudocode are implemented by the class PropertiesProcessor.

Lines 18 to 21 of the pseudocode are implemented by the SQL query at the line 31 of the import script.

Matching BnF and Wikidata video games using Dataiku DSS

by Envel Le Hir — CC BY 4.0 — March 3, 2019 — Dataiku DSS, National Library of France, SPARQL, Video games, Wikidata

Vous pouvez lire ce billet en français : Alignement des jeux vidéo de la BnF avec Wikidata grâce à Dataiku DSS.

While the National Library of France (Bibliothèque nationale de France, BnF) collections obviously comprise numerous books, newspapers or manuscripts, they also contain elements from more recents technologies, like video games. According to its SPARQL endpoint, the BnF’s general catalogue has information on over 4,000 video games. At the same time, Wikidata has information about 36,000 video games, with only 60 linked to a BnF record in early February 2019!

In this blog post, we will see how we can improve this linking, using the software Dataiku Data Science Studio (Dataiku DSS), the objective being to correctly add the maximum number of BnF ids to video games items on Wikidata.

Dataiku DSS installation

The installation and the use of Dataiku DSS are outsite the scope of this post; however, here is some information that can be useful to start with this tool.

You can download the free edition of Dataiku DSS, which is more than enough in our case, from Dataiku website, following the instructions corresponding to your environment (for example, I use Dataiku DSS in the provided virtual machine, and access it through my favorite web browser).

You need to install the SPARQL plugin (presented in this post):

On the usage of Dataiku DSS, the two first tutorials offered by Dataiku should be sufficient to understand this post.

For the next steps, it is assumed that you have created a new project in Dataiku DSS.

Data from Wikidata

Data import

From Wikidata, we import the video games which have a publication date (by keeping only the oldest one for each game) and do not yet have a BnF id.

In the Flow of your project, add a new dataset Plugin SPARQL. Enter the URL of the SPARQL endpoint of Wikidata:

https://query.wikidata.org/sparql

Then the following SPARQL query:

SELECT ?item ?itemLabel (MIN(?year) AS ?year) {
  ?item wdt:P31 wd:Q7889 ; wdt:P577 ?date .
  BIND(YEAR(?date) AS ?year) .
  FILTER NOT EXISTS { ?item wdt:P268 [] } .
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en,fr" . }
}
GROUP BY ?item ?itemLabel
HAVING (?year > 1)

Retrieve the data. Feel free to play with it, for example by displaying the number of video games by year of publication.

Data preparation

Using the Dataiku DSS recipe Prepare, we prepare the retrieved data.

The main steps of the preparation are:

Data from BnF

Data import

Similarly, we import video games from BnF. Create a new dataset Plugin SPARQL, with the URL of the SPARQL endpoint of the BnF catalogue:

https://data.bnf.fr/sparql

With the following SPARQL query:

SELECT DISTINCT ?item ?itemLabel ?year
WHERE {
  ?item <http://xmlns.com/foaf/0.1/focus> ?focus ; <http://www.w3.org/2004/02/skos/core#prefLabel> ?label .
  ?focus <http://data.bnf.fr/ontology/bnf-onto/subject> "Informatique" ;
    <http://data.bnf.fr/ontology/bnf-onto/subject> "Sports et jeux" ;
    <http://data.bnf.fr/ontology/bnf-onto/firstYear> ?year .
  FILTER NOT EXISTS { ?focus <http://purl.org/dc/terms/description> "Série de jeu vidéo"@fr . } .
  FILTER NOT EXISTS { ?focus <http://purl.org/dc/terms/description> "Série de jeux vidéo"@fr . } .
  BIND(STR(?label) AS ?itemLabel) .
}

Note that, unlike Wikidata, what is a video game is only indirectly determined in BnF records. We also need to filter the video game series by two different filters due to the inconsistencies in the BnF data.

Data preparation

Labels of video games from the BnF’s catalogue finish by the string : jeu vidéo. We need to remove it so the two data sets can correctly match. For that, in the preparation recipe, we add a step to replace this string by an empty string (as for the preparation of the id).

Then, we proceed as for Wikidata:

First filtering

We want to filter BnF ids that are already present in Wikidata, in order to prevent a BnF id from being used on several Wikidata elements.

To do so, we start by retrieving BnF ids existing in Wikidata, using a new dataset Plugin SPARQL, with the address of the SPARQL endpoint of Wikidata and the query that returns all used BnF ids in Wikidata:

SELECT DISTINCT ?bnf_id_to_filter WHERE { [] wdt:P268 ?bnf_id_to_filter . }

Then, we join the two datasets bnf_video_games_prepared and bnf_ids using the recipe Join with. The default engine of Dataiku DSS can’t do a full outer join directly to filter out at once the lines that we want to remove. The trick is to do a left outer join. We start by keeping all the lines from the first dataset, by possibly retrieving the information from the second dataset if a match exists (here, we only retrieve the identifier in the second dataset):

Then, in the Post-filter part of the recipe, we keep only the lines from the first dataset for which no match was found, i. e. for which the column bnf_id_to_filter is empty after the join.

The result of the recipe is the set of video games from BnF, retrieved and prepared, filtered from those with an id already present in Wikidata.

Data matching

Using the recipe Join with, we combine the two prepared datasets into one unique dataset. We use an inner join with two join conditions:

The normalization of labels allows us to match labels that have only a few differences in their format (capital letters, accents, spaces, etc.) between BnF and Wikidata.

The year of publication makes it possible to distinguish video games with identical titles but released several years apart. For example, there are two games called Doom: one published in 1993 and the other one in 2016.

Data cleaning

When you look at the data, you can see that there are duplicates. For example, there are several Hook video games released in 1992, with 3 ids in Wikidata and 2 in BnF. BnF also seems to have 2 records on the same game, Parasite Eve, released in 1998. After verification, it appears that the series is not categorized as such in the BnF catalogue. Rather than inserting incorrect data, we filter it out.

We start by building two datasets, each representing games having their id (respectively from BnF and Wikidata) appearing exactly one time after the matching. To do so, we use the recipe Group, grouping video games by id.

In the Post-filter part of each recipe Group, we keep only ids that appear exactly one time.

Then, we do two successive intern joins from the combined data (video_games_joined) with the two datasets (video_games_grouped_by_bnf_id and video_games_grouped_by_wd_id) that we just created. It is then certain that the retained lines no longer contain duplicates in the identifiers.

Data import into Wikidata

After the cleaning, we want to import the data into Wikidata. For that, we put them in CSV format, as expected by QuickStatements:

Dataiku DSS allows you to export data in CSV format. The last step is to copy-paste the content of the exported file into QuickStatements, which gives us:

Outcomes

In a few clicks, we imported more than 2,000 BnF ids of video games into Wikidata. However, the work is not finished!

Alignement des jeux vidéo de la BnF avec Wikidata grâce à Dataiku DSS

par Envel Le Hir — CC BY 4.0 — 24 février 2019 — Bibliothèque nationale de France, Dataiku DSS, Jeux vidéo, SPARQL, Wikidata

You can read this post in English: Matching BnF and Wikidata video games using Dataiku DSS.

Si les collections de la Bibliothèque nationale de France (BnF) comportent évidemment de nombreux livres, imprimés, périodiques ou encore manuscrits, elles se composent également d’éléments issus de techniques plus récentes, comme les jeux vidéo. D’après son point d’accès SPARQL, le catalogue général de la BnF a des informations sur un peu plus de 4000 jeux vidéo. Dans le même temps, Wikidata possède des informations sur plus de 36 000 jeux vidéo, dont seulement 60 (début février 2019) ont un lien vers une notice de la BnF !

Dans ce billet, on va voir comment améliorer ce maillage à l’aide du logiciel Dataiku Data Science Studio (Dataiku DSS), l’objectif étant d’ajouter, de manière correcte, le maximum d’identifiants BnF aux éléments Wikidata sur les jeux vidéo.

Installation de Dataiku DSS

L’installation et la prise en main de Dataiku DSS sont en-dehors du cadre de ce billet ; voici toutefois quelques informations qui pourront vous être utiles.

Vous pouvez télécharger la version gratuite de Dataiku DSS, amplement suffisante dans notre cas, sur le site de Dataiku, en suivant les instructions adaptées à votre environnement (par exemple, j’utilise Dataiku DSS dans la machine virtuelle proposée, en y accédant par mon navigateur web préféré).

L’installation du plugin SPARQL (présentation détaillée dans ce billet, en anglais) est nécessaire :

En ce qui concerne la prise en main de Dataiku DSS, suivre les deux premiers tutoriels proposés par Dataiku devrait être suffisant pour comprendre ce billet.

Pour la suite, on suppose que vous avez créé un nouveau projet dans Dataiku DSS.

Données de Wikidata

Import des données

On récupère les jeux vidéo dans Wikidata qui ont une année de publication renseignée (en ne conservant que la plus ancienne pour chaque jeu) et n’ayant pas encore d’identifiant BnF renseigné.

Dans le Flow de votre projet, ajoutez un nouveau dataset Plugin SPARQL. Renseignez l’URL du point d’accès SPARQL de Wikidata :

https://query.wikidata.org/sparql

Renseignez la requête SPARQL suivante :

SELECT ?item ?itemLabel (MIN(?year) AS ?year) {
  ?item wdt:P31 wd:Q7889 ; wdt:P577 ?date .
  BIND(YEAR(?date) AS ?year) .
  FILTER NOT EXISTS { ?item wdt:P268 [] } .
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en,fr" . }
}
GROUP BY ?item ?itemLabel
HAVING (?year > 1)

Récupérez les données. Profitez-en pour les manipuler, par exemple en affichant le nombre de jeux vidéo par année de publication.

Préparation des données

Grâce à la recette Prepare de Dataiku DSS, on prépare les données récupérées.

Les principales étapes de la préparation sont les suivantes :

Données de la Bibliothèque nationale de France

Import des données

De même, on importe les jeux vidéo de la BnF. Créez un nouveau dataset Plugin SPARQL, avec l’URL du point d’accès SPARQL du catalogue de la BnF :

https://data.bnf.fr/sparql

Puis avec la requête SPARQL suivante :

SELECT DISTINCT ?item ?itemLabel ?year
WHERE {
  ?item <http://xmlns.com/foaf/0.1/focus> ?focus ; <http://www.w3.org/2004/02/skos/core#prefLabel> ?label .
  ?focus <http://data.bnf.fr/ontology/bnf-onto/subject> "Informatique" ;
    <http://data.bnf.fr/ontology/bnf-onto/subject> "Sports et jeux" ;
    <http://data.bnf.fr/ontology/bnf-onto/firstYear> ?year .
  FILTER NOT EXISTS { ?focus <http://purl.org/dc/terms/description> "Série de jeu vidéo"@fr . } .
  FILTER NOT EXISTS { ?focus <http://purl.org/dc/terms/description> "Série de jeux vidéo"@fr . } .
  BIND(STR(?label) AS ?itemLabel) .
}

Notez que, contrairement à Wikidata, on ne détermine qu’indirectement ce qui est un jeu vidéo dans les notices de la BnF. On est également obligé de filtrer les séries de jeux vidéo, par deux filtres différentes du fait de l’inconsistance des données de la BnF.

Préparation des données

Les libellés des jeux vidéo du catalogue de la BnF se terminent par la chaîne : jeu vidéo. Il faut l’enlever pour aligner correctement les deux jeux de données. Pour cela, dans la recette de préparation, on ajoute une étape pour remplacer cette chaîne par une chaîne vide (comme pour la préparation de l’identifiant).

Ensuite, on procède comme pour Wikidata :

Premier filtrage

On filtre les identifiants BnF qui sont déjà présents dans Wikidata, dans le but d’éviter qu’un identifiant BnF ne soit utilisé sur plusieurs éléments Wikidata.

Pour cela, on commence par récupérer les identifiants BnF utilisés dans Wikidata à l’aide d’un nouveau dataset Plugin SPARQL. On y met l’adresse du point d’accès SPARQL de Wikidata et la requête qui permet de récupérer tous les identifiants BnF utilisés :

SELECT DISTINCT ?bnf_id_to_filter WHERE { [] wdt:P268 ?bnf_id_to_filter . }

Ensuite, on joint les deux datasets bnf_video_games_prepared et bnf_ids à l’aide de la recette Join with. Le moteur par défaut de Dataiku DSS ne permet pas de faire directement une jointure externe « complète » pour filtrer d’un coup les lignes qu’on ne veut pas conserver. L’astuce consiste à faire une jointure externe « à gauche ». Dans un premier temps, on conserve toutes les lignes du premier dataset, en récupérant éventuellement les informations du second dataset si une correspondance existe (ici, on ne récupère que l’identifiant dans le second dataset) :

Dans un second temps, dans la partie Post-filter de la recette, on conserve les lignes du premier dataset pour lesquelles aucune correspondance n’a été trouvée, c’est-à-dire pour lesquelles la colonne bnf_id_to_filter n’est pas renseignée après la jointure.

Le résultat de la recette est l’ensemble des jeux vidéo de la BnF, récupérés et préparés, filtrés de ceux ayant un identifiant déjà utilisé dans Wikidata.

Croisement des données

À l’aide de la recette Join with, on joint les deux datasets préparés pour ne plus en n’avoir qu’un seul. On fait une jointure interne (inner join) avec deux conditions de jointure :

La normalisation des libellés permet de faire correspondre des libellés qui ont seulement quelques différences de forme (majuscules, accents, espaces, etc.) entre la BnF et Wikidata.

L’année de publication permet de différencier des jeux vidéo avec des titres identiques mais sortis à plusieurs années d’écart. Par exemple, il y a deux jeux nommés Doom : l’un publié en 1993 et l’autre en 2016.

Nettoyage des données

En parcourant les données, on voit qu’il y a des doublons. Par exemple, il y a plusieurs jeux vidéo Hook sortis en 1992, dont on trouve 3 identifiants dans Wikidata et 2 dans la BnF. La BnF semble également posséder 2 fiches sur le même jeu, Parasite Eve, sorti en 1998. Après vérification, il s’avère que la série n’est pas catégorisée comme telle dans le catalogue de la BnF. Plutôt que d’insérer des données incorrectes, on les filtre.

On commence par construire deux datasets, chacun représentant les jeux dont l’identifiant (respectivement Bnf et Wikidata) n’apparaît qu’une seule fois après notre croisement. Pour cela, on utilise la recette Group, en groupant les jeux vidéo par identifiant.

Dans les parties Post-filter de chacune des recettes Group, on ne conserve que les identifiants qui n’apparaissent exactement qu’une seule fois.

Ensuite, on fait deux jointures internes successives à partir des données croisées (video_games_joined) avec les deux datasets (video_games_grouped_by_bnf_id puis video_games_grouped_by_wd_id) que l’on vient de créer. On est alors certain que les lignes conservées ne contiennent plus de doublon dans les identifiants.

Import des données dans Wikidata

Après nettoyage, on importe les données dans Wikidata. Pour cela, on les met au format CSV attendu par QuickStatements :

Dataiku DSS permet d’exporter les données au format CSV. Il n’y a plus qu’à copier-coller le contenu du fichier exporté dans QuickStatements, ce qui donne :

Résultats

En quelques clics, on a importé plus de 2000 identifiants BnF de jeux vidéo dans Wikidata. Toutefois, le travail n’est pas terminé !