1.2.3. Integrated Analysis Platform

Various computerized methodologies and platforms are available to help researchers analyze linguistically annotated corpora (GATE, UIMA, WebLicht…).

The [IHRIM] laboratory has developed, through several research projects, an original analysis platform called TXM that implements the textometry methodology and combines several key capabilities: the ability to ingest finely XML-TEI encoded textual corpora, building of high quality text editions (rendering critical apparatus, annotations, styling, pagination, etc.), full text word patterns query search through the efficient CQP engine and statistical models computation based on R packages, applied on the extractions of the search engine.

The PROFITEROLE project will extend the extraction tools and statistical models by coupling syntactic node patterns search engines into the TXM platform.

From a methodological point of view, this will allow the combination of CQL queries expressing extraction constraints on words and their properties (like POS and lemma) and their structural context (like text metadata values or being in direct speech or not) with, for example, TIGERSearch queries expressing extraction constraints on syntactic tree nodes or terminals. The combination of constraints will be based on a join on CQP and TIGERSearch tokens. This will provide new insights in annotated corpora like: applying a contrastive statistical model to different centuries and text genres based on the raw frequency of various syntactic annotations or to the contrast between direct speech and non-direct speech in texts based on the raw frequency of some syntactic patterns.

Those new analysis tools will be prototyped in the portal version of TXM (for online access to the corpus) and in the local desktop version (for local analysis).

• SRCMF TigerXML, par textes :
  • eg http://srcmf.org/public/strasbbfm-tsxml.zip
  • Commentaires : sans ponctuation
• SRCMF UD, voir https://github.com/UniversalDependencies/UD_Old_French-SRCMF/tree/master
  • Commentaires : sans ponctuation
• BFM (préciser la version)

• syntaxe TIGER Search (la représentation diffusée par le projet ANR-DFG SRCMF) :
  • consolidation de l'intégration de l'extension TIGER Search
  • spécifications de l'import d'annotation syntaxique (TIGER)
  • spécification de la commande Navigateur TIGERSearch
  • spécification de l'index syntaxique V1
  • Spécifications des calculs statistiques généraux

• spécification de la concordance syntaxique V1
• Macro TSIndex https://forge.cbp.ens-lyon.fr/redmine/issues/2438

• syntaxe en dépendance (la représentation commune du projet ANR Profiterole) : intégration de composants Icarus CoNLL/dépendentiel (parser, assistant requêtes, moteur de recherche, visualisation d'arbre)
  • spécifications de l'import d'annotation syntaxique (CoNNL-U)
  • spécifications de l'intégration du moteur Icarus
  • spécification de la commande Navigateur CoNNL-U
  • spécification de l'index syntaxique V2
  • spécification de la concordance syntaxique V2
  • spécification de l'édition syntaxique

• combinaison CQP / TS et CQP / CoNLL pour les traitements textométriques
  • externe = sous-corpus et partition (UI ou script)
  • interne = fusion de sélections de séquences d'occurrences
• syntaxe RDF (la représentation source du projet ANR-DFG SRCMF) : intégration de composants SPARQL : extraction SPARQL, visualisations (cf proto MZI)

• TXM Profiterole 1.0
• TXM Profiterole 2.0

• télécharger le corpus binaire BFM
• charger le corpus BFM dans TXM
• télécharger le corpus SRCMF UD https://github.com/UniversalDependencies/UD_Old_French-SRCMF/tree/master
• ajouter les annotations syntaxiques du corpus SRCMF UD au corpus BFM avec la commande Corpus > Import > UD Syntactic annotations…
  • vérifier le nombre d'annotations ajoutées et le nombre d'annotations non ajoutées (bugs de correspondance d'ID de mots)
• vérifier que la commande Propriétés (ex Informations/Description/Diagnostic) indique les bonnes informations concernant l'annotation syntaxique
• exporter le corpus BFM dans BFM-UD
• lancer la commande Corpus > Browse UD Syntactic Trees (fr= Voir Arbres syntaxiques UD) (icone arbre syntaxique oblique (versus dendrogramme rectangulaire))
  • vérifier la visualisation des arbres de phrases
  • naviguer dans les arbres

• charger le corpus BFM-UD
• lancer la commande Concordance
  • sélectionner le moteur Icarus Search
  • utiliser l'assistant de requêtes Icarus pour formuler la requête XXX, en tenant compte des paramètres de la concordance syntaxique
  • régler les paramètres supplémentaires de la concordance syntaxique
  • lancer la requête
  • parcourir la concordance
  • vérifier les retours au texte dans l'édition

• lancer la commande Édition sur le corpus BFM-UD
• cliquer sur le bouton 'UD Annotation' (fr='Annotation UD')
• naviguer dans l'édition entre les phrases avec la barre d'outils d'annotation UD
  • vérifier que la phrase courante est bien visible (focus), que ses mots sont mis en évidence et que le verbe est bien distingué

• télécharger le corpus SRCMF TIGER
• importer le corpus dans TXM avec le module XML-TIGER+CSV
  • vérifier que la commande Propriétés indique les bons identifiants de textes
• lancer la commande Corpus > TIGER Syntax (fr=Syntaxe TIGER) (icone TS)
  • naviguer dans les arbres (sans recherche?)

• télécharger le corpus binaire BFM
• charger le corpus BFM dans TXM
• télécharger le corpus SRCMF TIGER
• ajouter les annotations syntaxiques du corpus SRCMF TIGER au corpus BFM avec la commande Corpus > Import > XML-TIGER Syntactic annotations…
• lancer la commande Concordance
  • sélectionner le moteur TIGER Search (→ concordance syntaxique)
  • utiliser l'assistant de requêtes TIGER pour formuler la requête XXX, en tenant compte des paramètres de la concordance syntaxique
  • régler les paramètres supplémentaires de la concordance syntaxique
  • lancer la requête
  • parcourir la concordance
  • vérifier les retours au texte dans l'édition

• créer une partition de textes dans le corpus SRCMF-UD
• lancer la commande Index sur cette partition
  • sélectionner le moteur IcarusSearch
  • utiliser l'assistant de requêtes pour formuler la requête XXX, en tenant compte des paramètres de l'index
  • régler les paramètres supplémentaires de l'index
  • lancer le calcul
  • parcourir le tableau de résultats

• faire un sous-corpus du discours direct dans le corpus BFM-TIGER
• lancer la commande Index sur ce sous-corpus
  • sélectionner le moteur IcarusSearch
  • utiliser l'assistant de requêtes pour formuler la requête XXX, en tenant compte des paramètres de l'index
  • régler les paramètres supplémentaires de l'index
  • lancer le calcul

• télécharger le corpus binaire BFM
• charger le corpus BFM dans TXM
• télécharger le corpus SRCMF RDF
• ajouter les annotations syntaxiques du corpus SRCMF RDF au corpus BFM avec la commande Corpus > Import > N3-RDF Notabene annotations…
• lancer la commande Concordance
  • sélectionner le moteur SPARQL
  • utiliser l'assistant de requêtes SPARQL pour formuler la requête XXX
  • lancer la requête
  • parcourir la concordance
  • vérifier les retours au texte dans l'édition

• télécharger le corpus binaire BFM
• charger le corpus BFM dans TXM
• télécharger le corpus SRCMF TIGER
• ajouter les annotations syntaxiques du corpus SRCMF UD au corpus BFM avec la commande Corpus > Import > XML-TIGER Syntactic annotations…
• uploader le corpus BFM-SRCMF dans un portail TXM en tant qu'admin
• lancer la commande Concordance sur le corpus BFM-SRCMF du portail
  • sélectionner le moteur TIGER Search (→ concordance syntaxique)
  • utiliser l'assistant de requêtes TIGER pour formuler la requête XXX, en tenant compte des paramètres de la concordance syntaxique
  • régler les paramètres supplémentaires de la concordance syntaxique
  • lancer la requête
  • parcourir la concordance
  • vérifier les retours au texte dans l'édition

• importer le corpus SRCMF UD
• comparer les annotations syntaxiques UD de cet import avec les annotations syntaxiques UD importées dans le corpus BFM (cf recette 1.1)

• importer le corpus SRCMF UD
  • demander l'annotation syntaxique par mate-tools avec le modèle d'Ancien Français (eg celui d'AS)
• comparer les annotations produites avec les annotations d'origine du corpus SRCMF UD

• charger le corpus SRCMF UD
• lancer l'apprentissage d'un modèle d'annotation syntaxique AF par mate-tools
• appliquer le modèle AF sur le corpus SRCMF UD
• comparer les annotations produites avec les annotations d'origine du corpus SRCMF UD