Créer un module d'import de n'importe quel fichier TIGER-XML.

Le corpus indexé doit pouvoir être interrogé par TIGERSearch et par CQP. Il faut donc générer un XML-TXM à la volée à partir du TIGER-XML et l'importer par le module XML-TXM. Le TIGER-XML doit produire :

• des structures <s> correspondant aux phrases de TIGERSearch
• des propriétés lexicales correspondant aux déclarations de terminaux T

Ce module d'import concerne d'abord l'usage dans le portail pour l'instant.

• il faut génériciser le module d'import SRCMF existant

• il existe le module d'import SRCMF spécialisé dans les corpus SRCMF

L'import peut être réalisé en suivant la procédure d'import d'un fichier au format TIGER-XML décrite dans la documentation de l'extension TIGERSearch.

L'extension TIGERSearch rajoute un module d'import XML-TS + CSV (le script tigersearchLoader.groovy est copié dans le répertoire TXMHOME/scripts/import).

Le module prend en entrée un répertoire contenant un corpus source au format TIGER XML sans sous-corpus : un seul texte dans un seul fichier TIGER XML.

Le module fait un import XTZ sur le fichier résultat de l'application de la feuille XSL “ts.xsl” puis indexe un corpus TIGER dans le répertoire “tiger” du corpus binaire produit.

Variante gérant plusieurs textes à l'aide d'un fichier main.xml à côté des fichiers TIGER XML de chaque texte.

L'ordre des textes dans le corpus TIGER et le corpus CQP doivent être les mêmes.

Nous allons utiliser le fichier 110CYL067.mrg du corpus  ANC. Nous devons d'abord le convertir depuis le format Penn Treebank vers TIGER-XML.

• télécharger et décompresser l'archive Propbank annotations of 88K of MASC data, in original PB format (original Penn Treebank annotations included)
• lancer TIGERRegistry\\

  cd ~/Software/TIGERSearchTools
  sh runTRegistry.sh

  • lancer 'Corpus/Convert Corpus'
    • Corpus ID : CORPUS110CYL067
    • Import file : Propbank/Penn_Treebank-orig/data/written/110CYL067.mrg
    • Import filter : general Penn treebank format filter
    • désélectionner 'GZip XML file'
    • cliquer 'Start'
  • les fichiers résultat se trouvent dans TIGERSearchTools_installdir:
    • CORPUS110CYL067.xml
    • CORPUS110CYL067_generated_header.xml

• sélectionner le répertoire CorporaDir
• insérer le texte CORPUS110CYL067.xml avec 'Corpus/Insert Corpus'
  • Corpus ID : CORPUS110CYL067

• créer le répertoire source CORPUS110CYL067
• copier le fichier CORPUS110CYL067.xml dans ce répertoire

• depuis TXM
  • lancer le module d'import XML/w+CSV
    • nommer le corpus CORPUS110CYL067
    • pointer vers un répertoire source CORPUS110CYL067
    • régler la langue sur 'en', si on veut sur-annoter les terminaux avec TreeTagger - sinon décocher 'Annoter le corpus'
    • pointer comme front XSL la feuille d’adaptation suivante ts2xmlw.xsl (elle produit la représentation XML-TXM évoquée dans la spécification)
    • lancer l'import
  • le nouveau corpus CORPUS110CYL067 est ajouté à la vue Corpus
    • on peut vérifier sa Description, son Édition, son Lexique, etc.
    • voici les mots et leurs propriétés de la deuxième phrase :

word	pos	enpos	enlemma

Your	PRP$	PP$	your
contribution	NN	NN	contribution
to	TO	TO	to
Goodwill	NNP	NP	Goodwill
will	MD	MD	will
mean	VB	VV	mean
more	JJR	JJR	more
than	IN	IN	than
you	PRP	PP	you
may	MD	MD	may
know	VB	VV	know
.	.	SENT	.

• il peut être interrogé avec le moteur CQP mais pas encore avec TIGERSearch.

• en dehors de TXM
  • une fois l'import terminé, modifier le corpus binaire CORPUS110CYL067 (situé dans ) de la façon suivante :
  • créer dans le répertoire $HOME/TXM/corpora/CORPUS110CYL067 (le répertoire du corpus binaire CORPUS110CYL067 dans TXM) un répertoire nommé “tiger”
  • copier dans ce répertoire '$HOME/TXM/corpora/CORPUS110CYL067/tiger' le répertoire d'indexation du corpus CORPUS110CYL067 de TIGERRegistry 'TIGERSearchTools_installdir/CorporaDir/CORPUS110CYL067'
  • copier également dans ce répertoire '$HOME/TXM/corpora/CORPUS110CYL067/tiger' le fichier tigersearch.logprop (pour la configuration de la librairie TIGERSearch utilisée)
• le corpus est prêt à être interrogé par TIGERSearch depuis TXM

• depuis TXM
  • si nécessaire, installer l'extension TIGERSearch de niveau ALPHA (expérimental - en cours de discussion/test au sein de l'équipe de développement)
  • sélectionner le corpus CORPUS110CYL067
  • cliquer sur le bouton de la commande TIGERSearch (icone du tigre TIGERSearch)
    • saisir la requête []
    • cliquer sur 'Search'
  • la deuxième¹⁾ phrase du corpus s'affiche en mettant en évidence (en rouge) le premier mot (Your) :

• depuis TXM pour poste : exporter le corpus
• télécharger le corpus binaire sur le serveur du portail
• décompresser le répertoire du corpus binaire
• depuis le portail :
  • se connecter en tant qu'administrateur (compte admin)
  • ouvrir l'interface d'administration (bouton Administrer)
  • aller dans l'onglet Corpora
  • coller dans le champ 'Charger une base' [qui devrait en fait être 'Charger un corpus'] le chemin sur le serveur du répertoire du corpus binaire
  • cliquer sur 'Valider'
  • rafraîchir la page (F5)
  • le compte admin peut dors et déjà tester des requêtes TIGERSearch
  • pour les autres comptes, il faut ajouter la permission TsQueryPermission à leur profil