Les défis du Traitement Automatique des Langues en diachronie

Le développement de l’outil informatique à compter des années 1950 et 1960 a influencé de façon déterminante l’approche des chercheurs et des chercheuses en linguistique sur leur objet d’étude. La possibilité d’accéder à un nombre de plus en plus grand de textes numérisés, de rechercher et de comparer un grand nombre d’occurrences entre elles, a modifié durablement la façon dont les linguistes appréhendaient les textes et les discours. Comme nombre d’innovations technologiques cependant, cette nouvelle méthode vint avec son lot de contraintes et de défis, qu’il convient de relever.

La différence séparant un texte physique, un manuscrit ou un imprimé, de son corrélat numérique n’est pas uniquement plastique. Elle s’accompagne d’une toute autre modalité d’accès à la langue, de la même façon que le passage du rôle de parchemin au livre a entraîné une reconfiguration totale de la façon d’accéder à l’écriture, en rendant de plus en plus nécessaire une certaine typo-disposition de l’écrit et la généralisation des titrailles et des tables des matières [1]. Cela a également eu une incidence sur la langue même, en modifiant notamment l’empan exploitable par les locuteurs et la dynamique référentielle mise à l’œuvre dans la conduite de l’énoncé [2]. Dans un texte numérisé ainsi, il devient possible de rechercher la totalité des occurrences d’un mot ou d’une expression quelconque, sans parcourir dans le détail, crayon à la main, l’intégralité du document ; de calculer leurs fréquences finement au sein de l’œuvre d’un même auteur, ou dans plusieurs œuvres de la même période [3] ; de vérifier des hypothèses relatives qui à la construction syntaxique, qui à la linéarité des constituants, en comparant méthodiquement les expressions présentes directement à la gauche et à la droite de la forme analysée [4].

Les outils informatiques permettent également de produire des recherches dites « par expressions régulières », en trouvant par exemple tous les mots s’achevant ou débutant par une certaine syllabe, ce qui permet d’observer in vivo l’évolution des marques verbales ou des phénomènes d’enclise prépositionnelle, ou encore la résolution des diphtongues. Cependant, toutes ces recherches ne s’appuient que sur l’accès aux caractères, lettres, chiffres et ponctuation, dans leur linéarité, ce qui permet certes de vérifier ou d’infirmer des hypothèses pressenties par une lecture première d’un texte, mais qui empêche d’entrer en profondeur dans ses régularités morpho-syntaxiques.

Fig. 1 – Logo de TXM, logiciel de textométrie particulièrement puissant.

C’est alors que les initiatives proposées par le TAL (« Traitement Automatique des Langues ») et le standard XML-TEI rentrent en jeu. Ces outils, initialement destinés à l’étude de la langue anglaise en synchronie, mais depuis étendus à l’ensemble des langues parlées quelle que soit leur origine ou leur temporalité, permettent d’associer aux éléments d’un texte numérisé, généralement à ses mots, une série d’informations diverses, concernant leur lemme [5] ou encore leur catégorie syntaxique, qui redynamise profondément notre approche des corpus.

Sans revenir sur les détails, tant historiques que techniques, de cet encodage standardisé [6], nous en présenterons cependant les grandes idées, ainsi que les problèmes émergeant des différents choix que supposent cette approche de la linguistique.

Fig. 2 – Exemple de codage XML-TEI. Les lignes en noir composent le texte, le bleu l’outillage TEI.

Le concept général du TAL est donc d’associer à une suite linguistique différentes informations interprétables par un logiciel dédié, et permettant ainsi de hiérarchiser, selon différents critères préétablis, les formes annotées. Ces informations sont définies par le consortium TEI (« Text Encoding Initiative« ) et régulièrement enrichies au gré des avancées de la recherche. La première étape de hiérarchisation consiste à distinguer, au sein du continuum textuel, différentes strates informationnelles correspondantes à la dynamique de lecture. On pourra ainsi isoler ce qui appartient au corps du texte lui-même des titres et sous-titres, des notes marginales ou des entêtes, la succession des paragraphes ou encore, dans une correspondance, les informations relatives au destinateur et au destinataire des courriers. Cette première étape de hiérarchisation tend à isoler en autant de « blocs » les différents moments de la progression du texte et de penser leur dynamique linguistique propre.

La deuxième étape concerne plus directement les unités de la phrase et du mot, définie conventionnellement par la typographie, une phrase étant isolée par la ponctuation forte, le mot par des blancs typographiques. À ce repérage, la TEI permet d’associer des caractéristiques relevant tantôt du palier de la sémantique, par exemple en identifiant telle phrase comme « interrogative », « négative » et ainsi de suite, tantôt au niveau du palier morphosyntaxique, en associant à un mot une catégorie grammaticale ou une interprétation sémantique.

Fig. 3 – Exemple de codage XML-TEI sur le corpus Frantext

Cette dernière strate de commentaires est sans doute la plus intéressante dans le cadre de la recherche en linguistique. Avec celle-ci effectivement, il est possible de rechercher des occurrences non plus sur le plan formel, mais également sur le plan combinatoire ou distributionnel, en isolant tout ce qui relève de la catégorie du substantif ou de la préposition, ou encore de la négation et de l’affirmation. Comme ces indications, du reste, ne se substituent pas à la matérialité du document numérique mais l’enrichissent, il devient alors possible de produire des recherches combinant ces deux dimensions et de relever, ainsi, tous les substantifs commençant par la syllabe « de-« , de rechercher toutes les occurrences d’un lemme spécifique ou d’apprécier, par exemple, toutes les formes tensées d’un verbe spécifique.

Ce niveau de hiérarchisation ouvre également la voie à une recherche des séquences syntaxiques, en repérant par exemple des suites du type « déterminant + nom + adjectif » voire, en combinant la chose avec une expression régulière, de trouver toutes les occurrences où un nom est précédé d’un déterminant, mais où les deux éléments sont séparés d’un nombre défini ou indéfini de mots interpolés. Pour ainsi dire, les possibilités d’emploi sont particulièrement nombreuses et ces outils, couplés avec les données statistiques qui sont calculées automatiquement par les logiciels, permettent de produire des recherches approfondies. Cela a, par ailleurs, permis de vérifier un certain nombre d’hypothèses, jadis établies empiriquement mais jamais confirmées en tant que telles et d’en infirmer d’autres, ainsi que de faire émerger des phénomènes qui, parce que trop discrets dans une lecture continue des corpus, n’avaient jusqu’à présent jamais été étudiés [7].

Fig. 4 – Exemple de recherche de concordance dans la version en ligne de TXM (lien).

La complexité, néanmoins, de ces instruments, au regard de ces immenses possibilités de recherche, tient au choix effectué quant aux étiquettes sélectionnées d’une part, et à la façon dont la machine gère l’étiquetage de l’autre. On comprendra effectivement que l’outillage d’un corpus, même d’un texte relativement bref, ne peut se faire manuellement, si ce n’est au prix de très longues heures de travail, et qu’il faut donc permettre à l’ordinateur de produire ce travail automatiquement quitte à corriger, par le biais d’une opération itérative, les erreurs régulières. Cela exige cependant de prévoir ladite étape et de s’assurer, au commencement du processus, que les bons choix scientifiques ont été faits.

Le grand avantage du standard TEI, c’est qu’il permet effectivement une très grande souplesse quant à la façon dont un chercheur, ou une chercheuse, choisit d’étiqueter les unités de son corpus. Quand bien même devrait-on respecter une certaine syntaxe pour les éléments hiérarchiques les plus englobants, les attributs que l’on associe qui à un paragraphe, qui à une phrase ou un mot, peuvent soit correspondre à des listes établies par le consortium, soit être parfaitement originales selon les objectifs du projet dans lequel l’encodage s’inscrit. Ces attributs seront, effectivement, automatiquement récupérés par un logiciel de recherche, qui les classera et organisera conséquemment mais sans leur associer une propriété autre que ledit critère : pour la machine, que deux substantifs soient étiquetés « NOM » ou « RÉFÉRENT » n’a aucune importance puisque, dans un cas comme dans l’autre, elle les classera dans la même catégorie [8].

Fig. 5 – Exemple de codage de l’expression « prendre en considération » dans le Lexicoscope.

La chose était effectivement nécessaire tant l’on connaît les difficultés que peut rencontrer la grammaire générale à établir une liste fermée de catégories morphosyntaxiques [9], opérationnelle dans toutes les langues naturelles, et surtout l’inadéquation des catégories reconnues par la grammaire structurale synchronique lorsque nous cherchons à étiqueter de façon homogène des textes s’échelonnant sur plusieurs siècles, à l’instar de ce que nous mettons en place pour le projet CONDÉ. Au fur et à mesure de l’évolution des langues effectivement, les locuteurices peuvent modifier le comportement des unités syntaxiques (phénomène dit de « grammaticalisation » [10]) ou introduire des catégories parfaitement nouvelles à l’instar du déterminant français, invention de la Romania qui n’existait pas en tant que telle en langue latine [11]. La nécessité, partant, de moduler les catégories syntaxiques sélectionnées pour l’annotation des corpus devient ici évidente. De même, le choix fait d’affiner, ou non, les sous-catégorisations, ou les attributs secondaires, de ces éléments, est laissé à discrétion des linguistes qui, selon leurs textes d’étude et leurs besoins, peuvent choisir de distinguer différentes catégories d’adjectifs ou de pronoms, tant l’on sait que leurs comportements sont distincts, à nouveau en se souvenant que la dynamique de l’évolution tend à modifier, parfois fondamentalement, la syntaxe d’une langue. Un équilibre se doit donc d’être trouvé entre un étiquetage qui serait trop minutieux pour être applicable aux textes anciens, et un étiquetage trop laxe qui ne permettrait pas de faire émerger des observations pertinentes.

Une autre difficulté liée à ces problématiques d’étiquetage en diachronie tient aux processus de grammaticalisation ou de lexicalisation abordés plus haut, ainsi qu’aux règles de segmentation opérées par les locuteurices et qui engagent l’identité même de la notion de « mot ». En considérant, par exemple, que le mot cependant était jadis employé comme une locution conjonctive marquant la concomitance entre deux prédications, et qu’il devint progressivement davantage un adverbe, quelle étiquette doit-on utiliser pour stabiliser l’annotation ? Une problématique connexe à ce propos tient à la définition même de « mot », et à sa définition initiale comme « suite de caractères isolés par la typographie ». On rencontre effectivement en français des unités qui se réalisent en deux ou trois unités isolées et qui, pourtant, ne forment qu’une seule unité de signification. C’est par exemple le cas de certains mots composés (machine à écrire), de certaines conjonctions (parce que) ou de prépositions (en face de) dont l’étiquetage syntaxique des grammaires traditionnelles se heurte à l’identification que ferait le logiciel.

Fig. 6 – Autre exemple de codage TEI, mettant en avant des propriétés stylistiques.

Les décisions prises par les chercheurs diffèrent selon les projets, les types de textes et les types d’occurrence. Généralement, l’on considère l’état de la langue du point de vue synchronique, en cherchant alors à révéler les dynamiques d’évolution passées dont nous connaissons, de fait, la postérité. Ainsi, et pour reprendre nos exemples précédents, l’on étiquettera comme une conjonction la suite cependant que et cependant partout ailleurs comme un adverbe, machine à écrire sera enregistré comme un substantif, parce que comme une locution conjonctive. La règle globale demande notamment qu’une unité qui, prise seule, n’aurait aucun sens pour un locuteur contemporain (à l’instar de parce), soit réinvestie dans la dynamique morphosyntaxique de la langue, tandis que des unités qui resteraient compréhensibles indépendamment de celle-ci (à l’instar de la face de la locution prépositionnelle en face de) seront annotées conséquemment. Il devient alors possible de donner des règles de segmentation ou, au contraire, de concaténation des unités aux logiciels pour faciliter cette opération.

Si ces choix d’annotation ne permettent pas de restituer parfaitement les logiques linguistiques des états anciens de la langue, il convient de noter que même en synchronie, ces choix d’étiquetages ne pourront jamais restituer toute la complexité syntaxique d’une langue par le biais d’une analyse automatique de celle-ci. Partant, le moindre mal est encore de privilégier la position du chercheur ou de la chercheuse contemporaine qui, raisonnant selon sa propre sensibilité du français d’aujourd’hui, saura s’adosser sur ses compétences pour trouver des occurrences. Quels que soient les choix méthodologiques faits cependant, ces très grands corpus outillés permettent toujours d’affiner la chronologie des événements, voire de mettre au jour des paramètres accompagnant le changement et qui pourraient nous échapper par une lecture traditionnelle des textes. Il s’agit d’une formidable ressource que nous exploiterons dans le cadre du projet CONDÉ et qui nous permettra de sonder, au mieux, les particularités linguistiques des coutumiers normands.

Fig. 7 – Exemple de catégories retenues sur le corpus Frantext.


Notes :

[1] L’étude des contraintes et des affordances accompagnant le support de l’expression est l’objet du champ disciplinaire de la médialité. On pourra consulter Müller (1987) pour un panorama de ces problématiques. Pour un parcours du rôle et de l’histoire du titre dans les œuvres écrites, voir Moncelet (1972) et Besa (2002).

[2] Les relations entre support et textualité ne sont pas encore bien comprises, mais on pourra se reporter à Combettes (2006) pour un aperçu de ces hypothèses. L’empan renvoie, quant à lui et en sciences cognitives, à la quantité d’informations pouvant être mémorisées en une seule fois par un.e locuteurice. Voir l’article de Loiseau (1974) pour une première approche de cette notion. 

[3] Ce type d’analyse a permis de vérifier ce que l’on a depuis appelé la « Loi de Zipf » (lien Wikipedia).

[4] Pour une illustration de ce que permettent ces analyses, nous renvoyons au projet ANR/DFG PRESTO (lien), conduit d’avril 2013 à avril 2017.

[5] On appelle lemme la « forme de citation » d’un mot, telle qu’on peut par exemple la trouver dans un dictionnaire. Par convention, en français, il s’agit – si elle existe – de la forme au singulier et/ou au masculin pour les adjectifs et substantifs, de l’infinitif pour les verbes, etc.

[6] Ces aspects seront présentés dans un futur billet, en prenant pour illustration les choix faits quant au corpus CONDÉ.

[7] Voir, par exemple, Blumenthal (2017), Charolles, Diwersy & Vigier (2017) et Leeman & Falaise (2017). Ces publications sont notamment issues de l’exploration du corpus PRESTO, présenté dans la note 4 (supra).

[8] Cette souplesse a cependant un effet délétère sur l’interopérabilité des corpus, le consortium TEI visant notamment à proposer un étiquetage généralisé sur tous les corpus. Dans les faits cependant, on trouvera souvent des jeux d’étiquette spécifiques, dont il faudra prendre connaissance avant d’explorer tel ou tel corpus outillé.

[9] Voir Creissels (1995) pour la syntaxe générale, et Noailly (1996) pour un compte-rendu de ce dernier. Pour les critiques de la démarche, et notamment des travaux de Noam Chomsky, voir Buysens (1969). 

[10] Pour parler rapidement, la grammaticalisation est un phénomène naturel de l’évolution des langues, qui leur permet de créer de nouveaux instruments syntaxiques à partir de ses éléments initiaux et ce par une réorganisation de son système grammatical. Voir Marchello-Nizia (2001).

[11] Voir Goux (2017).


Bibliographie :

Besa Camprubi Josep. (2002). Les fonctions du titre. Limoges Pulim.

Blumental Peter (2017). « D’une encyclopédie à l’autre. L’ascension des locutions prépositionnelles », Langages, 206, p. 123-138.

Buysens Éric (1969). « La grammaire générative selon Chomsky », Revue belge de philologie et d’histoire, 47-3, p. 840-857.

Charolles Michel, Diwersy Sascha & Vigier Denis (2017). « Évolution des emplois des marqueurs de topiques de discours dans Le Figaro de la fin du XIXe et du début du XXIe siècle », Langages, 206, p. 85-104.

Combettes Bernard (2006). « L’analyse thème / rhème dans une perspective diachronique », LINX, 55, p. 75-90.

Creissels Denis (1995). Éléments de syntaxe générale, Paris, Presses Universitaires de France.

Goux Mathieu (2017). « Naissance d’un paradigme: la catégorie du déterminant dans les grammaires de l’époque classique. L’exemple de l’article défini », Signata, 8, p. 21-36.

Leeman Danièle & Falaise Achille (2017). « Sur l’identité de la préposition en combinée avec des noms de lieu », Langages, 206, p. 45-64.

Loiseau Lucien (1974). « Effet de la contrainte contextuelle sur l’empan d’appréhension visuelle en fonction de l’âge », L’Année psychologique, 74-2, p. 419-438.

Marchello-Nizia Christiane (2001). « Grammaticalisation et évolution des systèmes grammaticaux », Langue française, 130, p. 33-41.

Moncelet Christian. (1972). Essai sur le titre, en littérature et dans les arts. Le Cendre, BOF.

Müller Jürgen (éd.) (1987). Texte et médialité. Mannheim, Presses Universitaires de Mannheim.

Noailly Michèle (1996), « Denis Creissels, Éléments de syntaxe générale« , Cahiers de praxématique, 27, p. 165-167.


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search