Compréhension de la parole et compositions sémantiques 

Représentation du sens

L’épistémologie informatique traite de la représentation des connaissances sémantiques dans un  ordinateur. Une donnée est représentée par un objet. Les objets sont regroupés en classes selon leurs propriétés. Les classes sont organisées en hiérarchies communément appelés “ontologies”. Ainsi, un objet est une instance d’une classe. Le jugement est exprimé par des prédicats qui décrivent les relations entre les classes. Les prédicats sont des arguments représentés par des variables dont les valeurs sont des instances de classes spécifiées et peuvent satisfaire à d’autres contraintes.
La sémantique informatique effectue une conceptualisation du monde en utilisant des éléments bien définis des langages de programmation. Les langages de programmation ont leur propre syntaxe et leur sémantique. La syntaxe définit la programmation des déclarations autorisées, la sémantique précise les opérations qu’une machine effectue lorsqu’une instruction syntaxiquement correcte est exécutée. L’analyse sémantique d’un programme d’ordinateur est basée sur les méthodes formelles et est exécutée pour la compréhension du comportement d’un programme et sa cohérence avec les concepts et ses objectifs. L’utilisation des méthodes de la logique formelle de la sémantique de l’ordinateur a été prise en considération pour l’interprétation automatique du langage naturel.
Même si les énoncés, en général, apportent du sens qui ne peut pas être exprimé en logique formelle Jackendoff (2002), des méthodes inspirées de l’analyse des programmes ont été considérées pour représenter la sémantique du langage naturel dans plusieurs domaines d’applications. Ces approches et limitations ont été discutées dans Jackendoff (1990); Levesque et Brachman (1985); Woods (1975).
Un formalisme logique pour une interprétation du langage naturel devrait être en mesure de représenter une intension (l’essence d’un concept) et de l’extension (l’ensemble de tous les objets qui sont des instances d’un même concept).
Le formalisme doit également permettre, d’effectuer des inférences. Les connaissances sémantiques d’une application sont une base de connaissances (BC). Un fragment de la connaissance est décrit par une formule logique F. Le problème fondamental de l’inférence est de déterminer si, BC |= F : BC implique F, F est vrai dans toutes les affectations possibles des variables (univers) pour lesquels BC est vrai. Si BC ne contient que des formules logiques de premier ordre, l’inférence peut être effectuée en apportant la preuve par le théorème.

Extraction du sens dans les phrases

L’interprétation d’une phrase pour obtenir une description dans un L.R.S. est une activité de résolution de problèmes qui peut être réalisée avec des méthodes et des modèles différents. Il n’est pas trivial de relier des concepts se rapportant à des mots. Woods (1975) énonce que la spécification pour la sémantique du langage naturel n’est pas limitée à la transformation d’une phrase en une représentation et peut exiger l’utilisation des informations qui ne sont pas codées dans la phrase, mais peut être déduite de la connaissance du système stockée dans la mémoire à long ou à court terme. En outre, dans Jackendoff (1990), chaque constituant syntaxique majeur d’une phrase correspond à un constituant conceptuel, mais l’inverse n’est pas vrai.
L’extraction d’informations sémantiques à partir d’une phrase peut être réalisée en premier lieu par l’analyse de la phrase pour obtenir une analyse syntaxique complète de celle-ci. En supposant que les langues naturelles sont sensibles aux mêmes types d’analyse sémantique des langages de programmation, dans Montague (1974), il est suggéré que chaque règle syntaxique d’un langage naturel à grammaire générative est associé à un procédé de construction sémantique qui transforme une phrase en une formule logique. L’interprétation peut donc être considérée comme une traduction de phrases en formules logiques de premier ordre afin d’exprimer le sens de la phrase.
L’ontologie d’un domaine d’application fait partie de la connaissance du système et peut être représentée par des ensembles de structures de “frames”. Chaque structure correspond à un ensemble de formules de la logique du premier ordre. Si la logique du premier ordre n’est pas adéquate pour représenter certains types de connaissances, les logiques d’ordre supérieur ou les logiques modales peuvent être utilisées. Quelques exemples peuvent être trouvés dans De Mori (1998).
Les formules décrivant le sens d’une phrase suivant l’approche proposée dans Montague (1974) sont obtenues par composition. Plus récemment, les grammaires catégorielles combinatoires (G.C.C.) ont été introduites Steedman (1996) pour préciser les formes logiques pour chaque phrase analysée sous le contrôle d’une grammaire catégorielle du type introduite dans Lambek (1958). Une méthode intéressante pour induire une G.C.C. à partir d’exemples est décrite dans Zettlemoyer et Collins (2005). Des développements récents avec utilisation des G.C.C. pour l’interprétation des phrases en langage naturel dans un dialogue sont décrits dans Zettlemoyer et Collins (2009).

Grammaires à réseaux de transition

Des efforts considérables dans la recherche sur la C.L.P. ont été faits avec un projet ARPA commencé en 1971. Le projet est examiné dans Klatt (1977), il a été principalement basé sur des approches de l’Intelligence Artificielle (IA). Comme le langage naturel est sensible au contexte, les réseaux de procédure pour l’analyse sous le contrôle des Grammaires de Réseaux de Transitions Augmentés ( G.R.T.A. ) ou “Augmented Transition Network grammaires” ( A.T.N.G. ) ont été proposées.
Les G.R.T.A. sont une extension des grammaires à réseau de transition ( G.R.T. ), qui peuvent être utilisés pour générer n’importe quel langage hors-contexte ( L.H.C. ). En outre, l’analyse des L.H.C. peut être formulée en termes de Réduction des Problèmes de Représentation Hall (1973).
Les G.R.T. sont des graphes avec des états et des arcs. La chaîne d’entrée est analysée de gauche à droite, un mot à la fois, supposant que ce soit dans un état actif. Le mot d’entrée et l’état actif déterminent l’arc suivi par l’analyseur. Les arcs ont des types, à savoir CAT (pour lire un symbole d’entrée), PUSH (pour transférer le contrôle à un sous-réseau) et POP (pour transférer le contrôle à partir d’un sous-réseau pour le réseau qui a exécuté le PUSH).
Pour analyser un énoncé, un système basé sur les G.R.T. a été proposé par Young et al. (1989); Ward (1990). Les phrases sémantiques sont reconnues par remplissage d’emplacements. Il n’y a pas de grammaire globale, chaque emplacement possible a une grammaire propre, représentée par un G.R.T. avec la possibilité d’activer un analyseur de graphe pour chacun d’eux.

Grammaires et analyseurs utilisés pour la Compréhension du Langage Parlé dans le projet Air Travel Information System

Le système DELPHI

Le système DELPHI Bobrow et al. (1990), développé par Bolt, Beranek and Newman (BBN), contient un certain nombre de niveaux, à savoir, syntaxiques (en utilisant des Grammaires à Clauses Définies (G.C.D.), (Definite Clause Grammar, D.C.G.)), la sémantique générale, la sémantique de domaine et l’action. Plusieurs traductions sont effectuées à l’aide des liens entre les représentations à différents niveaux. Les règles des G.C.D. ont des éléments, associés à un foncteur (leur catégorie principale) et zéro ou plus de fonctionnalités dans un ordre de position fixée. Les fonctionnalités sont les emplacements qui peuvent être remplis par des termes. Les termes peuvent être des variables ou des termes fonctionnels. La représentation sémantique est basée sur des frames. Une relation grammaticale a un composant qui déclenche une relation de traduction. La composition fonctionne sur l’interprétation sémantique des arguments pour produire l’interprétation sémantique d’une phrase nouvelle. De cette façon, des fragments sémantiques sont construits.
Les G.C.D. peuvent provenir d’une grammaire annotée indépendante du contexte. Les symboles atomiques de règles sont substitués par des structures complexes. L’analyseur utilise une approche appelée “tout chemin” . Lorsque les règles sont appliquées, une factorisation et une unification sont réalisées. Les problèmes résolus par la sémantique de domaine sont les suivants : pluriels distributifs ou collectifs, désambiguïsation en utilisant le contexte, les noms relationnels, des contraintes de type sémantique. Les relations de contraintes peuvent faire : filtrage en cas d’analyse, calcul des valeurs d’une variable, sous-catégorisation. DELPHI contient un analyseur linguistique qui génère les N-meilleures hypothèses en utilisant un algorithme simple et rapide, Schwartz et al. (1992); Ostendorf et al. (1991), puis à plusieurs reprises ré-évalue ces hypothèses par le biais d’algorithmes plus complexes et plus lents. De cette manière, plusieurs sources de connaissances différentes, peuvent contribuer au résultat final sans compliquer la structure de contrôle ou sans ralentir considérablement la dérivation du résultat final.
La première version de DELPHI utilisait un analyseur graphique basé sur l’unification Austin et al. (1991). Une caractéristique importante et utile de cet analyseur, qui a été retenue dans toutes les versions ultérieures, a été l’incorporation des probabilités pour les différents sens d’un mot et pour l’application des règles grammaticales.
Ces probabilités sont estimées à partir des données et utilisées pour réduire l’espace de recherche pour l’analyse Bates et al. (1994, 1993).

Le système Gemini et les système basés sur la “concordance de modèles” (Template Matcher)

Le système développé au Stanford Research Institute (SRI) se compose de deux modules sémantiques attelés ensemble : un module d’unification de grammaire appelé “Gemini”, et la “concordance de modèles” ou “comparateur de modèles” qui agit comme un repli si Gemini ne peut pas produire une requête base de données acceptable Hobbs et al. (1996); Appelt et al. (1995). Gemini est un analyseur du langage naturel basé sur l’unification qui combine des règles syntaxiques générales et des règles sémantiques pour l’anglais avec un lexique spécifique pour A.T.I.S.. des restrictions de sélection et d’ordre.
Les analyseurs dirigés par la sémantique utilisent des modèles pour reconnaître les éléments qui correspondent avec les données. Les correspondances peuvent commencer avec les modèles lexico-sémantiques pour l’instanciation initiale des éléments lexicaux. Les interprétations sont construites par l’ajout d’éléments non-lexicaux inferrés par un algorithme de recherche Stallard et Bobrow (1993).
Différents types de comparateurs peuvent être conçus à des fins différentes. Quand le but est uniquement de récupération, un vecteur de caractéristiques peut représenter adéquatement le contenu d’un message. Différentes structures sont nécessaires si l’objectif est d’obtenir une représentation conceptuelle pour être utilisé pour l’accès à une base de données ou pour un dialogue dont l’objectif est l’exécution d’une action. Les comparateurs de modèles d’états finis, les analyseurs lexicaux et comparateurs de modèles au niveau de la phrase sont discutés dans Hobbs et Israel (1994). Les expressions imprévues et les constructions difficiles de la langue parlée causent des problèmes pour une approche conventionnelle. Quelques types d’informations représentent une proportion très importante des énoncés. Un comparateur de modèle (TM) essaie de construire des modèles (quatre modèles de base instanciés de diverses manières).
Les modèles ont des emplacements remplis par la recherche de courtes phrases produites par la reconnaissance, même si les mots n’ont pas tous été mis en hypothèse correctement. Les scores d’instanciation sont essentiellement les pourcentages de mots corrects. Le modèle avec le meilleur score est utilisé pour construire la requête.

Les modèles basés sur un apprentissage discriminant

Les arbres de classification sémantique

La plupart des travaux ont utilisé deux grandes approches de l’apprentissage machine pour l’étiquetage de séquences.
La première approche s’appuie sur des S.F.S.T. et des modèles probabilistes k-génératifs pour des séquences jumelées d’entrées et des séquences d’étiquettes, par exemple les modèles de Markov cachés ( H.M.M. ) McCallum et al. (2000); Kupiec (1992) ou modèles de Markov multi-niveaux Bikel et al. (1999).
La deuxième approche considère le problème de l’étiquetage de séquences comme une suite de problèmes de classification, une pour chacune des étiquettes dans la séquence. Le résultat de classification à chaque position peut dépendre de l’entrée dans son ensemble et sur les k-classifications précédentes.
On considère qu’une approche générative, fournit un entraînement de phrases bien comprises et des algorithmes de décodage pour les H.M.M. et plus généralement des modèles graphiques. Toutefois, les modèles génératifs efficaces ont besoin d’hypothèses d’indépendances conditionnelles strictes. Par exemple, il n’est pas pratique de mettre une étiquette à une position donnée dépendante d’une fenêtre de la séquence d’entrée aussi bien que pour les étiquettes environnantes, puisque le problème de l’inférence pour le modèle graphique correspondant serait intraitable.
Les éléments non indépendants des entrées, tels que la capitalisation, les suffixes et les mots environnants, sont importants dans le traitement des mots invisibles pour l’entraînement, mais ils sont difficiles à représenter dans les modèles génératifs.
En outre, les caractéristiques représentées par des schémas impliquant des dépendances complexes à distance ne sont pas capturées par d’autres modèles génératifs légèrement sensibles au contexte.

Les Machines à Vecteurs de Support

Les Machines à Vecteurs de Support (Support Vector Machines ( S.V.M. )) réalisent une approche standard de classification basée sur le balisage de concept. Cette approche est basée sur le classificateur local car le S.V.M. traite le problème d’étiquetage comme une séquence de problèmes de classification, une pour chacune des étiquettes dans la séquence. L’algorithme manipule des caractéristiques corrélées et non locales, mais à la différence des modèles génératifs, il ne peut pas prendre de décisions à différentes positions qui vont à l’encontre des autres décisions. Un système basé sur cette approche dans le travail partagé est CoNLL2000, ”Chunking“ et ”BaseNP Chunking task“. Il utilise des combinaisons heuristiques des classificateurs S.V.M. séquentiels à déplacement avant et à déplacement arrière, prenant comme paramètres les décisions précédemment faites. Puisque les S.V.M. sont des classificateurs binaires, le système s’étend à des classifieurs S.V.M. K-classe en utilisant la classification par paires. Par conséquent, les K(K − 1)/2 classificateurs sont construits considérant toutes les paires de classes. La décision finale est donnée par leur vote pondéré.
Dans Pradhan et al. (2004) , le problème de l’analyse est formulé comme un problème de classification multi-classe comme initié dans Gildea et Jurafsky (2002) et utilise un classifieur à vecteurs de support (S.V.M.).
Un analyseur fondé sur les actions d’étiquetage produisant des structures d’arbres peu profondes et non chevauchantes, est décrit dans Hacioglu (2004). Une phrase est considérée comme une séquence de phrases de base à un niveau syntaxique. Au niveau sémantique, les arguments prédicats ont associé des séquences de phrases de base. La détection d’un prédicat est représentée comme un arbre lexicalisé. Les niveaux de l’arbre contiennent des représentations des prédicats-arguments lexicalisés avec les mots clefs, les morceaux syntaxiques engendrés par chaque argument, les parties du discours ( P.O.S. ) et des mots. La stratégie d’analyse est fondée sur des mesures de marquage et se compose de trois éléments qui sont successivement appliqués au texte d’entrée pour un prédicat choisi afin de déterminer ses arguments. Ces composants sont de l’étiquetage de P.O.S. , la phrase de base et des marqueurs sémantiques. Les classifieurs S.V.M. sont utilisés à tous les niveaux.

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela rapport-gratuit.com propose le téléchargement des modèles complet de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie à avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

Introduction 
I Motivation et contexte 
1 Représentation du sens dans la Compréhension du Langage Naturel 
1.1 Premières tentatives d’utilisation des méthodes d’interprétation de textes pour la Compréhension du Langage Parlé
1.2 Représentation du sens
1.3 Extraction du sens dans les phrases
2 Interprétation basée sur l’analyse syntaxique complète 
2.1 Grammaires à réseaux de transition
2.2 Grammaires et analyseurs utilisés pour la Compréhension du Langage Parlé dans le projet Air Travel Information System
2.2.1 Le système DELPHI
2.2.2 Le système Gemini et les système basés sur la “concordance de modèles” (Template Matcher)
2.3 Grammaires Lexicalisées
2.4 Grammaires stochastiques pour l’interprétation
2.4.1 Le système TINA
2.4.2 Le système HUM
2.5 Le modèle à vecteurs d’états cachés de Cambridge
2.6 Conclusions
3 Interprétation basée sur l’analyse syntaxique partielle
3.1 Les analyseurs partiels
3.2 Les modèles génératifs
3.2.1 Les modèles à états finis
3.2.2 Interprétation avec des transducteurs à états finis stochastiques
3.2.3 Les Réseaux Bayésiens Dynamiques
3.3 Les modèles basés sur un apprentissage discriminant
3.3.1 Les arbres de classification sémantique
3.3.2 Les Machines à Vecteurs de Support
3.3.3 Utilisation de la connaissance préalable
3.4 Modélisation log-linéaire
3.4.1 Fonctions caractéristiques
3.4.2 Les “Conditional Random Fields ( C.R.F. )”
3.4.3 Normalisation du niveau de position
3.4.4 L’entraînement
3.4.5 Processus de décision
3.5 Utilisation des Conditional Random Fields , pour l’analyse superficielle
3.5.1 Segmentation avec les Conditional Random Fields
3.6 Conclusions
4 Systèmes avancés 
4.1 Méthodes récentes
4.1.1 Approche de traduction automatique
4.1.2 Quelques applications récentes
4.2 Architectures avancées
4.2.1 Le système de Microsoft
4.2.2 Le système d’AT & T
4.2.3 Le système d’IBM
4.2.4 Le projet Européen LUNA
II Compréhension de la parole et compositions sémantiques 
5 Composition sémantique 
5.1 Connaissance fragmentée et composition sémantique
5.1.1 Etiquettes “concepts” et connaissance fragmentée
5.1.2 Composition par fusion de fragments
5.1.3 Composition par attachements
5.1.4 Composition par attachements et inférences .
5.1.5 Probabilités de frames
6 Contribution à la compréhension automatique de la parole 
6.1 Composition par règles
6.1.1 Le corpus MEDIA et la génération des constituants de base
6.1.2 Composer des relations sémantiques dans les structures
6.1.3 Annotation progressive du corpus par des structures sémantiques
6.1.4 Résultats préliminaires
6.1.5 L’outil d’annotation et de composition
6.1.6 Utilisation de fragments de frames et inférences
6.2 Acquisition progressive des caractéristiques syntaxiques supportant les relations sémantiques
6.2.1 Annotation des relations binaires
6.2.2 Processus de composition sémantique
6.3 Expérience de composition sémantique
6.3.1 Résultats
6.3.2 Désambiguïsation sémantique
6.3.3 Exemple de désambiguïsation d’un tour de dialogue
6.4 Détection de lambda-expressions
6.4.1 Calcul des probabilités
6.4.2 Les fonctions caractéristiques
6.4.3 Expérimentations
Conclusions et Perspectives 
6.5 Conclusions
6.6 Perspectives

Rapport PFE, mémoire et thèse PDFTélécharger le rapport complet

Télécharger aussi :

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.