%\section{Thème 1 : Apprentissage par optimisation} {\it Participants : S. Aseervatham, H. Azzag, Y. Bennani, L. Dehni, S. Guérif, E. Viennet} L'apprentissage par optimisation consiste à découvrir un concept sous une forme géométrique simple (hyperplan). Il se présente sous la forme d'optimisation d'un critère (fonction de coût) interprétable sur l'ensemble d'apprentissage. Nos activités de recherche pour ces méthodes sont centrées sur les apports des techniques d'apprentissage numériques (connexionnistes et statistiques) à l'analyse, l'exploration et l'interprétation de données complexes et de taille importante \cite{:2006fx}. Notre travail de recherche s'oriente plus particulièrement vers l'extraction de connaissances à partir de données et l'aide à la décision. Nos objectifs et activités de recherche s'articulent autour de deux dimensions complémentaires : théorique et pratique. Les études théoriques portent sur la conception de nouveaux algorithmes d'apprentissage et le développement d'approches modulaires et hybrides faisant coopérer différentes techniques. La dimension pratique s'attache à valoriser les activités de recherche en intégrant les résultats dans des systèmes opérationnels. Cette intégration se fait dans le cadre d'applications réelles dans différents domaines : parole, image, biométrie, diagnostic, Data Mining, Web Mining, Marketing. Notre problème central est donc celui de l'analyse et l'exploration de données afin d'en comprendre le sens, de déceler des relations entre des événements, d'en déduire des modèles de comportement. Il s'agit de la transformation de données en connaissances qui est et sera de plus en plus touchée par la nécessité de développer, de maîtriser et de choisir de nouveaux outils d'analyse et d'exploration des données. Le principal objectif de ces outils est celui d'un processus automatisé qui prend ses sources dans les données et dont le but est l'extraction de connaissances pour l'aide à la décision. Actuellement, nous développons les axes de l'apprentissage non-supervisé, l'apprentissage semi-supervisé et la visualisation de données structurées en séquences (temporelle, spatio-temporelles et évolutives). Nous poursuivons aussi nos travaux sur la combinaison de modèles et la fusion de données et de décisions pour des problèmes de classement, de classification et de régression. Nous continuons également à travailler sur les techniques de sélection, d'extraction et de pondération de caractéristiques en apprentissage non-supervisé. Il nous paraît important de poursuivre l'étude en la généralisant à la modélisation de données dans de grandes bases de données issues des entrepôts de données. Nous envisageons de développer des activités sur l'exploration de données textuelles. Les objectifs visés concernent l'accès à l'information textuelle (recherche d'information, navigation dans les documents, filtrage et routage de documents), la gestion de données textuelles (structuration de documents et indexation, classification de textes), et l'analyse de contenu (extraction d'information, acquisition de terminologie spécialisée). Ces recherches sont validées sur des problèmes de reconnaissance des formes et de fouille de données, en particulier sur des données temporelles, spatio-temporelles et évolutives (traces de navigations sur Internet, données comportementales, données de consommation, données de marketing, réseaux de capteurs, ...). \subsection{Les axes de recherche} \begin{description} \item [Classification non supervisée et visualisation de données évolutives]~\\ {\it Participants : K. Benabdeslem, Y. Bennani, L. Dehni, S. Guérif, F. Zehraoui} Par opposition aux données temporelles, le recueil des données évolutives ne se fait pas avec une périodicité de la mesure : des mesures peuvent avoir été recueillies à différents moments. Cela prive les données de leur caractère temporel au sens statistique. L'évolution de ces données peut être vue sous forme de trajectoires temporelles (de taille variable et parfois multivariées). La visualisation de ces trajectoires dans l'espace de l'évolution devient difficile à interpréter dès que le nombre de trajectoires est élevé. L'un des objectifs principaux de l'analyse de ce type de données est d'obtenir une classification (ou typologie) évolutive et incrémentale de trajectoires en fonction de leurs positions et leurs évolutions. Cette typologie permettra de diminuer le nombre de ces trajectoires, en assimilant les trajectoires de la même typologie à la trajectoire prototype de la typologie. \\ \floatstyle{plain} %<-- sans encadrement des figures \restylefloat{figure} \begin{figure}[h] \centering\noindent \includegraphics[width=0.6\textwidth]{inputs/A3/Figures/webmining} \caption{\small Cartographie comportementale d'un site web et visualisation des trajectoires des Internautes} \label{fig:App_Opt_carto} \end{figure} \floatstyle{boxed} %<-- avec encadrement des figures \restylefloat{figure} Nous avons proposé plusieurs approches d'apprentissage non supervisé pour l'exploration de ce type de données \cite{Zehraoui:2004qb, Zehraoui:2005wy, Zeboulon:2003kv}. La validation de ces approches a été effectuée en particulier sur les traces de navigation dans les sites web. La figure~\ref{fig:App_Opt_carto} montre un exemple de cartographie comportementale d'un site web avec la visualisation des navigations sous forme de trajectoires. Nous travaillons sur d'autres approches à base d'algorithme d'apprentissage non-supervisé pour traiter ce type de données en quatre phases : \begin{itemize} \item {\em modélisation globale : recherche d'un modèle unique de représentation qui résume d'une manière globale l'ensemble des données (compromis).} \item {\em étude de l'interstructure : identification des proximités ou des différences entre les ensembles de données, sans description. } \item {\em étude de l'intrastructure : analyse fine des ressemblances ou des différences permettant d'expliquer les structures identifiées.} \item {\em étude de l'évolution des trajectoires : analyse et description de l'évolution du phénomène d'une manière globale ou étude des évolutions de chacun des éléments.} \end{itemize} \item [Réduction des dimensions de l'espace de description]~\\ {\it Participants : Y. Bennani, S. Guérif, E. Viennet} La taille des données peut être mesurée selon deux dimensions, le nombre de variables et le nombre d'exemples. Ces deux dimensions peuvent prendre des valeurs très élevées, ce qui peut poser un problème lors de l'exploration et l'analyse de ces données. Pour cela, il est fondamental de mettre en place des outils de traitement de données permettant une meilleure compréhension de la valeur des connaissances disponibles dans ces données. La réduction des dimensions est l'une des plus vieilles approches permettant d'apporter des éléments de réponse à ce problème. Son objectif est de sélectionner ou d'extraire un sous-ensemble optimal de caractéristiques pertinentes pour un critère fixé auparavant. La sélection de ce sous-ensemble de caractéristiques permet d'éliminer les informations non-pertinentes et redondantes selon le critère utilisé. Cette sélection/extraction permet donc de réduire la dimension de l'espace des exemples et rendre l'ensemble des données plus représentatif du problème. En effet, les principaux objectifs de la réduction de la dimension sont : \begin{itemize} \item {\em faciliter la visualisation et la compréhension des données,} \item {\em réduire l'espace de stockage nécessaire,} \item {\em réduire le temps d'apprentissage et d'utilisation,} \item {\em identifier les facteurs pertinents.} \end{itemize} Les algorithmes d'apprentissage artificiel requièrent typiquement peu de traits (features) ou de variables (attributs) très significatifs caractérisant le processus étudié. Dans le domaine de la reconnaissance des formes et de la fouille de données, il pourrait encore être bénéfique d'incorporer un module de réduction de la dimension dans le système global avec comme objectif d'enlever toute information inconséquente et redondante. Cela a un effet important sur la performance du système. En effet le nombre de caractéristiques utilisées est directement lié à l'erreur finale. L'importance de chaque caractéristique dépend de la taille de la base d'apprentissage (pour un échantillon de petite taille, l'élimination d'une caractéristique importante peut diminuer l'erreur). Il faut aussi noter que des caractéristiques individuellement peu pertinentes peuvent être très informatives si on les utilise conjointement. \floatstyle{plain} %<-- sans encadrement des figures \restylefloat{figure} \begin{figure}[h] \centering\noindent \includegraphics[width=0.5\textwidth]{inputs/A3/Figures/visageAv} \caption{\small Architecture d'un système connexionniste pour la reconnaissance faciale avant l'optimisation} % \label{fig:budget_ratio_cercle} \end{figure} \floatstyle{boxed} %<-- avec encadrement des figures \restylefloat{figure} \floatstyle{plain} %<-- sans encadrement des figures \restylefloat{figure} \begin{figure}[h] \centering\noindent \includegraphics[width=0.5\textwidth]{inputs/A3/Figures/visageAp} \caption{\small Architecture d'un système connexionniste pour la reconnaissance faciale après optimisation par la mesure de pertinence HVS proposée par Y. Bennani et M. Yacoub en 2001. Les zones grises représentent les neurones supprimés.} % \label{fig:budget_ratio_cercle} \end{figure} \floatstyle{boxed} %<-- avec encadrement des figures \restylefloat{figure} La réduction de la dimension est un problème complexe qui permet de réduire le volume d'informations à traiter et faciliter le processus de l'apprentissage. Nous pouvons classer toutes les techniques mathématiques de réduction des dimensions en deux grandes catégories : \begin{itemize} \item {\em la sélection de variables : qui consiste à choisir des caractéristiques dans l'espace de mesure, } \item {\em l'extraction de traits : qui vise à sélectionner des caractéristiques dans un espace transformé (dans un espace de projection) } \end{itemize} La première catégorie est appropriée quand l'acquisition de mesures des formes est coûteuse. Ainsi l'objectif principal de la sélection de caractéristiques dans ce cas est de réduire le nombre de mesures requises. Par contre, les techniques d'extraction de traits (deuxième catégorie) utilisent toute l'information contenue dans les formes pour la compresser et produire un vecteur de plus petite dimension. Ces techniques projettent un vecteur forme de l'espace de représentation dans un espace de dimension plus petite. Les systèmes d'apprentissage connexionniste sont un bon exemple de cette catégorie. En effet, les modèles connexionnistes connus pour une tâche de discrimination fournissent un système avec des aptitudes intéressantes pour l'analyse du processus. Les cellules cachées d'un Perceptron multi-couches apprennent comment extraire les caractéristiques significatives du signal d'entrée. Nous avons proposé dans cette direction plusieurs mesures de pertinence, en apprentissage supervisé et non supervisé \cite{Guerif:2005ya, Guerif:2006xz}. \item [Combinaison de modèles et fusion de décisions]~\\ {\it Participants : Y. Bennani, L. Dehni, S. Guérif} Un de nos thèmes de recherche majeur est la conception et la mise en \oe uvre de systèmes qui font coopérer différents modèles entre eux et avec des techniques plus classiques dans les différents domaines d'application. Ces systèmes constituent une autre génération des modèles connexionnistes et apparaissent comme la seule solution pour la réalisation de tâches complexes et de grande taille. Les études théoriques portent sur les algorithmes d'apprentissage pour ce type de système, la décomposition de tâches, la conception de chaînes de traitement optimales. Nous travaillons sur la possibilité de coopération des algorithmes connexionnistes et d'autres méthodes plus classiques comme les Chaînes de Markov Cachées, afin de concevoir des systèmes modulaires hybrides plus robustes. \item [Méthodes à noyaux pour le traitement de données textuelles]~\\ {\it Participants : S. Aseervatham, E. Viennet} Cet axe est nouveau dans l'équipe, et concrétise la volonté affichée depuis plusieurs années par le laboratoire de développer des axes de recherche inter-équipes. Nous travaillons sur ce thème en relation avec plusieurs chercheurs de l'équipe \acs{RCLN}, en particulier dans le cadre du projet InfoM@gic et du projet Alvis. Une thèse est en cours sur les méthodes à noyaux appliquées au traitement de données structurées et semi-structurées. \item [Apprentissage semi-supervisé]~\\ {\it Participants : S. Aseervatham, E. Viennet} Dans de nombreuses applications des techniques d'apprentissage, on dispose de grands volumes de données non étiquetées, mais seulement d'un petit échantillon de données étiquetées. Les algorithmes d'apprentissage séparent traditionnellement le traitement des données étiquetées (apprentissage {\em supervisé}) de celui des données non étiquetées ({\em non supervisé}). L'équipe \acs{A3} travaille depuis plusieurs années sur l'apprentissage non supervisé, en particulier via les cartes topologiques de Kohonen, et sur les classifieurs supervisés, en particulier les machines à vecteurs de support (SVM). Nous étudions actuellement comment aborder le cas semi-supervisé : modèles transductifs proposés par Vapnik, extraction de traits non supervisés, techniques de co-apprentissage. Nous espérons déboucher sur des approches applicables à des problèmes aussi différents que la fouille de textes ou la correction du biais lors de l'évaluation du risque crédit (traitement des refusés par les établissements bancaires). \end{description} \subsection{Domaines d'applications} Nous travaillons sur différents domaines d'applications, toutefois nous avons développé ces dernières années un thème principal qui est l'analyse et la visualisation de données structurées en séquences : \begin{itemize} \item {\em Exploration des traces de navigations sur Internet ;} \item {\em Analyse et visualisation des données comportementales : Marketing, Ethologie ;} \item {\em Diagnostic des systèmes complexes ;} \item {\em Identification multi-modale : vocale et visuelle.} \end{itemize} \subsection{Résultats significatifs} Parmi les nombreux résultas de nos activités de recherche, nous pouvons mettre en avant les quatre contributions suivantes : \begin{itemize} \item {\em Mesures de pertinence pour la sélection de caractéristiques et l'optimisation des architectures connexionnistes ;} \item {\em Algorithme de pondération des variables, durant l'apprentissage, en fonction de leur pouvoir discriminant ;} \item {\em Classification incrémentale de données évolutives, séquences ;} \item {\em Sélection/pondération de variables en apprentissage non-supervisé à deux niveaux.} \end{itemize} \subsection{Perspectives de recherche} Nous continuons actuellement nos travaux sur la combinaison de modèles et la fusion de données et de décisions pour des problèmes de classement, de classification et de régression. Nous continuons également à travailler sur les techniques de sélection et d'extraction de caractéristiques dans les réseaux connexionnistes. Il nous paraît important de poursuivre l'étude en la généralisant à la modélisation de données dans de grandes bases de données issues du web ou des entrepôts de données. Nous envisageons aussi de développer des activités sur l'exploration de données textuelles. Les objectifs visés concernent l'accès à l'information textuelle (recherche d'information, navigation dans les documents, filtrage et routage de documents), la gestion de données textuelles (structuration de documents et indexation, classification de textes), et l'analyse de contenu (extraction d'information, acquisition de terminologie spécialisée). Avec le recrutement de Hanane Azzag, un nouvel axe dans nos perspectives de recherche est né et consiste à concevoir de nouveaux algorithmes d'apprentissage s'inspirant du vivant et dédiés à résoudre des problèmes liés à la fouille de données. On peut citer par exemple les algorithmes génétiques, les fourmis artificielles ou encore les automates cellulaires. Ces algorithmes s'inspirent des propriétés du vivant et des capacités étonnantes que l'on y trouve afin de résoudre des problèmes difficiles vis-à-vis desquels les approches plus traditionnelles rencontrent des difficultés. C'est donc le vaste domaine de l'informatique biomimétique dans lequel nous tenterons ainsi de contribuer en apportant des modèles pour la mise {\oe}uvre de nouveaux algorithmes d'apprentissage.