Les réseaux de neurones artificiels (ou réseaux connexionnistes) sont des systèmes numériques permettant la modélisation de processus généraux par l'établissement de modèles fonctionnels \cite{:2006fx}. Ceux-ci sont identifiés à partir des entrées-sorties du processus par des algorithmes dits "d'apprentissage" qui s'apparentent à des techniques d'estimation statistiques. Nés en informatique dans le domaine de l'intelligence artificielle, ils ont connu depuis le début des années 80 un développement intensif dû au succès rencontré dans une très large gamme d'applications. Les réseaux connexionnistes offrent une panoplie de techniques adaptatives pour de nombreux problèmes génériques : la classification, le classement, la modélisation, la prévision. Parmi les domaines où ils ont été utilisés, on peut citer le traitement du signal, de l'image, de la parole, le contrôle, la prévision, l'optimisation combinatoire, le diagnostic, la fouille de données, ... Il s'agit donc d'un outil général pouvant être utilisé dans des cadres différents avec une grande souplesse. Les modèles connexionnistes apparaissent comme une alternative ou plus souvent comme un complément aux techniques classiques. Les recherches dans le domaine sont extrêmement actives actuellement. Plusieurs laboratoires tant industriels qu'universitaires participent à cette recherche en Europe, aux États-Unis et au Japon. Différentes voies ont déjà été explorées et les réseaux connexionnistes sont devenus un outil incorporé dans différents logiciels commercialisés pour les statistiques, la fouille de données, le traitement du signal et l'identification de systèmes.

\begin{description}
\item [Classification connexionniste non supervisée et visualisation de données évolutives]~\\

Par opposition aux données temporelles, le recueil des données évolutives ne se fait pas avec une périodicité de la mesure : des mesures peuvent avoir été recueillies à différents moments. Cela prive les données de leur caractère temporel au sens statistique. L'évolution de ces données peut  être vue sous forme de trajectoires temporelles (de taille variable et parfois multivariées). La visualisation de ces trajectoires dans l'espace de l'évolution devient difficile à interpréter dès que le nombre de trajectoires est élevé. L'un des objectifs principaux de l'analyse de ce type de données est d'obtenir une classification (ou typologie) évolutive et incrémentale de trajectoires en fonction de leurs positions et leurs évolutions. Cette typologie permettra de diminuer le nombre de ces trajectoires, en assimilant les trajectoires de la même typologie à la trajectoire prototype de la typologie. \\

\floatstyle{plain} %<-- sans encadrement des figures
\restylefloat{figure}
\begin{figure}[h]
\centering\noindent
\includegraphics[width=0.6\textwidth]{inputs/A3/Figures/webmining}
\caption{\small Cartographie comportementale d'un site web et visualisation des trajectoires des Internautes}
\label{fig:App_Opt_carto}
\end{figure}
\floatstyle{boxed} %<-- avec encadrement des figures
\restylefloat{figure}

Nous avons proposé plusieurs approches d'apprentissage non supervisé pour l'exploration de ce type de données \cite{Zehraoui:2004qb, Zehraoui:2005wy, Zeboulon:2003kv}. La validation de ces approches a été effectuée en particulier sur les traces de navigation dans les sites web. La figure~\ref{fig:App_Opt_carto} montre un exemple de cartographie comportementale d'un site web avec la visualisation des navigations sous forme de trajectoires.

Nous travaillons sur d'autres approches à base d'algorithme d'apprentissage non-supervisé pour traiter ce type de données en quatre phases :

\begin{itemize}
\item  {\em  modélisation globale : recherche d'un modèle unique de représentation qui résume d'une manière globale l'ensemble des données (compromis).}
\item  {\em étude de l'interstructure : identification des proximités ou des différences entre les ensembles de données, sans description. }
\item  {\em étude de l'intrastructure : analyse fine des ressemblances ou des différences permettant d'expliquer les structures identifiées.}
\item  {\em étude de l'évolution des trajectoires : analyse et description de l'évolution du phénomène d'une manière globale ou étude des évolutions de chacun des éléments.}
\end{itemize}

\item [Réduction des dimensions de l'espace de description]~\\

La taille des données peut être mesurée selon deux dimensions, le nombre de variables et le nombre d'exemples. Ces deux dimensions peuvent prendre des valeurs très élevées, ce qui peut poser un problème lors de l'exploration et l'analyse de ces données. Pour cela, il est fondamental de mettre en place des outils de traitement de données permettant une meilleure compréhension de la valeur des connaissances disponibles dans ces données. La réduction des dimensions est l'une des plus vieilles approches permettant d'apporter des éléments de réponse à ce problème. Son objectif est de sélectionner ou d'extraire un sous-ensemble optimal de caractéristiques pertinentes pour un critère fixé auparavant. La sélection de ce sous-ensemble de caractéristiques permet d'éliminer les informations non-pertinentes et redondantes selon le critère utilisé. Cette sélection/extraction permet donc de réduire la dimension de l'espace des exemples et rendre l'ensemble des données plus représentatif du problème. En effet, les principaux objectifs de la réduction de la dimension sont :

\begin{itemize}
\item  {\em faciliter la visualisation et la compréhension des données,}
\item  {\em réduire l'espace de stockage nécessaire,}
\item  {\em réduire le temps d'apprentissage et d'utilisation,}
\item  {\em identifier les facteurs pertinents.}
\end{itemize}


Les algorithmes d'apprentissage artificiel requièrent typiquement peu de traits (features) ou de variables (attributs) très significatifs caractérisant le processus étudié. Dans le domaine de la reconnaissance des formes et de la fouille de données, il pourrait encore être bénéfique d'incorporer un module de réduction de la dimension dans le système global avec comme objectif d'enlever toute information inconséquente et redondante. Cela a un effet important sur la performance du système. En effet le nombre de caractéristiques utilisées est directement lié à l'erreur finale. L'importance de chaque caractéristique dépend de la taille de la base d'apprentissage (pour un échantillon de petite taille, l'élimination d'une caractéristique importante peut diminuer l'erreur). Il faut aussi noter que des caractéristiques individuellement peu pertinentes peuvent être très informatives si on les utilise conjointement. 

\floatstyle{plain} %<-- sans encadrement des figures
\restylefloat{figure}
\begin{figure}[h]
\centering\noindent
\includegraphics[width=0.5\textwidth]{inputs/A3/Figures/visageAv}
\caption{\small Architecture d'un système connexionniste pour la reconnaissance faciale avant l'optimisation}
%  \label{fig:budget_ratio_cercle}
\end{figure}
\floatstyle{boxed} %<-- avec encadrement des figures
\restylefloat{figure}

\floatstyle{plain} %<-- sans encadrement des figures
\restylefloat{figure}
\begin{figure}[h]
\centering\noindent
\includegraphics[width=0.5\textwidth]{inputs/A3/Figures/visageAp}
\caption{\small Architecture d'un système connexionniste pour la reconnaissance faciale après optimisation par la mesure de pertinence HVS proposée par Y. Bennani et M. Yacoub en 2001. Les zones grises représentent les neurones supprimés.}
%  \label{fig:budget_ratio_cercle}
\end{figure}
\floatstyle{boxed} %<-- avec encadrement des figures
\restylefloat{figure}

La réduction de la dimension est un problème complexe qui permet de réduire le volume d'informations à traiter et faciliter le processus de l'apprentissage. 
Nous pouvons classer toutes les techniques mathématiques de réduction des dimensions en deux grandes catégories : 

\begin{itemize}
\item  {\em la sélection de variables : qui consiste à choisir des caractéristiques dans l'espace de mesure, }
\item  {\em l'extraction de traits : qui vise à sélectionner des caractéristiques dans un espace transformé (dans un espace de projection) }
\end{itemize}

La première catégorie est appropriée quand l'acquisition de mesures des formes est coûteuse. Ainsi l'objectif principal de la sélection de caractéristiques dans ce cas est de réduire le nombre de mesures requises. 
Par contre, les techniques d'extraction de traits (deuxième catégorie) utilisent toute l'information contenue dans les formes pour la compresser et produire un vecteur de plus petite dimension. Ces techniques projettent un vecteur forme de l'espace de représentation dans un espace de dimension plus petite. Les systèmes d'apprentissage connexionniste sont un bon exemple de cette catégorie. En effet, les modèles connexionnistes connus pour une tâche de discrimination fournissent un système avec des aptitudes intéressantes pour l'analyse du processus. Les cellules cachées d'un Perceptron multi-couches apprennent comment extraire les caractéristiques significatives du signal d'entrée.
Nous avons proposé dans cette direction plusieurs mesures de pertinence, en apprentissage supervisé et non supervisé \cite{Guerif:2005ya, Guerif:2006xz}.

\item [Combinaison de modèles et fusion de décisions]~\\

Un de nos thèmes de recherche majeur est la conception et la mise en \oe uvre de systèmes qui font coopérer différents modèles entre eux et avec des techniques plus classiques dans les différents domaines d'application. Ces systèmes constituent une autre génération des modèles connexionnistes et apparaissent comme la seule solution pour la réalisation de tâches complexes et de grande taille. Les études théoriques portent sur les algorithmes d'apprentissage pour ce type de système, la décomposition de tâches, la conception de chaînes de traitement optimales. Nous travaillons sur la possibilité de coopération des algorithmes connexionnistes et d'autres méthodes plus classiques comme les Chaînes de Markov Cachées, afin de concevoir des systèmes modulaires hybrides plus robustes. 



\item [Classification topographique évolutive et stabilité]~\\

L'apprentissage non-supervisé évolutif est un problème assez récent et représente une voie de recherche très prometteuse ouvrant d'excellentes perspectives. En effet, l'apprentissage évolutif fait partie des sujets difficiles en apprentissage artificiel, essentiellement parce qu'il n'existe pas de théorie de l'apprentissage statistique réellement dévolue dans le cas où les exemples sont fournis en ligne et les concepts de classes varient dans le temps. Ces systèmes permettront de découvrir un espace topologique (évolutif) d'un ensemble de données. Cet espace topographique préserve la notion de voisinage entre les exemples décrivant le processus à modéliser. Nous avons étudié la possibilité de rendre évolutive la découverte de cet espace topographique : i.e. le nombre de regroupement homogène (clusters) change dans le temps en fonction des informations complémentaires qui arrivent, la classification se poursuit dans le temps. 
Pour cet axe de recherche, nous travaillons aussi sur les critères d'évaluation et de stabilité  \cite{cabanes:2007}. En effet, les algorithmes de classification sont aujourd'hui très nombreux, mais on n'a presque jamais de raison « théorique » de choisir l'un plutôt que l'autre. La stabilité est une propriété très souhaitable pour ce type d'algorithmes
Ces recherches sont validées en particulier sur des données temporelles, spatio-temporelles, évolutives (traces de navigations sur Internet, données comportementales, données RFID, données de consommation, données de marketing, réseaux de capteurs, ...).

\end{description}