En confiant au souvenir le moteur et la logique de son (déjà) neuvième long-métrage de fiction, Desplechin prenait un risque double, l'un propre à son oeuvre, l'autre propre au film lui-même : on pouvait d'abord craindre que Trois souvenirs de ma jeunesse ne soit que la visite polie à un vieil ami du passé (Comment je me suis disputé...), écueil heureusement vite oublié, tant Desplechin continue à s'inventer, à découdre ses motifs pour en retisser les liens, sans frein ni peur. L'autre face du risque, plus tangible, concerne le récit tout en discontinuité des Trois souvenirs ( Enfance/Russie/Esther), a priori relativement étrangers les uns aux autres, et marqués par les irrégularités, les écarts de tenue et d'ampleur qui parfois semblent les séparer tout à fait. Car si dans ce film toujours la fracture guette, l'édifice se maintient et vient éclairer d'une lumière anachronique les aspects les plus beaux du cinéma de Desplechin.
Paul Dédalus, héros de Ma Vie Sexuelle, interrogé à son retour de France sur l'existence d'un alias mort deux ans auparavant , lance trois fois comme une formule magique le champ du souvenir et redessine du doigt la cartographie du cinéma de Despleschin. Il se souvient de son enfance, séquence courte et bâtarde mais pas dénuée de charme, ce même charme qui envahissait les plaines tranquilles de Jimmy P.. Il se souvient de Minsk (East End où aurait pu vivre Esther Kahn), de Marc Zylberberg et de son don de passeport, film d'espionnage et d'aventure, lieu de l'ailleurs et de l'enfance rêvée où Dédalus ne cessera de revenir ( il pleurera d'ailleurs la chute du mur comme la perte de son enfance ). Et il se souvient d'Esther et enclenche la plus belle séquence du film, celle de l'adolescence et de l'amour, âge et sentiment du cinéma, où tout est à fleur de peau et proche du ridicule, comme dans un roman de Stendhal. Mais les grands sentiments ne sont jamais ridicules et la passion de Paul et d'Esther est de cet ordre : lecture épistolaire et regard caméra qui firent une scène inoubliable de Comment je me suis disputé... ( Emmanuelle Devos, invisible dans Trois souvenirs y est pourtant omniprésente) deviennent ici le système de liaison du couple déliée par la distance et les doutes. Le film qui voit disparaître amis et famille se restreint de plus en plus autour d'eux au point de les étouffer presque totalement, de faire exploser leur identité mutuelle, de casser le dernier pont qui les reliait au monde.
Mais ce rapport n'est jamais complètement rompu et c'est peut-être ce que découvre par la remémoration Paul qui s'est (re)découvert un double (et donc une incertitude du"moi") : leur reconnaissance est mutuelle - Esther l'en assure après un baiser - et leur existence au monde garantie par le simple fait que leur nous y a existé - Paul dira, devant un tableau, que le visage d'Esther contient le monde. Insolents et émouvants, roi et reine du souvenir.