Après une première partie en état de grâce, qui profite de la nostalgie du réalisateur pour la période de son enfance pour atteindre un lyrisme fragile mais au parfum d'absolu, Three Times s'effondre peu à peu. C'est que Hou Hsiao-Hsien refuse d'y laisser la moindre chance à cet amour trois fois réincarné d'exister pleinement en dehors de son premier segment.
La partie médiane, qui se déroule en 1911, redouble en effet de cruauté envers son personnage féminin, qui est privé d'un amour libérateur par le contexte social (courtisane de luxe, elle ne sera pas rachetée par le journaliste progressiste auquel elle voudrait s'offrir) autant que par le traitement froidement élégant choisi pour le développer. Le muet est coupé de dialogues en intertitres trop fréquents pour ne pas casser la pureté des scènes qu'ils rythment, qui font de cette histoire un passé indirectement accessible qu'il nous faut traduire quitte à en perdre l'essence et l'harmonie immédiate.
Le segment final, quant à lui, rappelle l'errance hyper-contemporaine de Millenium Mambo en faisant de notre époque un temps où le relativisme général a tué ce qui faisait de chaque moment quelque chose d'unique et de non reproductible. La libération sexuelle, incarnée par ces deux comédiens sublimes dont les personnages n'ont cette fois pas la retenue qu'imposait la période historique des deux autres histoires, n'est qu'une compensation futile à un manque, lui-aussi cruel, de profondeur et de vérité.
Ainsi, le déroulement du film force à retourner en esprit vers son premier segment et à se nourrir de la beauté auquel Hou Hsiao-Hsien y préservait un cocon. En nous forçant à embrasser sa propre nostalgie, le réalisateur dresse l'image de l'amour comme celle d'un sentiment fragile, peut-être déjà mort, qu'on ne peut (malgré ce que promettait le pitch) rencontrer qu'une fois et rechercher en vain, le reste du temps.
Cependant, la beauté demeure à l'état de fantôme qu'on aimerait tant voir réincarné, à travers le souvenir de la pudeur de la relation des personnages du premier acte et la douceur du traitement qui était réservé à leur univers, qui laissait à penser que ces amants ont encore tout à vivre et que l'avenir leur appartient. Tranquille, découlant d'événements anodins, l'idylle promet d'autant plus qu'elle n'a besoin d'aucune emphase pour toucher à la plénitude. En le coupant de toute origine individuelle (les amants se trouvent ou se ratent selon les époques alors qu'ils paraissent être de pures réincarnations), le récit fait finalement de l'amour le résultat d'une alchimie insaisissable qui distribue le bonheur à certains en se nourrissant de la cruauté qui le voit se refuser à tant d'autres.
Le travail sur le temps, restitué par blocs équivalents et sans emprise pour le romanesque, est en tout cas assez fascinant. Dommage, en fait, que tout le parti pris artistique repose sur le sacrifice de deux parties en faveur d'une autre, parties délaissées non sur le plan psychologique ou formel, mais sur le plan de l'émotion. Le dernier mot doit quand même revenir au mouvement général qui donne toute sa force à ce nouvel objet aussi distant que pénétrant, qui rappelle que la nostalgie peut pratiquement mettre fin à une vie, en revenant sans cesse à un même instant qui laissera tous les autres dans l'ombre.