Fin du XVIIe siècle, Boston. Une femme adultère, Hester Prynne, est condamnée à porter cousue sur sa poitrine la lettre A qui marque son "crime". Son mari, le médecin Roger Chillingworth, revient après une longue absence et veut retrouver l'homme qui a fauté avec sa femme (et dont une petite fille est née) : or il s'agit du pasteur de la communauté, Arthur Dimmesdale... celui-ci est déjà accablé par la culpabilité mais le mari va le harceler sans relâche et le pousser aux aveux puis au suicide.
La première partie s'attache surtout à nous montrer la vie quotidienne de la femme cloîtrée élevant seule son enfant mais dont les talents de brodeuse leur permettent de vivre dignement. La seconde partie nous montre un mari bafoué se livrant à la torture psychologique sur un homme lâche et dépressif.
C'est un très beau roman historique qui dénonce avec finesse la société ultra-puritaine dans laquelle les personnages évoluent et qui ne sont en fait jamais ce que la société dit qu'ils sont. Exemples : le médecin qui n'a aucune compassion pour ses semblables, le pasteur qui faute avec une femme mariée et la laisse assumer seule la "faute", la coupable qui a de grandes qualités morales et est peu à peu très appréciée justement parce qu'elle est exclue...
Des thèmes forts parcourent l'histoire : l'individu et la collectivité, la morale et la religion, la liberté...