The Affair vertelt het verhaal van Noah Solloway en zijn (hoe kan het ook anders) affaire met Alison Bailey. Noah, op dat moment getrouwd met Helen, is een docent die moeite heeft met het schrijven van zijn tweede boek en is vader van vier kinderen. Alison heeft een relatie met Cole, die samen de dood van hun vierjarige zoontje proberen te doorstaan.

Het verhaal begint als Noah met zijn familie op vakantie gaat naar Montauk, waar ze bij zijn schoonouders verblijven. Daar ontmoet hij daar de jonge Alison, die serveerster is in een restaurant. De twee vallen (super cliché) als een blok voor elkaar maar hun eigen relaties staan dit niet toe. Noah wil zijn nieuwe boek schrijven over Montauk en Alison wordt zijn gids. Gedurende de uitjes groeien de twee enorm naar elkaar toe. Al snel heeft Helen iets door. Waar haar seksleven met haar Noah normaal vurig was, moet hij de laatste dagen niets meer van haar hebben. Ze confronteert hem hiermee, maar Noah schuift het op zijn moeite met zijn nieuwe boek. Alison zelf heeft het lastig thuis. Niet alleen het rouwen om haar eigen kindje, ook de illegale bezigheden van Cole en zijn broers rondom hun boerderij zorgen voor spanningen in hun relatie. Noah en Alison trekken ondertussen steeds meer naar elkaar toe.