Narodil sa 16.decembra 1944 v meste Portchester v štáte New York. Až na niekoľko súkromných lekcií bol v hre na gitaru samouk a bol ovplyvnený rockovou hudbou skupín Beach Boys a Ventures. Od roku 1962 študuje na Berklee College of Music gitaru, ale aj harmóniu a teóriu. Po škole nastúpil do tria organistu Johna Hammonda, aby v roku 1969 prijal ponuku trubkára Randyho Breckera v jeho rockovom Dreams. Po rôznych zastaveniach hrával s bubeníkom Billy Cobhamom a nahral s ním legendárne albumy Crosswinds, Total Eclipse a Shabazz. Súbežne však vytvoril aj debutový album pod svojím menom so svojou skupinou Timeless pre vydavateľstvo ECM, ktorému zostal verný dodnes. V roku 1987 vystupuje spoločne s Marc Johnsonom a Petrom Erskinom na festivale Bratislavské jazzové dni 1987 a v roku 2003 na Trenčiankom jazz feste spoločne so skupinou gitaristu Rudy Linku.
Rovnako dobre ovláda elektronické efekty ako i akustickú gitaru a pozoruhodný je aj jeho skladateľský talent. Vďaka svojej rozmanitosti sa stal John Abercrombie jedným z najoriginálnejších jazzových gitaristov. Práve dnes má 67 rokov!