Narodil sa 16.decembra 1944 v meste Portchester v štáte New York. Až na niekoľko súkromných lekcií bol v hre na gitaru samouk a bol ovplyvnený rockovou hudbou skupín Beach Boys a Ventures.

Od roku 1962 študuje na Berklee College of Music gitaru, ale aj harmóniu a teóriu. Po škole nastúpil do tria organistu Johna Hammonda, aby v roku 1969 prijal ponuku trubkára Randyho Breckera v jeho rockovom zoskupení Dreams. Po rôznych zastaveniach hrával s bubeníkom Billy Cobhamom a nahral s ním legendárne albumy Crosswinds, Total Eclipse a Shabazz. Súbežne však vytvoril aj debutový album pod svojím menom so svojou skupinou Timeless pre vydavateľstvo ECM, ktorému zostal verný dodnes. V roku 1987 vystupuje spoločne s Marc Johnsonom a Petrom Erskinom na festivale Bratislavské jazzové dni 1987 a v roku 2003 na Trenčiankom jazz feste spoločne so skupinou gitaristu Rudy Linku. V roku 2009 vystupoval v Bratislave so skuipinou kontrabasistu Roberta Balzara (pozri recenziu: http://www.skjazz.sk/recenzie.php?zobraz=3413).

John Abercrombie rovnako dobre ovláda elektronické efekty ako i akustickú gitaru a pozoruhodný je aj jeho skladateľský talent. Vďaka svojej rozmanitosti sa stal John Abercrombie jedným z najoriginálnejších jazzových gitaristov.