В 1964 году на лейбле Columbia был выпущен их дебютный альбом «Wednesday Morning 3AM». Пластинка прошла практически незамеченной, после чего пути музыкантов пошли врозь.
В это время на долю музыкантов выпал неожиданный успех. Летом 1965 году импресарио Тим Уилсон, известный продюсированием ранних альбомов Дилана, осовременил звучание песни «The Sounds of Silence», написанной Саймоном под впечатлением от убийства президента Кеннеди, наложив на неё электрические гитары и ударные. Без ведома авторов новая версия была выпущена синглом и достигла первой строчки в национальных чартах. Эта запись была признана музыкальными критиками квинтэссенцией входившего тогда в моду фолк-рока.
Хотя Саймон и Гарфанкел были шокированы тем, что их самый успешный сингл был аранжирован и выпущен без их участия, его триумфальное восхождение в чартах заставило их вновь объединить усилия и развернуть своё творчество в сторону приглушённого акустического фолк-рока. За «The Sounds of Silence» последовали такие жемчужины фолк-рока, как «A Hazy Shade of Winter» и «Homeward Bound» — возможно, самые рафинированные и стильные образчики этого направления рок-музыки.
Несмотря на отдельные яркие песни, альбомы Саймона и Гарфанкела были по большей части неровными и оставляли ощущение недоговорённости. Наиболее радикальные критики были склонны обвинять дуэт в слащавости и стерильности.