Podczas bogatej kariery zadawał kłam twierdzeniu, że pięściarzami zostają wyłącznie jednostki niegrzeszące inteligencją. Jak na boksera przystało, sprawiał kłopoty, wywołując kilka głośnych afer obyczajowych. Przekonali się o tym milicjanci z Zakopanego, którzy pewnego dnia znaleźli się na jego drodze. Dał im po zębach, choć formalnie, jako zawodnik warszawskiej Gwardii, należał do formacji MO. Mimo kilku awantur został jednak zapamiętany głównie dzięki ringowym walkom, bo wywalczył m.in. dwa złote medale igrzysk olimpijskich. Jerzy Kulej, gdyby żył, skończyłby dziś osiemdziesiąt lat.