Niestety, Jan-Michael Vincent nie potrafił poradzić sobie ze sławą. Za zastrzykiem gotówki przyszły imprezy suto zakrapiane alkoholem oraz narkotyki. Trudny charakter aktora coraz bardziej dawał o sobie znać. Popularność uderzyła mu do głowy, a praca z nim była coraz cięższa. Z czasem wizerunek uroczego, niebieskookiego blondyna zaczął kłócić się z jego mroczną naturą. 

Miał na koncie serię aresztowań i oskarżeń dotyczących przemocy w rodzinie, posiadania narkotyków i nadużywania alkoholu. Liczne wybryki oraz uzależnienie przekreśliło dalszą karierę aktora. Aktor znany był z wybuchowego temperamentu. Do napięć dochodziło nie tylko na planie. Miał trzy żony - Bonnie Portman, z którą miał córkę Amber Springbird, Joanne Robinson i Patricia Ann. 

Wszystkie kobiety oskarżały go o stosowanie wobec nich przemocy. W 2000 r. aktor przegrał proces sądowy i musiał zapłacić ponad 350 tys. dolarów odszkodowania swojej byłej dziewczynie. Kochanka oskarżyła go o pobicie, przez które doszło do poronienia ich wspólnego dziecka.