О своей отставке Голдсмит, работавший заместителем Майкла Блумберга с апреля 2010 года, объявил 4 августа. Как удалось выяснить, официальная причина его ухода не называлась, однако в прессе высказывались предположения, что отставка вице-мэра связана с недовольством его работой. Среди прочего упоминалась неэффективная борьба со снегопадом во время рождественских праздников 2010 года.
Однако, как удалось выяснить The New York Post, которая ссылается на полицейские записи, за несколько дней до отставки Стивен Голдсмит был задержан полицией города Джорджтаун, в котором он проживает, по обвинению в жестоком обращении со своей женой, Маргарет.
Оказалось, что 30 июля между супругами произошла ссора, в ходе которой Голдсмит в ответ на оскорбления жены порывался решить конфликт с помощью силы. Сообщается, что вице-мэр схватил свою супругу и разбил телефон, по которому она звонила в полицию. Тем не менее, полицейские на место приехали, и Голдсмит был задержан по обвинению в домашнем насилии.
Стивен Голдсмит провел под стражей два дня, однако Маргарет не стала настаивать на уголовном преследовании супруга.
Как рассказала журналистам сама Маргарет Голдсмит, именно арест стал причиной, по которой ее муж подал в отставку с поста вице-мэра Нью-Йорка. "Это создало бы проблемы для Блумберга, а Стивен бы ни за что этого не допустил", — заявила женщина.