Hola,
realmente, un "hacker" no te haría absolutamente nada, ya que somos gente honrada y que no va por ahí rompiendo todos los sistemas que se encuentra jeje!! Ahora en serio, un pirata informático (hacker si lo prefieres...) con mala uva podría causarte realmente bastantes estragos, ya que conocida tu IP pública puede dirigir ataques hacia ella. No obstante, como te han dicho, en principio no es algo que deba preocuparte, pues cualquiera que sepa un poco del tema podrá saber tu IP de manera bastante sencilla (whois, plugins de mozilla como IP Address and Domain Information dan bastante información sobre dominios). Resulta lógico que tu IP pública sea precisamente eso, pública para que pueda ser accedida por otros.
Sobre protección, también como te han dicho, procura ser cuidadoso con lo que publicas en tu servidor web y, además, realizar hardering de la tencología que estes utilizando (existen muchos manuales sobre el tema e incluso algunos tutoriales rápidos en internet). A todo ello, yo añadiría que pusieras especial cuidado en que tu servidor no aloje páginas web que se puedan comprometer fácilmente con ataques conocidos; es decir, que revises que tu página no es vulnerable a XSS, CSRF, fichero robots.txt y ese tipo de cosas, que parecen una tontería pero te encuentras muchas páginas con información y vulnerabilidad abundante al alcance de casi culalquiera que mire tutoriales básicos por internet. También que si utilizas bases de datos de usuarios guardes las contaseñas hasheadas etc. Vamos, lo básico de seguridad web...
Saludos!