The modern definition of topology is 'a family of subsets of a set $X$ containing the empty set and $X$, closed under unions and finite intersections'.
In Grundzüge der Mengenlehre (1914) Hausdorff presented his set of four axioms for topological space that has undoubtedly influenced the modern definition, since they both emphasize the notion of open set. But who introduced the modern definition for the first time?
Hausdorff's axioms or Umgebungsaxiome (page 213 in Grundzüge der Mengenlehre):
(A) Jedem Punkt $x$ entspricht mindestens eine Umgebung $U_x$; jede Umgebung $U_x$ enthält den Punkt $x$.
(B) Sind $U_x$, $V_x$ zwei Umgebungen desselben Punktes $x$, so gibt es eine Umgebung $W_x$, die Teilmenge von beiden ist.
(C) Liegt der Punkt $y$ in $U_x$, so gibt es eine Umgebung $U_y$, die Teilmenge von $U_x$ ist.
(D) Für zwei verschiedene Punkte $x$, $y$ gibt es zwei Umgebungen $U_x$, $U_y$ ohne gemeinsame Punkt.