Ο Ηλίας Ρωσίδης ξεκίνησε τον αθλητισμό σε πολύ μικρή ηλικία και εγγράφηκε στον Ολυμπιακό, όπου ασχολήθηκε αρχικά με τον στίβο και τους δρόμους ταχύτητας, τα 100, 200 και 400 μέτρα. Κάποια μέρα, όταν παρακολουθούσε τυχαία την προπόνηση του Ολυμπιακού, τραυματίστηκε ο Αριστείδης Λούβαρης, ο τερματοφύλακας και του ζήτησαν να τον αντικαταστήσει. Από εκείνη την ημέρα έμεινε στον Ολυμπιακό μέχρι το τέλος της καριέρας του.

Πρώτος του αγώνας ήταν το 1948 με τον Φωστήρα στο κύπελλο Ελλάδας. Συμμετείχε στον παρθενικό αγώνα ελληνικών ομάδων στις ευρωπαϊκές διοργανώσεις, όπου ο Ολυμπιακός βρέθηκε αντιμέτωπος με τη Μίλαν το 1959. Λόγω των πολλών τραυματισμών που είχε υποστεί, συνέχισε την καριέρα του στον Ολυμπιακό μέχρι το 1961 και κατόπιν αγωνίστηκε επίσης με επιτυχία σε ομάδες μικρότερων κατηγοριών, όπως Βύζας Μεγάρων, Αίας Σαλαμίνας και Α.Ε. Χαλανδρίου.[2]

Στις εθνικές ομάδες:
Με την εθνική Ελλάδας έχει καταγράψει  29 συμμετοχές (πρώτη το 1951 και αρχηγός της από το 1954), όντας πρώτος σε συμμετοχές την εποχή που αγωνίστηκε σε αυτή.

Με τον Ολυμπιακό έχει κατακτήσει:

9 Πρωταθλήματα Ελλάδας (1947, 1948, 1951, 1954, 1955, 1956, 1957, 1958, 1959)
10 Κύπελλα Ελλάδας (1947, 1951, 1952, 1953, 1954, 1957, 1958, 1959, 1960, 1961)
13 Πρωταθλήματα Πειραιά (1947, 1948, 1949, 1950, 1951, 1952, 1953, 1954, 1955, 1956, 1957, 1958, 1959)