Für die GUI würde ich dir für den Einstieg Swing empfehlen.

Ein kostenloser freier Compiler für Java (wenn du unbedingt eine exe willst):
gcc.gnu.org/java/
In Eclipse solltest du aber einstellen, dass du nur Java 1.4 programmierst. Viel mehr kann der Compiler noch nicht.
Elne Alternative zur EXE sind JAR-Dateien.

Ich vermute mal, dass Du mit 'mit Grafischen Oberflächen arbeiten' das Programmieren einer
Grafischen Oberfläche meinst.
Dafür würde ich Dir Swing empfehlen, einfach mal in eine Suchmaschine eingeben,
im Netz gibt es Anleitungen und Beispiel in Mengen.

Oder willst Du unter einer Grafischen Oberfläche (IDE) programmieren ?

Dann Eclipse oder NetBeans.

Das du Eclipse hast ist gut. Ein bisschen kompliziert für den Anfang, aber man gewöhnt sich dran
Für grafische Oberflächen gibt es für Java standardmäßig "Swing".
Das ist bei jedem JDK dabei.
Innerhalb von Eclipse könntest du auch SWT verwenden.

EXE/JAR: Java erstellt keine EXE Dateien. Java erstellt nur JAR (oder WAR oder EAR oder ...) Dateien.
Wenn du Windows hast, kannst du sie durch einen Doppelklick falls drin steht, welches die Main-Klasse ist.
Also nicht nach .EXE Dateien suchen - es gibt keine!