Nach dem Aussehen des Hauses kann man schließen, dass hier maßgebende Leute wohnten. Das Grafenhaus war (laut mündlicher Überlieferung) der Sitz der Hochfreien von Amicinesbach, die von 1090-1203 hier ihre Herrschaft hatten und sich nach dem Ortsbache benannten.
Den Kern des Hauses bildet ein fast quadratischer Wohnturm, Innenmaß 5,60 x 5,80 Meter, Mauerstärke 90cm, Gebäudehöhe: Keller, 2 Geschoße, 3. Geschoß ist im jetzigen Dachboden gekappt und noch sichtbar. Um diesen Wohnturm entstanden Zubauten aus dem 16.-18. Jahrhundert. Die Räume sind eingewölbt, an der Ostfront mit einem halbrunden Ausbau (Erker) in beiden Stockwerken. Im 18. Jahrhundert erfolgte wieder eine Vergrößerung durch Anbau und so entstand ein Dreiseithof, der bis vor einigen Jahren durch Stallungen und Scheunen abgeschlossen war.
In der Türkenzeit brannte das Grafenhaus aus. Die Brandspuren konnte man beim Einziehen einer neuen Holzdecke im Jahre 1974 noch sehen.
Seit 1923 ist dieses Anwesen im Besitz der Familie Walderdorff.