Stredoveké Veľké Pole vystupuje po prvýkrát v archívnych dokumentoch, pochádzajúcich z rokov 1332 – 1337, najskôr pod pomenovaním Pratum ( t.j. Lúka ), no už o niekoľko rokov neskôr z roku 1352 je doložený názov obce VELIKAPOLE a Welké Pole z roku 1808. Po maďarsky sa obec nazývala Pálosnagymezo, po nemecky Hochwies, Hoch-Wiesen.
Najstaršie zmienky o obci sú spojené s tunajším pustovníkom Matejom. Samotná obec patrila najskôr kráľovi, potom zemanom z Baračky, ktorí ju opustenú v roku 1354 na novo osídlili. Neskôr patrila rádu Paulínov z Lefantoviec, ktorí tu v roku 1395 založili kláštor.
V obci bola i banícka tradícia, keďže sa tu dolovalo striebro a olovo, bane však v časoch Tureckých vojen zanikli. Obec však i napriek tomu prosperovala a vyvíjala sa ako zemepanské mestečko, v ktorom pôsobili početní remeselníci. Z nich sa na prvom mieste uvádzajú stolári. Táto skutočnosť našla svoj význam pri tvorbe erbovej pečati v roku 1723 a aj obecného erbu v roku 2003.