Rodil se je 22. aprila 1886 v Šidu (Srbija) kot prvi od sedmih otrok Andreja in Marije, rojene Huber. Izidorjeva mati je bila sremska Nemka iz premožne družine. V Ljubljano je prišel leta 1897 s pomočjo bratranca Ivana Cankarja. Tu je končal klasično gimnazijo in študij bogoslovja. Nato je študiral estetiko na univerzi v Louvainu in umetnostno zgodovino pri Maxu Dvořáku na Dunaju, kjer je 1913 doktoriral. V letih 1914–1919 je bil urednik revije Dom in svet, v letu 1918/1919 pa glavni urednik časnika Slovenec. V zimskem semestru 1919/20 je postal docent, 1923 izredni in 1928 redni profesor umetnostne zgodovine na Univerzi v Ljubljani. Ob razpadu Avstro-Ogrske je v Zagrebu dejavno sodeloval pri združitvi južnoslovanskih narodov monarhije v državo SHS. Leta 1920 je na Ljubljanski univerzi utemeljil katedro za umetnostno zgodovino, na kateri je predaval do vstopa v diplomatsko službo, v naslednjih letih pa je ustanovil Umetnostnozgodovinsko društvo in Zbornik za umetnostno zgodovino. Reorganiziral je Narodno galerijo in dal pobudo za ustanovitev Moderne galerije. Leta 1926 je opustil duhovniški poklic in se poročil s hčerko mecenskega podjetnika Dragotina Hribarja Ničo. V letih 1936–1944 je opravljal službo poslanika kraljevine Jugoslavije v Argentini in Kanadi. Leta 1944 je postal minister za prosveto, pošto in telegraf v vladi Ivana Šubašića v Londonu, vendar je že čez nekaj mesecev odstopil. V istem času se je povezal z OF. Po vojni je bil jugoslovanski poslanik v Grčiji. Leta 1947 se je upokojil. V pokoju je veliko prevajal in se posvečal pisanju umetnostnozgodovinskih študij. Leta 1953 je postal redni član SAZU. Umrl je 22. septembra 1958 v sanatoriju Emona v Ljubljani.