Im Laufe seines Lebens studiert Brown auch Physiognomie, eine Pseudowissenschaft, die beansprucht, dass aus dem äußeren Erscheinungsbild einer Person auf ihr Inneres geschlossen werden könne - auch heute noch wollen viele aus dem ersten subjektiven Eindruck auf den Charakter einer Person schließen.
Was jedoch Physiognomiker wie Browne und Della Porta wirklich interessierte, war die Unterscheidung nach den inneren Qualitäten eines Menschen, nicht nach seinem Aussehen. Als Arzt habe er sich auf das Gesicht als Diagnoseanhaltspunkt verlassen. In Religio Medici behauptet Browne, dass es sicherlich eine Physiognomie gebe, die man erkennen könne, ... denn auf mystische Weise trügen unsere Gesichter bestimmte Zeichen, in denen das Motto unserer Seele abgebildet ist