일본은 화산이 많아 화산성 온천이 많으며 온천지에 얽힌 전설이나 신화도 곳곳에 남아있다. 그에 따르면 이 야마시로 온천의 유래는 약 1300년 전인 725년의 일이라고 전해진다.
전국을 수행하고 있던 어느 고승이 하쿠산으로 가던 도중 보라색을 띤 구름을 발견하게 된다. 구름을 따라가니 물웅덩이에서 상처 난 날개를 치료하고 있는 한 마리의 새(까마귀)를 발견하고 이상히 여겨 물에 손을 담가 보니 바로 온천이었다. 고승은 이 사실을 마을 사람들에게 알리게 되고 이후 이곳에 온천지가 생겼다고 한다.
오랫동안 근처 농가와 주민들의 병을 고치는 온천에 불과 했던 야마시로에 법황의 칙명으로 「약왕원 온천사」가 건립되어 사람들이 숭상하게 되었다. 이를 계기로 야마시로는 서민들의 온천지에서 전국적으로 유명한 온천지로 탈바꿈하게 되었다.
근대 이후 입욕객의 증대로 여관은 대형화되고 마을이 정비되어 명실공히 호쿠리쿠를 대표하는 온천지로서 손색 없는 규모를 갖추어 무궁한 발전을 위해 끊임없이 노력하고 있다.
전국의 온천지를 방문했을 때「이 온천 수는 마실 수 있다.」 혹은「마실 수 없다.」라는 표시를 본적이 있을 것이다. 온천수를 마시는 것을「음천」이라 하는데, 유럽제국의 온천지를 중심으로 오랜 역사를 자랑한다. 야마시로 온천의 온천수 역시「음천」이 가능하며 세계 위생 박람회에서「금상」을 수상할 만큼 수질이 좋다. 물론 다량을 마시는 것이 아니라, 한번에 한 컵 정도를 천천히 씹는 듯이 마시는 것이 좋다고 한다.