當地傳說枕頭山的出現，跟一位挑著扁擔的仙人有關。話說有位仙人挑重重的扁擔，經過蘭陽平原，由於裝著貨物的籃子太重了，扁擔突然從中折斷，一個掉在外員山，另一個落在枕頭山目前所在的位置，仙人把落在枕頭山這邊的貨物當作枕頭拿來睡覺，因而睡出枕頭山來。