Название камня связывают с тем, что после дождя цвет камня меняется от серого к синему (такой цвет принимает его мокрая поверхность). Синий камень был объектом поклонения мерян, а затем и древних славян-язычников, пришедших к озеру в ІХ—XI веках из новгородских и приднепровских земель. Несмотря на наличие рядом Борисоглебского Надозёрного монастыря, переславцы нередко собирались у камня и устраивали буйное веселье, пляски и костры. Некоторое время монахи и священники ограничивались увещеваниями, пугая местных жителей тем, что в идоле живёт нечистая сила. Однако внимание к языческой святыне не ослабевало.