キリスト教信者でなくても教会に行っても良いのですか?

もちろんです!すべての人に開かれているのが教会です。
礼拝には信仰者も、教会は初めてという人も、信じている人も、信じていない人も共にいることが自然な姿です。
ですが、教会へ行こうかと考えてくださる人にとって、どこか敷居を高く感じさせているのが現実なのかもしれません。
教会のいわゆる【中の人】たちが、知らないうちに開かれた視点を失ってしまっているなら残念です。
オープンな教会がどうか、そうでないかを、精神的負担なく知るには、その教会のホームページを見てみると、一つの目安になるかと思います。
教会のホームページでは「住所とアクセス方法」「礼拝時間」「問い合わせのできる電話番号やメールアドレス」がすぐにわかるようにしてあって、開始時間だけでなく終了予定時間も書かれてるようなら、初めての訪れようとしている人のことを考え、常に開かれていることを示す1つの現れといえるではないでしょうか。