オーダ記号の書き方 in TeX

\mathcal{O}

らしい

参考： ランダウの記号 - ja.wp