「執筆をするときに使っているソフトウェアは何か」というご質問ですね。
「執筆をするとき」といっても、いくつもフェーズ（段階）がありますのでたった一つのソフトウェアでまかなっているわけではありません。以下では私が執筆している「数学ガール」という数学読み物を書く際に使うソフトウェアを列挙します。
アイディアの段階で使うのはSimplenoteやEvernoteといったいわゆるクラウドメモです。iPhoneなどを使えばどこにいてもさっとメモをできますし、改めて机に向かったときもコンピュータで編集できるからです。たとえば、登場人物のセリフや話の展開などは、出し抜けに思い付くのでメモは大切です。
集まったアイディアを練ったり、アウトラインを検討するときにはDynalistというWebアプリを使います。これもクラウドメモの一種ですが、メモというよりはアウトライナーといった方がいいですね。アウトライナーは話題を階層的に扱えますし、Dynalist Proなら画像を簡単に貼り付けられるので、参考書や手描きメモをアウトライナーに貼り付けられて便利です。
いざ文章にまとめるときに使うのはテキストエディタです。ざくざく書くときにはVS Codeを使いますが、じっくり考えながら進むときにはVimを使います。
文章を書き進める中で忘れてはいけないのはバージョン管理ツールです。ファイルのバックアップ代わりに使ったり、編集者に原稿を送った後にどんな修正を入れたかの差分を調べるためには欠かせません。これはgitを使っています。
ここまでは、原稿ファイルを作成するためのソフトウェアでした。ではこれらのソフトウェアを使って、最終的にどのようなフォーマットで原稿を書くかというと、LaTeXという組版ソフト向けに書いています。
LaTeXを使うと、数式がたいへん美しく書け、自分好みのマクロをたくさん定義できます。もしもLaTeXがなかったらとうてい「数学ガール」シリーズのような数式がたくさん出てくる物語を書こうとは思わなかったでしょう。LaTeXを使うと原稿ファイルからPDFなどが作成できます。
質問の中にあった「特別な記法」という意味ではLaTeXで自分用に作ったマクロ集が特別な記法といえます。これは「数学ガール」シリーズを書くときにしか役に立たないものですので、汎用性はありません。たとえば会話を表記するのに \TALK{僕}{じゃあ、証明をしてみるよ} のように書きます。
また、質問の中にあった「登場キャラクターの設定管理」についてですが、私に関して言えばそういう設定管理用の専用ソフトは使っていません。それほど登場人物が多くないからですね。
しかし、過去に自分が書いた原稿ファイルはさっと検索できるようにしてあります。「以前、同じ言い回しを使ったことがあったような気がする」というときに、自分が過去に書いたすべての本からすぐに検索できるようにしてあります。これはgrepなどのごく一般的なプログラムを使って実現しています。
＊ ＊ ＊
◆「数学ガール」シリーズ
◆執筆原稿のバージョン管理とは何ですか（本を書く心がけ）
https://mm.hyuki.net/n/nb2e114d29c3e
◆執筆ノウハウは自分のために（文章を書く心がけ）
https://mm.hyuki.net/n/n6b42b2332ec8
◆TeXの始め方を教えてください