GPT-4は、ひらがなの扱いが苦手だったように思うので、o1-previewが公開されたこの機会にあらためて調べてみた。
下記の調査は、GPT-4o、o1-mini、GPT-4（レガシーモデル）を用いた例も含む。
日本語のひらがなで、物の名前の中に、同じひらがなが複数含まれるものを15個あげてください
以下は、同じひらがなが複数含まれる物の名前（ひらがな表記）です：
きつつき すすき かささぎ ふすま ささら つづみ すずむし はばたき こころ つばめ まんまる もも ささ ひひいろざる すいとう
これらは、同じひらがなが名前の中に複数含まれるものです。
回答された内容について質問した。
「まんまる」に、「ま」はいくつありますか
「まんまる」には「ま」が2つあります。
o1-previewにも聞いてみた。
「まんまる」には「ま」が2つあります。
一文字ずつ分解すると：
ま
ん
ま
る
このように、「ま」は1文字目と3文字目に現れています。
o1-miniにも聞いてみた。
「まんまる」には「ま」が 2つ含まれています。
具体的に分解すると：
ま
ん
ま
る
このように、1文字目と3文字目に「ま」がそれぞれ現れています。
もし他にも質問があれば、ぜひ教えてください！
・o1-miniが、GPT-4oの回答に間違ったものがあることを指摘したが、「つばめ」は指摘していない
・「つ」と「づ」などを同一視している可能性がある
次の言葉でクロスワードパズルを作りたいと思います。交差させることができる組み合わせを10個あげてください
きつつき すすき かささぎ ふすま ささら つづみ すずむし はばたき こころ つばめ まんまる もも ささ ひひいろざる すいとう
きつつき と すすき （「す」で交差）×
かささぎ と すすき （「さ」で交差）×
ふすま と つづみ （「す」で交差）×
ささら と すすき （「さ」で交差）×
つばめ と きつつき （「つ」で交差）
すずむし と すすき （「す」で交差）
こころ と ふすま （「こ」で交差）×
まんまる と つばめ （「ま」で交差）×
もも と まんまる （「も」で交差）×
ささ と かささぎ （「さ」で交差）
正答率は30％
o1-previewにも聞いてみた。
きつつき と かささぎ （「き」で交差） × ← 「き」と「ぎ」は同じと認識した？
きつつき と つづみ （「つ」で交差）
かささぎ と ささら （「さ」で交差）
ふすま と まんまる （「ま」で交差）
つばめ と つづみ （「つ」で交差）
すずむし と すいとう （「す」で交差）
はばたき と きつつき （「き」で交差）
もも と まんまる （「も」で交差） × ← 原因不明
ささ と ささら （「さ」で交差）
すすき と すいとう （「す」で交差）
・正答率は80％（改善はされている。「き」と「ぎ」を同じと認識した？ 正式版に期待）
（思考の過程の表現）
・「10の組み合わせを提供しても問題ありません。」←セキュリティチェック?
・「共通点を見つけるのが意外と難しくて」←本当にそう思ってる？
・「より面白い組み合わせを目指している」←「より面白い」って何？
・「もしかすると新たな組み合わせを見つけることで、提案の幅が広がるかもしれない」←予想、予測？
英単語ならGPT-4oは正しく処理できるかを確認しておいた。交差できる英単語を答えさせた。
Apple と Parallel （「P」で交差）
Banana と Mammal （「A」で交差）
Success と Sassafras （「S」で交差）
Letter と Butterfly （「T」で交差）
Balloon と Bubble （「B」で交差）
Coconut と Turtle （「T」で交差）
Mississippi と Sassafras （「S」で交差）
Dinner と Butterfly （「E」で交差）
Tissue と Success （「S」で交差）
Coconut と Tissue （「T」で交差）
正答率は100％
次は、拗音の扱い方を調べた。
日本語の単語で、拗音を含む単語を15個あげてください
それらの単語は、それぞれ何文字で構成されていますか
きゃく（客） – 3文字
しゃしん（写真） – 4文字
きゅうり（胡瓜） – 4文字
りゃく（略） – 3文字
じゅう（銃） – 3文字
ひょう（表） – 3文字
ぎゃく（逆） – 3文字
しゅみ（趣味） – 3文字
きょう（今日） – 3文字
りゅう（竜） – 3文字
しょどう（書道） – 4文字
びょういん（病院） – 5文字
じゃんけん – 5文字
じょうほう（情報） – 4文字
りゃくご（略語） – 4文字
正答率は100％ 改善されたのか？
ChatGPT-4（レガシーモデル）にも聞いてみた。
それらの単語は、それぞれ何文字で構成されていますか
きゃく – 2文字 ×
しゃしん – 4文字
きゅうり – 4文字
りゃく – 2文字 ×
じゅう – 2文字 ×
ひょう – 2文字 ×
ぎゃく – 2文字 ×
しゅみ – 3文字
きょう – 3文字
りゅう – 3文字
しょどう – 4文字
びょういん – 5文字
じゃんけん – 5文字
じょうほう – 5文字
りゃくご – 4文字
正答率は約66％
ひらがなの扱いは改善されているが、まだ、信用しきれない。
（参考）
Claude 3.5 Sonnetでも試した。
きつつき × すすき (つ) ×
かささぎ × ささら (さ)
ふすま × すずむし (す)
つづみ × まんまる (ま) ×
はばたき × こころ (こ) ×
つばめ × もも (も) ×
ささ × すいとう (す) ×
ひひいろざる × こころ (ろ)
きつつき × つばめ (つ)
すすき × ささ (さ) ×