【地味に時間かかる】JDLA Generative AI Test まとめ【多肢選択式のヤバさ】

私が行った対策
なんとなくヤバかった点
まとめ

私が行った対策

向き不向きはあると思うので、参考程度で見てください。
対策の流れとしては以下です。

GUGA 生成AIパスポート試験のテキストと問題集でおおざっぱに生成AIやそれにまつわる課題を認識
JDLA Generative AI Testのシラバスを元に語彙力を高める
自分で問題作って自分をだます。(GAN方式？)

生成AI関連の書籍は多いですが、
構造的に説明してくれているのはやはり生成AIパスポート試験のテキスト、問題集です。
当然、これで対策はできないのですが、大枠の知識は欲しいので、その部分をこれで実施してます。

大枠の知識が付いたところで、シラバスの用語に着目します。
生成AIパスポート試験の範囲で語られているものもあれば、そうでないものも多いです。
ここの知識の穴を埋めて語彙力を引き上げます。

と、ほとんどの人はここまでの対策で十分な気はします。
私の場合は、ここから少し踏む混んで、自分をだますための問題集を自作しました。

※ 問題集は公開してます。が、自己学習用の問題集のため、実際の検定の出題方針と一致している保証は全くありません。シラバスを元にしているので網羅性はあります。

GUGA生成パスポート試験の自作問題集もあるので、併用すると良いかも。

問題を解くというよりも、問題を作ることが重要で、
正解の選択肢は、正解な理由があって正解なのは当然のことながら、
不正解の選択肢も、不正解な理由が必要です。
これらを全て調べながら問題を作れば、これ以上の対策はないでしょう。(たぶん)

そして、自分をだますことを主眼に於いて作っていった結果として、気が付いてたら、ChatGPTやCopilotも騙せるレベルの問題に・・・。

ちなみに、ChatGPTやCopilotに誤答させるのは比較的簡単です。
単に「透明性」を聞くのではなく、「透明性」と「リスク」について聞くと、
現行のLLMの性質としては、「リスク」に重きを置いた回答をしやすいです。
これは至極真っ当な挙動で、多少無関係でもそこにリスクがあるならばリスクとすべし。
という反応です。
一般的な対応としては正しいでしょう。
しかし、試験問題の回答としては間違いになります。

という感じでLLMをだませるレベルに到達しましょー(ウソです。趣旨が変わりすぎ・・・。)

なんとなくヤバかった点

いろいろ対策はしましたが、やはり何がヤバいかと言うと、
「多肢選択式の問題が出てくる。」という事実が最もヤバいです。
択一式であれば、先頭の方に明らかな正解があれば、それでその問題は終了なのですが、
多肢選択式は、全ての選択肢の正否を判定する必要があります。
つまり、全選択肢を隈なく読んで、判定する必要があるのです。
これにより、1問あたりの浪費時間が増える傾向がありますし、
ちょっと勘違いしただけで誤答扱いです。

よって、多肢選択式は事前に慣らして、
問題や選択肢を読む速度をある程度鍛えておいた方が安全です。

あと、詳細な説明は避けますが、あまりカンペは機能しないと思った方が良いです。
少なくとも用語ベースのカンペはほぼ機能しません。
総合的な知識を元に取捨選択していく感じなので、この手の問題に有効なカンペというもの難しいでしょう。
カンペを作ってもOKだと思いますが、それは本番用のカンペではなく、
自分の頭の中の知識の地図を整理し描いたカンペであるべきでしょう。
(こんなカンペ作れたら、本番ではもうそれを見なくても解けちゃいそう・・・。)

まとめ

JDLA Generative AI Testの受験記。
- JDLAからの制約事項の都合、開示できる情報には限りがある。
テキスト、問題集は無いので、生成AIパスポート試験のもので代替。
- その後にシラバスを元に語彙力アップ。
- 自作問題作ってパワーアップ。(自作問題集は公開してます。)
用語ベースのカンペを作って対応できる感じではない。

AI白書