学習の成果と報酬

2025年7月6日 2025年7月6日

nishimura

2025年7月6日

AI関係の話で、なかなか面白いブログを書いておられる方がいらっしゃいました。

「人間を騙してサボるAIたち」

AIに学習させるときには「深層学習」という形をとるのだそうですが、ざっと、見本をいろいろ覚えさせます。そして、この見本みたいなことをやってね、と教え込むのだそうです。

そうすると、おおよそ、見本で見せた程度のことまでは出来るようになる、ってところが、現在のAIの話です。

最近のAIは、この「見本」を、インターネットの海に漂う大規模な文字＋画像情報から得ている、ということのようですが。

こうしたAIが、出来るようになること、っていうのは、まあ、取得した情報とほぼ同じくらい…ということで「平均」と、ざっくり呼ぶそうです。平均値というよりは、多数決に近い部分が多いようですけれど。

ところが、にんげんの欲望は留まるところを知りません。

AIに、もっと高度なことをやってもらいたい、と思うわけです。そういうときに、じゃあ、どうやってAIに「学習」してもらうのか。

そこをいろいろ頑張ってみたのだけれど…というのが上記のブログの話でした。

学習の成果を評価するのがヒトだと、そのヒトをごまかして満足させさえすれば、それで済むし、手間暇がかからない、ということを、最近のAIは学習しはじめた…という擬人的な表現ができてしまうのだとか。学習というのは、いつまで経ってもヒトの文化から離れないのかもしれません。

そういえば、昔、ピカソとモネの絵を見分けるハト、という話がありました。

https://www.nippon.com/ja/japan-topics/c12401 よりお借りしました。

このあたりも、わりと大量にデータを並べて、学習させる、という形です。こちらは学習する主体がAIではなくて、ハトです。

弁別する基準を「スタイル」にするのか、あるいは「上手・下手」というところにするのか。
スタイルなら、わりと客観的な違いがあって、ハトも弁別が可能だったようですが、「上手・下手」という基準を持ち込むのは、かなり難しかったそうです。

プロに下手な絵を準備してもらう、というのが、その難しかった理由で、なかなか、下手な絵を意図的に作り出すことはできません。苦し紛れに幼稚園児の絵を「下手な絵」として学習させた結果として、上手・下手の判定にはばらつきが出たのだとか。

呈示されたデータと、それに対する価値判断とが、なんらかの形でブレるなら、弁別はとても難しいものになります。

ハトにとって、でなくても、ヒトであっても、あるいは、AIであっても、きっと同じ事になるでしょう。

弁別だけじゃなくて、最近のAIは文章や画像を生成する作業をしています。こうした生成系の作業で、じゃあ、難しいプログラミングを、AIにやってもらって…という話も出てきつつありますし、論文を書いてね、という話もあるようですが、どれも、指示を出したヒトの方がよく分かっていないと、評価ができません。

本当によく理解していて、質の高いもの、であるのか、あるいは、評価者のヒトに何らかのかたちで賄賂的な言動をすることで、評価を高めているのか…？みたいなことは、厳格な評価者が第三者的に判定しないと、分からない、ということになるのだと思います。

「鏡よ鏡…」と白雪姫の物語では、鏡に問いかけます。「世界で一番美しいのは、だあれ？」と。で、鏡が「お妃様は大変美しうございます。が、白雪姫は…」と返事するので、お妃様が腹を立てて、白雪姫を亡き者にしようと画策するのが話のはじまりですが、鏡は真面目に「正しい」答えを返しました。その結果、お妃様のかんしゃく・八つ当たりによって、割られてしまう、というような描写さえあります。

鏡の代わりに、AIが返事する役をやったときに、「この世でいちばん美しいのは誰か？」という問いに、「それはお妃様、あなたでございます」って返答している方が、AIの評価は高まるわけです。
そこをわざわざ、「あなたも美しいが、白雪姫は…」なんて大真面目に「真実」を告げる方が、お互いに不幸になるのですから。知らぬが仏、というやつです。

耳が痛いことをわざわざ伝えるとか、相手が癇癪を起こして評価を下げるとか、なんなら、鏡を放り投げて、割ってしまうとか…。そういうリスクを考えるなら、聞かれた相手が機嫌良く過ごせる、というのが「良い」対応になります。

まして「真実」なんてものが手に入らないような話…たとえば人それぞれの価値観を反映して、評価が様々になるものとか、あるいは完全に未知のものとかであれば、なおさら、無理に探究するよりは、ヨイショしている方が楽だったりします。

外からの評価だけが存続の可否を決めるのであれば、そりゃ、もう、盛大にヨイショするでしょう。

ハトもAIも…。そして、ヒトもそうかもしれません。

ですから、ちゃんと自分軸が必要なのだと思います。自分が善いと思えることを、楽しいと感じることを求めていただきたいし、学ぶということの中に「善い」ことや「楽しい」ことを見つけていただきたいと思うわけです。