この問題は「人間が何を正解にするか」の問題なんですね。SFの話で恐縮ですがAIを扱った４０年前のSF、未来の二つの顔 (創元ＳＦ文庫) | ジェイムズ・Ｐ・ホーガン, 山高 昭 | 英米の小説・文芸 | Kindleストア | Amazon はAIが「効率的だが人命に危機が及ぶような解決法」を実行してしまうシーンから始まります。
だから「人間にはこの程度の結果を示しとけば十分とか考えだすようになるのでしょうか」という問いに対する答えも人間が何を正解と教えるか、で決まってしまいます。どんなときでもズルをせず、文字通りにやることが正解、と教えればそんな風には全然考えないでしょうし、ルールに反しても結果が良ければなんでもOKと教えればそうなるでしょう。
恐いのは「意図せずして多少ルールを破っていい」と教えてしまう場合です。例えば、過去の事務処理の事例を単に教師データとして与えた結果、人間が要領よく実害の無い範囲でルールを破って処理してしまっていると、AIも「この程度のルール破りはOKだ」と学んでしまい、人間ならやらないようとんでもないルール破りを伴う効率のよい方法を考えだしてしまうかもしれません。

なのでむしろ「人間にはこの程度の結果を示しとけば十分とか考えだすようになるのでしょうか」という問題は第一義的にまずは「あなたはどんなAIが欲しいですか？ガチガチのクソ真面目なAIがいいですか？それとも、要領よくいい結果を出すAIの方がいいですか？」という問題を解決しないと何も言えないですね。