AIを使いこなすにはAIの成果物を評価できる力が必要というジレンマ

こんにちは。メディカルライター＆医師のYukaです。

Late adopterの私もようやく、ChatGPTを使ってどんなことができるか、少しずつ試し始めました。

いまはメディカルライターの仕事以外に内科外来で診療もしているのですが、患者さんを英語で診療する機会に備えて、ChatGPTに医者と患者の会話を作ってもらうことにしました。

プロンプトはこのような感じです。括弧の中を変えることで、いろいろなシチュエーションに対応できるようにしました。

Could you make a dialogue example with a doctor and a patient? The patient has [a sore throat and a fever]. The doctor wants to first [conduct a physical examination of the throat and neck lymph nodes], then [conduct a rapid antigen test], and lastly [prescribe medication].

同じプロンプトを使っても、ChatGPTはその時々で違うダイアログを出力するのですが、どれも自然な会話で、実際に使えそうな言い回しもたくさんありました。

一方で、どういう薬を処方するのか、どういう理由でその薬を処方するのかなど、ダイアログの内容自体が医学的に正しくないことも多かったです。アメリカでは普通でも、日本の状況には合っていないこともあります。そのため、医学の知識や日本の文化を理解している人でないと、ChatGPTが出力したダイアログの善し悪しを判断して、その一部のみを採用したり、間違っている部分を変更したりすることができません。

これはChatGPTを使って日本語から英語への翻訳や英文校正をする際にも言えることで、どういう英文が読みやすいのかを評価できるぐらいの英語力を持つ人にしか、ChatGPTが出力した英文を評価することができません。

こう考えると、「だれにでも〇〇できるプロンプト」があったとしても、それを実際に使いこなせるのは、ある程度の知識があり、成果物の善し悪しを評価できる人だけなのかもしれません。ChatGPTは何でも嫌がらずに引き受けてくれる部下のような存在ですが、適切なフィードバックを与え、成果物の責任を最終的に取れる上司でなければ、部下をうまく使いこなすこともできません。

そういうわけで、今のところ私がChatGPTを使うのは、アイデアがほしい場面だけです。

面倒な仕事がある場合は、ChatGPTにやらせる方法を考える前に、その仕事をやらずにすむ方法がないかをまず考えることにしています。