هوش مصنوعی در حال دگرگونی فرآیند داوری همتا است و بسیاری از دانشمندان نگرانند

در فوریه امسال، تیموت پوآزو، اکولوژیست، هنگام مطالعه نظرات داوران مقاله ارسالی خود برای انتشار، متوجه نکته عجیبی شد. یکی از گزارش‌های داوران به نظر می‌رسید با کمک هوش مصنوعی یا حتی به طور کامل توسط آن نوشته شده باشد. این گزارش حاوی جمله آشکاری بود: «این نسخه اصلاح‌شده از بررسی شما با وضوح و ساختار بهتر است» – نشانه‌ای بارز از تولید متن توسط مدل‌های زبانی بزرگ (LLM).

پوآزو که در دانشگاه مونترال کانادا کار می‌کند، هنوز سوءظن خود را به سردبیر مجله اطلاع نداده است. او درخواست کرد نام مجله‌ای که استفاده از LLM در داوری را ممنوع کرده، در این مقاله فاش نشود. اما او در پستی وبلاگی درباره این اتفاق، به شدت با داوری خودکار مخالفت کرد: «من مقاله‌ام را برای داوری ارسال می‌کنم تا نظرات همتایانم را دریافت کنم. اگر این فرض برآورده نشود، کل قرارداد اجتماعی داوری همتا از بین می‌رود.»

امروزه سیستم‌های هوش مصنوعی در حال دگرگونی فرآیند داوری هستند – گاهی با تشویق ناشران و گاهی در نقض قوانین آنها. ناشران و محققان به طور یکسان در حال آزمایش محصولات هوش مصنوعی برای شناسایی خطاهای متنی، داده‌ها، کدها و مراجع مقالات، هدایت داوران به سمت بازخوردهای سازنده‌تر و اصلاح نوشته‌هایشان هستند. برخی وبسایت‌های جدید حتی با یک کلیک، بررسی‌های کامل تولیدشده توسط هوش مصنوعی را ارائه می‌دهند.

اما همراه با این نوآوری‌ها، نگرانی‌هایی نیز مطرح شده است. اگرچه محصولات فعلی هوش مصنوعی در نقش دستیار ظاهر می‌شوند، اما ممکن است روزی بر فرآیند داوری مسلط شوند و نقش داوران انسانی را کمرنگ یا حذف کنند. برخی مشتاقان، خودکارسازی داوری را اجتناب‌ناپذیر می‌دانند، اما بسیاری از پژوهشگران مانند پوآزو و همچنین ناشران مجلات، آن را فاجعه‌بار می‌پندارند.

ویراستار دیگر من هوش مصنوعی است
حتی پیش از ظهور ChatGPT و دیگر ابزارهای مبتنی بر LLM، ناشران بیش از پنج سال بود که از برنامه‌های هوش مصنوعی برای تسهیل فرآیند داوری استفاده می‌کردند – از جمله برای بررسی آمار، خلاصه‌سازی یافته‌ها و تسهیل انتخاب داوران. اما ظهور مدل‌های زبانی بزرگ که قادر به تقلید نوشتار روان انسانی هستند، بازی را تغییر داده است.

در نظرسنجی وایلی (ناشر مستقر در هوبوکن، نیوجرسی) از حدود ۵۰۰۰ محقق، حدود ۱۹٪ admitted به استفاده از LLM برای «افزایش سرعت و سهولت» داوری خود اعتراف کردند. البته این نظرسنجی تفاوتی بین استفاده از LLM برای اصلاح نوشته و وابستگی کامل به هوش مصنوعی برای تولید بررسی قائل نشده بود.

مطالعه‌ای بر گزارش‌های داوری مقالات ارسال‌شده به کنفرانس‌های هوش مصنوعی در سال‌های ۲۰۲۳ و ۲۰۲۴ نشان داد که ۷ تا ۱۷٪ از این گزارش‌ها حاوی نشانه‌هایی از «تغییرات اساسی» توسط LLM بودند – فراتر از تصحیح غلط‌های املایی یا به‌روزرسانی‌های جزئی.

محدودیت‌های فعلی و نگرانی‌ها
بسیاری از تأمین‌کنندگان مالی و ناشران فعلاً استفاده از هوش مصنوعی توسط داوران مقالات یا پروپوزال‌ها را ممنوع کرده‌اند، با این استدلال که بارگذاری مطالب محرمانه در وبسایت‌های چت‌بات‌ها ممکن است به افشای اطلاعات منجر شود. با این حال، سباستیان پورسدام مان از دانشگاه کپنهاگ خاطرنشان می‌کند که اگر محققان مدل‌های زبانی را به صورت آفلاین روی رایانه‌های شخصی خود اجرا کنند، داده‌ها به فضای ابری بازگردانده نمی‌شوند.

در ستونی در مجله Nature، دریتون گرودا (پژوهشگر رفتار سازمانی در دانشگاه کاتولیک لیسبون) نوشت که استفاده از LLMهای آفلاین برای بازنویسی یادداشت‌ها می‌تواند فرآیند نوشتن بررسی‌ها را تسریع و بهبود بخشد، مشروط بر اینکه این مدل‌ها «به جای شما یک بررسی کامل تولید نکنند».

اما کارل برگستروم، زیست‌شناس تکاملی دانشگاه واشنگتن، هشدار می‌دهد که «خلاصه‌کردن یادداشت‌های سطحی توسط یک LLM به هیچ‌وجه معادل نوشتن یک داوری مناسب نیست». اگر داوران شروع به اتکای بیش از حد به هوش مصنوعی کنند، ممکن است تحلیل‌های سطحی ارائه دهند: «نوشتن، همان اندیشیدن است.»

مقایسه داوری انسان و هوش مصنوعی
برخی مطالعات نشان می‌دهند که در بسیاری موارد، شکاف بین انسان و مدل‌های زبانی چندان بزرگ نیست. در پژوهشی که بیش از ۳۰۰ زیست‌شناس محاسباتی و پژوهشگر هوش مصنوعی آمریکایی را مورد بررسی قرار داد، حدود ۴۰٪ از پاسخ‌دهندگان اعلام کردند که بررسی‌های تولیدشده توسط GPT-4 (یکی از پیشرفته‌ترین مدل‌های زبانی در آن زمان) یا مفیدتر از داوری انسان بوده یا دست‌کم هم‌تراز آن بوده است.

فراتر از ویرایش: ابزارهای پیشرفته‌تر
تیم جیمز زو (زیست‌شناس محاسباتی دانشگاه استنفورد) در حال توسعه یک «عامل بازخورد» برای داوران است که گزارش‌های داوری را بر اساس فهرستی از مشکلات رایج (مانند بازخوردهای مبهم یا نامناسب) ارزیابی و راهکارهایی برای بهبود نظرات ارائه می‌دهد.

در نمایشگاه نوآوری ناشران در لندن (دسامبر ۲۰۲۳)، بسیاری از توسعه‌دهندگان، محصولاتی فراتر از ویرایش ساده را معرفی کردند. برای مثال، ابزار «الیزا» از شرکت World Brain Scholar (مستقر در آمستردام) می‌تواند بازخورد داوران را بهبود بخشد، منابع مرتبط را پیشنهاد دهد و نظرات به زبان‌های دیگر را به انگلیسی ترجمه کند.

شرکت‌های دیگری مانند Enago و Charlesworth نیز ابزار «دستیار داوری» را توسعه داده‌اند که ابتدا بر اساس پرسش‌های ساختاریافته درباره مقاله عمل می‌کرد، اما پس از گفت‌وگو با ناشران، یک حالت «انسان‌محور» نیز به آن افزوده شد.

آینده داوری همتا: تعادل یا جایگزینی؟
برخی استارتاپ‌ها مانند Grounded AI (مستقر در استیونج بریتانیا) ابزارهایی مانند «Veracity» را طراحی کرده‌اند که وجود مقالات استنادشده را بررسی و تحلیل می‌کند که آیا این منابع ادعاهای نویسنده را پشتیبانی می‌کنند یا خیر.

از سوی دیگر، AIP Publishing (وابسته به مؤسسه فیزیک آمریکا) در حال آزمایش نرم‌افزار «Alchemist Review» در دو مجله است. آن مایکل، مدیر ارشد تحول این ناشر، تأکید می‌کند که هدف، استفاده مسئولانه از هوش مصنوعی پیش از داوری انسانی است، نه جایگزینی کامل آن.

با وجود هیاهوی فعلی، بسیاری از ناشران بزرگ مانند وایلی ترجیح می‌دهند جزئیات پروژه‌های داخلی خود در زمینه هوش مصنوعی را فاش نکنند. به نظر می‌رسد جامعه علمی در آستانه تحولی بزرگ قرار دارد – تحولی که می‌تواند کیفیت داوری را بهبود بخشد، اما در عین حال، ماهیت ارتباط علمی را به طور اساسی تغییر دهد.