چرا آشکارساز هوش مصنوعی مدرک نیست
قانون اساسی آمریکا مصوب ۱۷۸۷ را در یک آشکارساز هوش مصنوعی وارد کن؛ به احتمال زیاد به تو میگوید: نوشتهٔ یک هوش مصنوعی. متنی که ۲۳۶ سال پیش از ChatGPT نوشته شده است.
این یک مورد استثنایی و گزینششده نیست، بلکه یک آزمایش تمیز است: بنیانگذار GPTZero، ادوارد تیان (Edward Tian)، خودش دلیل آن را توضیح داده — قانون اساسی متنی است که بارها و بارها به همان مدلهای زبانی خورانده شده. آشکارساز دقیقاً همان چیزی را در آن تشخیص میدهد که در هوش مصنوعی واقعی هم تشخیص میدهد. فقط اینبار بهاشتباه.
و دقیقاً همینجاست که مشکل نهفته است. یک آشکارساز هوش مصنوعی این را نمیسنجد که آیا متنی از هوش مصنوعی آمده یا نه. او چیز دیگری را میسنجد — و آن را با منشأ هوش مصنوعی اشتباه میگیرد.
یک آشکارساز واقعاً چه چیزی را میسنجد
یک اسکنر سرقت ادبی منبع اصلی را کنار متن تو میگذارد. میتوانی نگاه کنی: این پاراگراف کپیشده است، آن یکی منبع اصلی. این چیزی است که میشود بررسی و رد کرد.
یک آشکارساز هوش مصنوعی نمیتواند این کار را بکند. او هیچ منبعی ندارد. او میسنجد که یک متن چقدر قابلپیشبینی است — در اصطلاح تخصصی: perplexity (سرگشتگی). مدلهای زبانی دنبالههای محتمل، روان و قابلانتظار از کلمات تولید میکنند. پس عکس آن بهعنوان مظنون تلقی میشود: هرکس روان و قابلپیشبینی بنویسد، از نگاه آشکارساز شبیه یک ماشین به نظر میرسد.
همهٔ ترفند همین است. و همهٔ اشتباه هم همین.
چون چه کسانی روان و قابلپیشبینی مینویسند؟ نه فقط هوش مصنوعی. آدمهایی هم که یک زبان خارجی یاد گرفتهاند و به عبارتهای استاندارد و ایمن پناه میبرند. آدمهایی که ساده و روشن مینویسند. برخی نویسندگان نورودایورجنت (neurodivergent). آشکارساز نمیتواند این آدمها را از یک هوش مصنوعی تشخیص دهد، چون او هرگز دنبال هوش مصنوعی نگشته — فقط دنبال روانیِ متن بوده.
مدرکی که نشان میدهد ماجرا به زبان مربوط است، نه به هوش مصنوعی
پژوهشی از دانشگاه استنفورد (Liang et al.، منتشرشده در Patterns از Cell Press، ۱۰ ژوئیه ۲۰۲۳) هفت آشکارساز تجاری را روی متنهای واقعی و تضمینشده انسانی آزموده است.
در انشاهای دانشآموزان پایهٔ هشتم آمریکا، نرخ خطا نزدیک صفر بود. اما در انشاهای TOEFL — نوشتهٔ کسانی که انگلیسی برایشان زبان خارجی است — همان آشکارسازها بهطور میانگین ۶۱.۲۲٪ را بهاشتباه هوش مصنوعی طبقهبندی کردند. تقریباً ۹۸٪ از انشاها دستکم با یک ابزار علامتگذاری شدند، و یکی از هر پنج مورد بهاتفاق آرا با هر هفت ابزار.
بعد بخشی میرسد که همهچیز را توضیح میدهد. پژوهشگران گذاشتند GPT-4 انشاهای TOEFL را از نظر زبانی صیقل بدهد — واژگان سطح بالاتر، نه چیز دیگری. طبقهبندی نادرست بهعنوان هوش مصنوعی از ۶۱.۲۲٪ به ۱۱.۷۷٪ افت کرد.
همان محتوا، همان آدمها، همان آشکارسازها. فقط زبانی غنیتر. اگر یک واژگان بهتر بتواند یک «متن هوش مصنوعی» را به «متن انسانی» تبدیل کند، پس آشکارساز هوش مصنوعی را نمیسنجد. او سطح زبان را میسنجد. و سطح پایینتر را تنبیه میکند.
وقتی چند ابزار را کنار هم آزمایش میکنی چه اتفاقی میافتد
گستردهترین پژوهش مستقل تا امروز از آنِ Weber-Wulff، Anohina-Naumeca، Foltýnek و همکاران است (International Journal for Educational Integrity شمارهٔ ۱۹:۲۶، داوریشده، ۲۵ دسامبر ۲۰۲۳). آنها ۱۴ آشکارساز را روی ۵۴ سند با منشأ مشخص آزمودند — ۷۵۶ آزمون جداگانه.
نتیجه: هیچ ابزاری به دقت ۸۰٪ نرسید، فقط پنج مورد از ۷۰٪ گذشتند. نرخهای مثبت کاذب از ۰٪ (Turnitin در این آزمون) تا ۵۰٪ (GPTZero در این آزمون) متغیر بود. حدود ۲۰٪ از متنهای واقعاً تولیدشده توسط هوش مصنوعی به انسان نسبت داده شدند — و پس از ویرایشی سبک، حتی نیمی از آنها.
نویسندگان مینویسند که این سیستمها «برای استفادهٔ دانشگاهی مناسب نیستند». و آنها هستهٔ اصلی ماجرا را نام میبرند: برخلاف اسکنر سرقت ادبی، هیچ منبع اصلیای در کار نیست. دانشجویی که تنها بر همین اساس متهم شود، «هیچ امکانی برای دفاع» نخواهد داشت — در متن اصلی: no possibility for a defence.
نمیشود چیزی را رد کرد که اصلاً اثبات نشده است.
صادقترین شاهد: خودِ OpenAI
اگر قرار باشد کسی بتواند متن هوش مصنوعی را تشخیص دهد، آن کس باید سازندهٔ ChatGPT باشد. OpenAI این کار را امتحان کرد — با یک «AI Text Classifier» اختصاصی، که در ژانویهٔ ۲۰۲۳ منتشر شد.
پس از کمتر از شش ماه، OpenAI آن را دوباره از دسترس خارج کرد. در یادداشت بهروزرسانی خودشان دلیل آن آمده: due to its low rate of accuracy — بهخاطر دقت پایین. این ابزار فقط ۲۶٪ از متنهای هوش مصنوعی را تشخیص میداد و ۹٪ از متنهای انسانی را بهاشتباه هوش مصنوعی طبقهبندی میکرد. برای متنهای کوتاه زیر ۱٬۰۰۰ نویسه، به گفتهٔ خودشان، «بسیار غیرقابلاعتماد» بود.
سازندهای که خودش این مدل را ساخته بود، نتوانست خروجی آن را با اطمینان تشخیص دهد — و آنقدر صادق بود که محصول را پس بگیرد.
چیزی که خودِ ارائهدهندگان در ریزخطها مینویسند
روشنگرترین چیز نه در متنهای بازاریابی، بلکه در بخش پرسشهای متداول (FAQ) نوشته شده است.
Turnitin، پیشتاز بازار در حوزهٔ آموزش، نرخ مثبت کاذب در سطح کل سند را «کمتر از ۱٪» اعلام میکند. اگر بیشتر بخوانی، این عدد فقط برای اسنادی صدق میکند که بیش از ۲۰٪ محتوای هوش مصنوعی دارند؛ در سطح جمله، این نرخ حدود ۴٪ است؛ زیر ۲۰٪ ابزار اصلاً هیچ عددی نشان نمیدهد، فقط یک ستاره. و خودِ Turnitin مینویسد نتیجه نباید «تنها مبنای یک اقدام» باشد.
GPTZero در FAQ خودش مینویسد که نتایجش «نباید برای تنبیه دانشآموزان به کار روند» — these results should not be used to punish students. و: مجموعهدادهٔ آموزشی آن عمدتاً از نثر انگلیسیِ نویسندگان بزرگسال تشکیل شده است. دقیقاً همین سوگیری (bias) را توضیح میدهد.
این خط اصلی ماجراست: خودِ ارائهدهندگان نسبت به دقیقاً همان کاربردی هشدار میدهند — تنبیه بر مبنای ظن — که معلمان این ابزارها را برایش به کار میبرند.
از باب انصاف، یک مدرک مخالف هم هست و باید گفته شود: Turnitin پژوهش اختصاصی خودش را منتشر کرده (۲۶ اکتبر ۲۰۲۳) که طبق آن از ۳۰۰ کلمه به بالا هیچ آسیب آماری معناداری برای زبانآموزان انگلیسی وجود ندارد. این فقط بخشی از یافتهٔ استنفورد را رد میکند — برای متنهای بلند. برای متنهای کوتاه، خودِ Turnitin هم به نرخ خطای بالاتر اعتراف میکند. و این یک شاهد در پروندهٔ خودش است. تکالیف کوتاه، خلاصهها، پاسخهای دوپاراگرافی زندگی روزمرهٔ دانشگاهی هستند — دقیقاً همانجایی که این اعداد بدترین حالت را دارند.
چرا یک درصد کوچک هم میتواند خطرناک باشد
«کمتر از ۱٪» آرامشبخش به نظر میرسد. حالا آن را بزرگمقیاس کن.
دانشگاه Vanderbilt در سال ۲۰۲۲ حدود ۷۵٬۰۰۰ مقاله ثبت کرد. طبق محاسبه — نه اندازهگیری واقعی — همان «کمتر از ۱٪» خودِ Turnitin از این تعداد چیزی حدود ۷۵۰ مورد را نتیجه میدهد که در آن یک انسان بهاشتباه علامتگذاری میشود. اینکه آیا این موارد واقعاً رخ دادهاند یا نه، محاسبه چیزی نمیگوید. اما Vanderbilt نتیجهگیری کرد و در ۱۶ اوت ۲۰۲۳ آشکارساز را خاموش کرد، با این استدلال که نرمافزار تشخیص هوش مصنوعی را ابزاری مؤثر برای استفاده نمیداند.
در مقیاس انبوه، یک نرخ خطای پایین عدد کوچکی نیست. عددی سهرقمی از اتهامها در سال است — و پشت هر کدام یک انسان است که هیچ کاری نکرده.
و وضعیت حقوقی در آلمان چیست؟
مهمترین نکته را اول بگویم، چیزی که در کمتر خلاصهای میآید: در آلمان بار اثبات بر عهدهٔ دانشگاه است. این نهاد برگزارکنندهٔ امتحان است که باید تقلب را ثابت کند — و هم تقلب و هم مجازات آن باید از پیش در آییننامهٔ امتحان مشخص شده باشند. یک امتیاز آشکارساز این بار اثبات را جابهجا نمیکند.
تازهترین رأی از دادگاه اداری کاسل (Verwaltungsgericht Kassel، ۲۵ فوریه ۲۰۲۶، پروندهٔ شمارهٔ 7 K 2134/24.KS و 7 K 2515/25.KS) صادر شده است. دادگاه مجازاتها بهخاطر استفاده از هوش مصنوعی را تأیید کرد — اما بهصراحت نه بر اساس یک آشکارساز، بلکه بر مبنای شواهدی قابلبررسی توسط انسان: تفاوت چشمگیر میان عملکرد کتبی و شفاهی، تکرار بیشازحد عبارتهای قالبی. این آرا هنوز قطعی نشدهاند (تا تاریخ ۲۴ ژوئیه ۲۰۲۶)؛ اینکه آیا دادگاهی بالاتر آنها را تأیید خواهد کرد یا نه، هنوز روشن نیست.
یک راهنمای کاربردی از Digitale Lehre Hub Niedersachsen (Baresel, Horn & Schorer، تا تاریخ ۲۴ فوریهٔ ۲۰۲۵) دانشگاهها را از استفاده از آشکارسازهای هوش مصنوعی برحذر میدارد. استدلالهای آنها: دادههای شخصی امتحان (مادهٔ ۶ GDPR)، ممنوعیت تصمیمگیری کاملاً خودکار (مادهٔ ۲۲ GDPR)، و امکان طبقهبندی بهعنوان هوش مصنوعی پرریسک طبق EU AI Act. در دعاوی فوری دادگاه اداری مونیخ که در این سند به آنها اشاره شده، نتایج آشکارساز هر بار فقط یک قرینه به حساب آمدهاند، هرگز یک مدرک قطعی.
برخی دانشگاههای آلمانی روشنترین نتیجه را از این گرفتهاند و آگاهانه اصلاً هیچ آشکارساز هوش مصنوعیای در اختیار نمیگذارند — بهعنوان یک خطمشی رسمی، نه صرفاً نظر یک فرد.
اگر یک آشکارساز بهناحق تو را علامتگذاری کرد چه میتوانی بکنی
این متن یک تحلیل روزنامهنگارانه است، نه مشاورهٔ حقوقی برای پروندهٔ مشخص تو — برای آن به کسی نیاز داری که پرونده را میشناسد. اما میشود گفت واقعیتهای مستند و راهنماهای ذکرشده در چه جهتی اشاره میکنند:
خودِ امتیاز بهتنهایی مدرک نیست. او فقط یک احتمال را بیان میکند، نه یک منبع قابلبررسی. دربارهٔ مبنای آن بپرس: کدام ابزار، کدام نسخه، کدام عدد، در برابر چه چیزی اندازهگیری شده؟ یک «امتیاز بالای هوش مصنوعی» بدون این اطلاعات، اثبات نیست، فقط یک ادعاست.
روند شکلگیری کارت را نشان بده. این قویترین ضدمدرکی است که یک آشکارساز دقیقاً نمیتواند ارائه دهد: تاریخچهٔ نسخههای سند تو (Google Docs، Word، هر فضای ابری آن را ذخیره میکند)، پیشنویسها، یادداشتها، تبهای تحقیق، منابع. یک فرآیند نوشتن واقعی ردپا برجا میگذارد. یک احتمال چنین کاری نمیکند.
اگر سوگیری به تو مربوط است، آن را نام ببر. اگر آلمانی — یا انگلیسی — زبان مادری تو نیست، پژوهش استنفورد منبع توست: همان ابزارهایی که بومیزبانها را تقریباً بدون خطا رد میکنند، غیر بومیزبانها را بهشکل انبوه علامتگذاری میکنند. این نشانهٔ ظن علیه تو نیست، بلکه یک نقص طراحی شناختهشده و اندازهگیریشده در خودِ ابزارهاست.
بار اثبات را بشناس. در آلمان این دانشگاه است که باید تقلب را ثابت کند، نه تو که باید بیگناهیات را ثابت کنی. در شرایط جدی، این موضوع باید به دست مشاور حقوقی دانشگاهت، یک وکیل متخصص، یا مسئول حفاظت از دادهها سپرده شود.
نکتهٔ منصفانه در طرف مقابل
برای اینکه این متن به یک یکسویهنگری راحت تبدیل نشود: دو چیز وجود دارد که به نفع آشکارسازها صحبت میکند — و باید هر دو را گفت.
اول اینکه انسانها در تشخیص متن هوش مصنوعی حتی بدتر عمل میکنند. یک پژوهش دربارهٔ نوشتار علمی (Cheng et al.، ۲۰۲۵) نشان داد که داوران انسانی در سطح ۱۹٪ بودند — سطح تصادفی. آشکارسازها بهروشنی از آنها بهتر عمل کردند. فقط همان پژوهش همزمان نرخ مثبت کاذب ۷۲.۲٪ را در متنهای کاملاً انسانی اندازه گرفت. «بهتر از انسانها در تشخیص» و «نامناسب بهعنوان مدرک» اصلاً یکدیگر را نقض نمیکنند.
دوم: تشخیص در منبع واقعاً کار میکند. Google DeepMind در مجلهٔ Nature (۲۳ اکتبر ۲۰۲۴) یک واترمارک متنی (SynthID-Text) نشان داد که خروجیهای هوش مصنوعی را با اطمینان علامتگذاری میکند، بدون اینکه کیفیت متن بهشکل قابلسنجش پایین بیاید — آزمودهشده روی حدود ۲۰ میلیون پاسخ Gemini. تفاوت اینجا تعیینکننده است: سیگنال هنگام تولید درون متن گنجانده میشود، نه اینکه بعداً حدس زده شود. دقیقاً به همین دلیل مقررات هم روی همین شرطبندی میکنند: از ۲ اوت ۲۰۲۶، مادهٔ ۵۰ قانون هوش مصنوعی اتحادیهٔ اروپا (EU AI Act، طبق FAQ کمیسیون اروپا) ارائهدهندگان هوش مصنوعی مولد را ملزم میکند خروجیهایشان را بهشکل قابلخواندن برای ماشین علامتگذاری کنند — با یک دورهٔ گذار برای سیستمهای موجود تا ۲ دسامبر ۲۰۲۶. (این وضعیت حقوقی طبق منبع اصلی است، نه مشاورهٔ حقوقی؛ وضعیت را در تاریخ خواندنِ خودت بررسی کن.)
پس راه پیش رو، علامتگذاری در منبع است، نه حدسزدن روی نتیجهٔ نهایی. اینکه سیاستگذاران این راه را انتخاب میکنند، خودش یک اعتراف آرام است: آشکارساز پسینی مشکل را حل نمیکند.
یک جمله برای بهخاطر سپردن
یک آشکارساز هوش مصنوعی بهانهای برای گفتوگوست، نه یک رأی دادگاه. او میتواند یک سؤال را برانگیزد — «برایم بگو این متن چطور نوشته شده». اما هرگز نباید حرف آخر را بزند. نه چون این موضع خوبی است، بلکه چون از نظر فنی کار دیگری از دستش برنمیآید: او روانیِ متن را میسنجد، یک احتمال اعلام میکند و هیچ منبعی کنارش نمیگذارد. هرکس نمره یا اتهامی را بر همین اساس بنا کند، یک حدس را با یک مدرک اشتباه گرفته است.
و قانون اساسی ۱۷۸۷ چنین چیزی نبود.
منابع
همه در تاریخ ۲۴ ژوئیه ۲۰۲۶ بررسی شدهاند. اعداد مربوط به تاریخ اندازهگیریِ ذکرشده هستند؛ مقادیر آشکارسازها و وضعیت حقوقی ممکن است از آن زمان تغییر کرده باشند.
- GPT detectors are biased against non-native English writers — Liang et al.، Stanford، Patterns (Cell Press)، ۱۰ ژوئیه ۲۰۲۳
- Testing of detection tools for AI-generated text — Weber-Wulff et al.، Int. J. for Educational Integrity ۱۹:۲۶، ۲۵ دسامبر ۲۰۲۳
- New AI classifier for indicating AI-written text — OpenAI، بهروزرسانی خاموشسازی، ۲۰ ژوئیه ۲۰۲۳
- AI writing detection capabilities FAQs — Turnitin
- FAQ — GPTZero
- Guidance on AI Detection and Why We’re Disabling Turnitin’s AI Detector — Vanderbilt University، ۱۶ اوت ۲۰۲۳
- نحوهٔ برخورد با هوش مصنوعی در امتحانات دانشجویی — دادگاه اداری کاسل، بیانیهٔ مطبوعاتی شمارهٔ ۴/۲۰۲۶ (آرای مورخ ۲۵ فوریهٔ ۲۰۲۶)
- استفاده از آشکارسازهای هوش مصنوعی برای بررسی آثار امتحانی — Baresel, Horn & Schorer، Digitale Lehre Hub Niedersachsen، ۲۴ فوریهٔ ۲۰۲۵
- Transparency obligations under Article 50 of the AI Act — کمیسیون اروپا (European Commission)
- Scalable watermarking for identifying large language model outputs — Dathathri, See et al.، Google DeepMind، Nature، ۲۳ اکتبر ۲۰۲۴
اگر چیزی در اینجا به نظرت قدیمی یا نادرست میرسد: به من پیام بده.
نظرات
برای نظر دادن، پسندیدن و ذخیره کردن وارد شوید. ورود →
هنوز نظری ثبت نشده است. اولین نفری باشید که نظر میدهد.