นักวิจัยได้ใช้การวิเคราะห์ข้อความแบบอัตโนมัติร่วมกับอีฟ “นักวิทยาศาสตร์หุ่นยนต์” เพื่อทำให้กระบวนการทำซ้ำผลการวิจัยเป็นแบบกึ่งอัตโนมัติ ปัญหาการขาดความสามารถในการทำซ้ำเป็นหนึ่งในวิกฤตการณ์ที่ใหญ่ที่สุดที่วิทยาศาสตร์สมัยใหม่เผชิญอยู่
ข้อดีอย่างหนึ่งของการใช้เครื่องจักรในการทำวิทยาศาสตร์คือ มีความแม่นยำและบันทึกรายละเอียดได้แม่นยำมากกว่าที่มนุษย์สามารถจะทำได้
รอส คิง
นักวิจัยนำโดยมหาวิทยาลัยเคมบริดจ์ วิเคราะห์งานวิจัยมากกว่า 12,000 ฉบับเกี่ยวกับชีววิทยาของเซลล์มะเร็งเต้านม หลังจากจำกัดขอบเขตให้แคบลงเหลือ 74 เอกสารที่มีความสนใจทางวิทยาศาสตร์สูง พบว่ามีเอกสารน้อยกว่าหนึ่งในสาม – 22 ฉบับที่ทำซ้ำได้ ในสองกรณี อีฟสามารถค้นพบได้โดยบังเอิญ
ผลลัพธ์ที่ รายงานในวารสาร Royal Society Interfaceแสดงให้เห็นว่าเป็นไปได้ที่จะใช้หุ่นยนต์และปัญญาประดิษฐ์เพื่อช่วยจัดการกับวิกฤตการทำซ้ำ
การทดลองที่ประสบความสำเร็จคือการทดลองที่นักวิทยาศาสตร์อีกคนหนึ่งซึ่งอยู่ในห้องปฏิบัติการที่แตกต่างกันภายใต้สภาวะที่คล้ายคลึงกัน สามารถบรรลุผลแบบเดียวกันได้ แต่นักวิจัยมากกว่า 70% ได้พยายามและล้มเหลวในการทำซ้ำการทดลองของนักวิทยาศาสตร์คนอื่น และมากกว่าครึ่งล้มเหลวในการทำซ้ำการทดลองของพวกเขาเอง นี่คือวิกฤตการทำซ้ำ
ศาสตราจารย์รอส คิง จากภาควิชาวิศวกรรมเคมีและเทคโนโลยีชีวภาพของเคมบริดจ์ ซึ่งเป็นผู้นำการวิจัยกล่าวว่า “วิทยาศาสตร์ที่ดีต้องอาศัยผลลัพธ์ที่ทำซ้ำได้ ไม่เช่นนั้น ผลลัพธ์จะไม่มีความหมายเลย “นี่เป็นสิ่งสำคัญอย่างยิ่งในชีวการแพทย์: ถ้าฉันเป็นผู้ป่วยและฉันอ่านเกี่ยวกับการรักษาที่เป็นไปได้ใหม่ที่มีแนวโน้ม แต่ผลลัพธ์ไม่สามารถทำซ้ำได้ ฉันจะรู้ได้อย่างไรว่าจะเชื่ออะไร ผลที่ตามมาอาจทำให้ผู้คนสูญเสียความไว้วางใจในวิทยาศาสตร์”
เมื่อหลายปีก่อน King ได้พัฒนานักวิทยาศาสตร์หุ่นยนต์ Eve ซึ่งเป็นระบบคอมพิวเตอร์/หุ่นยนต์ที่ใช้เทคนิคจากปัญญาประดิษฐ์ (AI) เพื่อทำการทดลองทางวิทยาศาสตร์
“ข้อดีอย่างหนึ่งที่สำคัญของการใช้เครื่องจักรในการทำวิทยาศาสตร์ก็คือ พวกมันมีความแม่นยำและบันทึกรายละเอียดได้มากกว่าที่มนุษย์สามารถทำได้” คิงกล่าว “สิ่งนี้ทำให้พวกเขาเหมาะสมกับงานที่พยายามทำซ้ำผลลัพธ์ทางวิทยาศาสตร์”
King และเพื่อนร่วมงานของเขาจากสหราชอาณาจักร สหรัฐอเมริกา และสวีเดน ซึ่งเป็นส่วนหนึ่งของโครงการที่ได้รับทุนสนับสนุนจาก DARPA ได้ออกแบบการทดลองที่ใช้ AI และหุ่นยนต์ร่วมกันเพื่อช่วยจัดการกับวิกฤตการทำซ้ำ โดยให้คอมพิวเตอร์อ่านเอกสารทางวิทยาศาสตร์และทำความเข้าใจกับสิ่งเหล่านี้ และ ทำให้อีฟพยายามทำซ้ำการทดลอง
สำหรับรายงานฉบับปัจจุบัน ทีมงานได้เน้นไปที่การวิจัยโรคมะเร็ง “วรรณกรรมเกี่ยวกับมะเร็งมีขนาดใหญ่มาก แต่ไม่มีใครทำแบบเดียวกันซ้ำสอง ทำให้การทำซ้ำเป็นปัญหาใหญ่” คิง ซึ่งดำรงตำแหน่งที่ Chalmers University of Technology ในสวีเดน กล่าว “ด้วยเงินจำนวนมหาศาลที่ใช้ไปกับการวิจัยโรคมะเร็ง และจำนวนผู้ที่ได้รับผลกระทบจากโรคมะเร็งทั่วโลก จึงเป็นพื้นที่ที่เราจำเป็นต้องปรับปรุงการทำซ้ำอย่างเร่งด่วน”
จากชุดเริ่มต้นของเอกสารทางวิทยาศาสตร์ที่ตีพิมพ์มากกว่า 12,000 ฉบับ นักวิจัยได้ใช้เทคนิคการทำเหมืองข้อความแบบอัตโนมัติเพื่อแยกข้อความที่เกี่ยวข้องกับการเปลี่ยนแปลงในการแสดงออกของยีนในการตอบสนองต่อการรักษาด้วยยาในมะเร็งเต้านม จากชุดนี้ ได้คัดเลือก 74 เล่ม
ทีมมนุษย์ที่แตกต่างกันสองทีมใช้อีฟและเซลล์มะเร็งเต้านมสองเซลล์และพยายามทำซ้ำผลลัพธ์ 74 รายการ พบหลักฐานที่มีนัยสำคัญทางสถิติสำหรับความสามารถในการทำซ้ำในเอกสาร 43 ฉบับ ซึ่งหมายความว่าผลลัพธ์สามารถจำลองได้ภายใต้เงื่อนไขที่เหมือนกัน และพบหลักฐานสำคัญสำหรับความสามารถในการทำซ้ำหรือความทนทานในเอกสาร 22 ฉบับ ซึ่งหมายความว่านักวิทยาศาสตร์หลายคนสามารถจำลองผลลัพธ์ได้ภายใต้เงื่อนไขที่คล้ายคลึงกัน ในสองกรณี ระบบอัตโนมัติทำให้เกิดการค้นพบโดยบังเอิญ
แม้ว่าจะพบว่าสามารถทำซ้ำได้เพียง 22 จาก 74 เอกสารในการทดลองนี้ นักวิจัยกล่าวว่านี่ไม่ได้หมายความว่าเอกสารที่เหลือจะไม่สามารถทำซ้ำได้ในทางวิทยาศาสตร์หรือมีประสิทธิภาพ “มีหลายสาเหตุที่ทำให้ผลลัพธ์บางอย่างไม่สามารถทำซ้ำได้ในห้องแล็บอื่น” คิงกล่าว “เซลล์ไลน์บางครั้งสามารถเปลี่ยนพฤติกรรมของพวกเขาในห้องปฏิบัติการที่แตกต่างกันภายใต้เงื่อนไขที่แตกต่างกันเป็นต้น ความแตกต่างที่สำคัญที่สุดที่เราพบคือว่าใครทำการทดลองนั้นสำคัญ เพราะแต่ละคนต่างกัน”
King กล่าวว่างานนี้แสดงให้เห็นว่าเทคนิคแบบอัตโนมัติและแบบกึ่งอัตโนมัติอาจเป็นเครื่องมือสำคัญที่จะช่วยจัดการกับวิกฤตการทำซ้ำได้ และการทำซ้ำนั้นควรกลายเป็นส่วนมาตรฐานของกระบวนการทางวิทยาศาสตร์
“เป็นเรื่องที่น่าตกใจมากที่ปัญหาด้านการทำซ้ำในทางวิทยาศาสตร์นั้นใหญ่เพียงใด และจำเป็นต้องมีการยกเครื่องใหม่ทั้งหมดในลักษณะที่วิทยาศาสตร์จำนวนมากทำสำเร็จ” คิงกล่าว “เราคิดว่าเครื่องจักรมีบทบาทสำคัญในการช่วยแก้ไข”
การวิจัยยังได้รับทุนจาก Engineering and Physical Sciences Research Council (EPSRC) ซึ่งเป็นส่วนหนึ่งของ UK Research and Innovation (UKRI) และ Wallenberg AI, Autonomous Systems and Software Program (WASP)
อ้างอิง:
Katherine Roper et al. ‘ การทดสอบความสามารถในการทำซ้ำและความคงทนของวรรณคดีชีววิทยามะเร็งโดยหุ่นยนต์ ‘ อินเทอร์เฟซของราชสมาคม (2022) ดอย: 10.1098/rsif.2021.0821
