สภาพแวดล้อมการใช้คอมพิวเตอร์นี้ทำให้เกิดความท้าทายอย่างมากสำหรับนักวิทยาศาสตร์คอมพิวเตอร์ที่ทำงานเกี่ยวกับ LHC ประการแรก การประมาณการเบื้องต้นของนักฟิสิกส์เรียกร้องให้ LHC ผลิตได้ไม่กี่ล้านกิกะไบต์ หรือไม่กี่เพตะไบต์ ของข้อมูลทุกปี นอกเหนือจากค่าใช้จ่ายในการจัดเก็บข้อมูลเหล่านี้แล้ว พลังการประมวลผลที่จำเป็นในการประมวลผลยังจำเป็นต้องใช้พีซีในยุค 1990 เกือบล้านเครื่อง
จริงอยู่
ความสามารถในการคำนวณคาดว่าจะเพิ่มขึ้น 100 เท่าเมื่อถึงเวลาที่ LHC ออนไลน์ในที่สุด ต้องขอบคุณกฎของมัวร์ที่ระบุว่าพลังการประมวลผลจะเพิ่มขึ้นประมาณสองเท่าทุกๆ สองปี อย่างไรก็ตาม เป็นการยากที่จะคาดการณ์ว่าการทดลอง LHC ต้องใช้พลังการประมวลผลมากเพียงใดในอนาคต
และนักวิทยาศาสตร์คอมพิวเตอร์ของ CERN ต้องตระหนักว่าความต้องการในการคำนวณอาจเติบโตได้เร็วกว่ากฎของมัวร์ การจำกัดจำนวนไปยังไซต์อื่นๆ นั้นเป็นส่วนหนึ่งของโซลูชันอย่างชัดเจน แต่อัตราการรับส่งข้อมูลยังคงค่อนข้างช้า ในปี 1994 การเชื่อมต่อภายนอกทั้งหมด เทียบเท่า
กับการเชื่อมต่อบรอดแบนด์เพียงหนึ่งเดียวในปัจจุบัน แหล่งที่มาหลักของการท่วมท้นของข้อมูล LHC คือเครื่องตรวจจับขนาดใหญ่ 2 เครื่อง ได้แก่ ซึ่งแต่ละเครื่องมีช่องสัญญาณการอ่านออกมากกว่า 100 ล้านช่อง ด้วยการข้ามลำแสง 40 ล้านครั้งต่อวินาที การอ่านค่าเครื่องตรวจจับทั้งหมด
อย่างต่อเนื่องจะสร้างข้อมูลได้มากกว่าหนึ่งเพตะไบต์ทุกวินาที โชคยังดีที่การชนกันส่วนใหญ่ไม่น่าสนใจ และด้วยการกรองและทิ้งมันด้วยระบบอิเล็กทรอนิกส์ เราลดการไหลเวียนของข้อมูลโดยไม่สูญเสียเหตุการณ์ที่น่าสนใจไป อย่างไรก็ตาม และการทดลอง LHC อีกสองรายการ
ได้แก่ จะร่วมกันผลิตข้อมูล 10-15 เพตะไบต์ทุกปี ซึ่งต้องได้รับการประมวลผล จัดเก็บอย่างถาวร และเข้าถึงได้ตลอดเวลาสำหรับนักวิจัยทั่วโลก การจัดการกับข้อมูลจำนวนมหาศาลนั้นได้รับการขนานนามว่าเป็น “ความท้าทายของ LHC” โดยแผนกไอทีของ CERN และสถาบันอื่นๆ ที่ทำงานเพื่อแก้ปัญหานี้
จากความพยายาม
ที่ผ่านมาข้อกำหนดโดยประมาณของการทดลอง LHC นั้นมากกว่าปริมาณข้อมูลและพลังการประมวลผลของรุ่นก่อนหน้าถึง 10,000 เท่าบนเครื่องชนกันของอิเล็กตรอนโพซิตรอนขนาดใหญ่ ปิดตัวลงในปี 2543 ในช่วงเวลาระหว่างสิ้นสุด และเริ่มต้น จาก LHC มีการทดลองจำนวนหนึ่งเกี่ยวกับ
ซึ่งเป็นขั้นตอนสำคัญในการคำนวณสำหรับ LHC ตัวอย่างเช่น ก่อนที่ LEP จะถูกรื้อทิ้งเพื่อหลีกทางให้ การทดลอง NA48 บนฟิสิกส์คาออนสร้างข้อมูลที่อัตราสูงสุดประมาณ 40 เมกะไบต์ต่อวินาที ซึ่งน้อยกว่าที่เราคาดไว้จากการทดลอง LHC เพียงประมาณห้าถึงแปดเท่า ระหว่างการชนกันของโปรตอน
โปรตอน การรู้ว่าฮาร์ดแวร์ที่มีอยู่สามารถจัดการกับอัตราข้อมูลดังกล่าวได้ทำให้มั่นใจได้ เพราะนั่นหมายความว่าเมื่อถึงเวลาที่ LHC ออนไลน์ การชนกันของไอออนหนักทำให้เกิดอนุภาคมากกว่าการชนกันของโปรตอน-โปรตอนประมาณสองลำดับ ดังนั้น อัตราข้อมูลสำหรับการชนกันของไอออนหนัก
จึงสูงขึ้นตามลำดับ ในช่วงปลายปี พ.ศ. 2545 และต้นปี พ.ศ. 2546 ข้อกำหนดสำหรับการทดลองของ ซึ่งจะใช้การชนทั้งสองแบบเพื่อศึกษาแรงนิวเคลียร์อย่างเข้ม กำหนดให้ต้องใช้ข้อมูลในอัตราประมาณ 1.2 กิกะไบต์ต่อวินาที เนื่องจากข้อกำหนดสำหรับ ALICE นั้นสูงกว่าการทดลองอื่นๆ มาก
จึงเห็นได้ชัดว่า
หากโครงสร้างพื้นฐานด้านคอมพิวเตอร์สามารถจัดการกับ ALICE ได้ ก็จะสามารถจัดการเกือบทุกอย่างได้ และแน่นอนว่าข้อมูลจากการทดลองอื่นๆ จะไม่เป็นปัญหา เพื่อรับมือกับความท้าทายนี้ นักวิทยาศาสตร์คอมพิวเตอร์ของ CERN และสมาชิกของทีม ALICE ได้ร่วมมือกันออกแบบระบบ
ที่สามารถรับข้อมูลในอัตรา 1.2 กิกะไบต์ต่อวินาทีจากการทดลองและจัดการได้อย่างถูกต้อง ต้นแบบขนาดใหญ่เครื่องแรกสร้างขึ้นในปี 2546 และคาดว่าจะสามารถจัดการอัตราข้อมูล 100 เมกะไบต์ต่อวินาทีในเวลาไม่กี่ชั่วโมง มันพังแทบจะในทันที ต้นแบบในภายหลังรวมบทเรียนที่เรียนรู้จากรุ่นก่อน
และสามารถจัดการกับอัตราข้อมูลที่สูงขึ้นได้ อีกโครงการหนึ่งจากยุค LEP ที่ช่วยให้นักวิทยาศาสตร์คอมพิวเตอร์สร้างสภาพแวดล้อมการประมวลผล LHC คือสิ่งอำนวยความสะดวกแบบบูรณาการที่แตกต่างกันที่ปรับขนาดได้ หรือ SHIFT ซึ่งได้รับการพัฒนาในช่วงต้นทศวรรษ 1990 โดยสมาชิก
ของแผนกคอมพิวเตอร์โดยความร่วมมือกับการทดลอง OPAL บน LEP ในเวลานั้น การประมวลผลที่เกือบทั้งหมดทำโดยคอมพิวเตอร์เมนเฟรมออล-อิน-วันขนาดใหญ่ หลักการเบื้องหลัง คือการแยกทรัพยากรตามงานที่ทำ: การประมวลผล; ที่เก็บข้อมูลดิสก์
หรือที่เก็บเทป ทรัพยากรต่าง ๆ เหล่านี้เชื่อมต่อผ่านเครือข่าย ระบบนี้กลายเป็นพื้นฐานสำหรับสิ่งที่เรียกว่าการประมวลผลความเร็วสูงในปัจจุบัน ความแตกต่างระหว่างการประมวลผลความเร็วสูงกับการประมวลผลประสิทธิภาพสูงที่คุ้นเคยกันมากขึ้นสามารถเข้าใจได้โดยพิจารณาจากมอเตอร์เวย์ที่เต็มไปด้วย
รถยนต์ ซึ่งรถยนต์เป็นตัวแทนของแอปพลิเคชันคอมพิวเตอร์ที่แตกต่างกัน ในการประมวลผลประสิทธิภาพสูง เป้าหมายคือการได้รับจาก A ถึง B ให้เร็วที่สุดเท่าที่จะเป็นไปได้ หรือบางทีบนถนนที่ว่างเปล่า เมื่อรถเสีย การแข่งขันจะสิ้นสุดลงจนกว่ารถจะซ่อมเสร็จ ในทางตรงกันข้าม
ในการคำนวณปริมาณงานสูง สิ่งเดียวที่สำคัญคือการหารถให้ได้มากที่สุดจากจุด A ไปยังจุด B แม้ว่ารถคันหนึ่งจะเสีย ก็ไม่สำคัญ เพราะการจราจรยังคงไหลและอีกคัน สามารถเดินทางได้ การประมวลผลความเร็วสูงเหมาะอย่างยิ่งกับฟิสิกส์พลังงานสูง เนื่องจาก “เหตุการณ์” ที่บันทึกโดยการทดลองนั้น
