การลดความซ้ำซ้อนของข้อมูลเป็นเทคนิคสำหรับการบีบอัดข้อมูลที่ลบข้อมูลที่ซ้ำกันโดยคงไว้ซึ่งสำเนาหนึ่งชุดของข้อมูลแต่ละหน่วยในระบบแทนที่จะปล่อยให้ทวีคูณเติบโตได้ สำเนาที่เก็บไว้มีการอ้างอิงเพื่อให้ระบบสามารถเรียกคืนได้ เทคนิคนี้ช่วยลดความต้องการพื้นที่เก็บข้อมูลและทำให้ระบบทำงานได้เร็วขึ้นนอกเหนือจากการ จำกัด ค่าใช้จ่ายที่เกี่ยวข้องกับการจัดเก็บข้อมูล สามารถทำงานได้หลายวิธีและใช้กับระบบคอมพิวเตอร์หลายประเภท
ในการคัดลอกข้อมูลระดับไฟล์ระบบจะค้นหาไฟล์ที่ซ้ำกันและลบส่วนเสริม การทำซ้ำระดับบล็อกมีลักษณะที่บล็อกของข้อมูลภายในไฟล์เพื่อระบุข้อมูลภายนอก ผู้คนสามารถลงเอยด้วยข้อมูลสองเท่าด้วยเหตุผลที่หลากหลายและการใช้การลดความซ้ำซ้อนของข้อมูลสามารถปรับปรุงระบบทำให้ใช้งานง่ายขึ้น ระบบสามารถรูขุมขนเป็นระยะ ๆ ผ่านข้อมูลเพื่อตรวจสอบรายการที่ซ้ำกันขจัดความพิเศษและสร้างการอ้างอิงสำหรับไฟล์ที่ถูกทิ้งไว้ข้างหลัง
ระบบดังกล่าวบางครั้งเรียกว่าระบบการบีบอัดอัจฉริยะหรือระบบจัดเก็บข้อมูลอินสแตนซ์เดียว คำศัพท์ทั้งสองอ้างอิงแนวคิดที่ว่าระบบทำงานอย่างชาญฉลาดในการจัดเก็บและข้อมูลไฟล์เพื่อลดภาระในระบบ การคัดลอกข้อมูลอาจมีค่ามากโดยเฉพาะกับระบบขนาดใหญ่ที่เก็บข้อมูลจากแหล่งข้อมูลจำนวนมากและมีค่าใช้จ่ายในการจัดเก็บเพิ่มขึ้นอย่างต่อเนื่องเนื่องจากระบบต้องมีการขยายช่วงเวลา
ระบบเหล่านี้ได้รับการออกแบบให้เป็นส่วนหนึ่งของระบบขนาดใหญ่สำหรับการบีบอัดและจัดการข้อมูล การคัดลอกข้อมูลไม่สามารถป้องกันระบบจากไวรัสและความผิดพลาดได้และเป็นสิ่งสำคัญที่จะต้องใช้การป้องกันไวรัสที่เพียงพอเพื่อให้ระบบปลอดภัยและ จำกัด การปนเปื้อนของไฟล์ไวรัสในขณะที่สำรองข้อมูลในสถานที่แยกต่างหากเพื่อจัดการกับความกังวล อุปกรณ์และอื่น ๆ การมีข้อมูลที่ถูกบีบอัดก่อนสำรองจะช่วยประหยัดเวลาและเงิน
ระบบที่ใช้การขจัดข้อมูลซ้ำซ้อนในที่จัดเก็บข้อมูลสามารถทำงานได้รวดเร็วและมีประสิทธิภาพมากขึ้น พวกเขายังคงต้องการการขยายเป็นระยะเพื่อรองรับข้อมูลใหม่และเพื่อจัดการกับข้อกังวลเกี่ยวกับความปลอดภัย แต่พวกเขาควรจะมีแนวโน้มน้อยลงในการเติมข้อมูลที่ซ้ำซ้อนอย่างรวดเร็ว นี่เป็นข้อกังวลที่พบบ่อยโดยเฉพาะอย่างยิ่งในเซิร์ฟเวอร์อีเมลซึ่งเซิร์ฟเวอร์อาจเก็บข้อมูลจำนวนมากสำหรับผู้ใช้และชิ้นส่วนที่สำคัญของมันอาจประกอบด้วยข้อมูลซ้ำเช่นไฟล์แนบที่ซ้ำกันซ้ำแล้วซ้ำอีก ตัวอย่างเช่นคนจำนวนมากที่ส่งอีเมลจากที่ทำงานได้แนบท้ายกระดาษพร้อมกับคำปฏิเสธอีเมลและโลโก้ บริษัท และสิ่งเหล่านี้สามารถกินพื้นที่เซิร์ฟเวอร์ได้อย่างรวดเร็ว
