บทที่ 37 ส่วน ทำไมคุณควรเลือกการออกแบบสำหรับการประเมินผลของคุณหรือไม่? เมื่อคุณควรจะทำเพื่อ? ใครควรจะมีส่วนร่วมในการเลือกการออกแบบหรือไม่? คุณจะทำอย่างไรเลือกการออกแบบที่เหมาะสมสำหรับการประเมินผลของคุณ? เมื่อคุณได้ยินคำว่า "การทดลอง" มันอาจจะเรียกภาพของผู้คนในเสื้อห้องแล็บยาวสีขาว peering ผ่านกล้องจุลทรรศน์ ในความเป็นจริงการทดลองเป็นเพียงการพยายามสิ่งที่ออกเพื่อดูวิธีการหรือทำไมหรือไม่ว่าจะทำงาน มันอาจจะง่ายเหมือนการใส่เครื่องเทศที่แตกต่างกันในอาหารจานโปรดของคุณหรือซับซ้อนเท่าการพัฒนาและการทดสอบความพยายามที่ครอบคลุมเพื่อปรับปรุงการรักษาสุขภาพของเด็กในเมืองหรือรัฐ นักวิชาการและนักวิจัยอื่น ๆ ในการดูแลสุขภาพของประชาชนและสังคมศาสตร์ดำเนินการทดลองที่จะเข้าใจว่าสภาพแวดล้อมที่มีผลต่อพฤติกรรมและผลดังนั้นการทดลองของพวกเขามักจะเกี่ยวข้องกับคนและด้านสิ่งแวดล้อม โปรแกรมชุมชนใหม่หรือการแทรกแซงคือการทดลองเกินไปหนึ่งที่เป็นองค์กรของรัฐหรือชุมชนมีส่วนร่วมในการที่จะหาวิธีที่ดีกว่าที่จะแก้ไขปัญหาชุมชน มันมักจะเริ่มต้นด้วยสมมติฐานเกี่ยวกับสิ่งที่จะทำงาน - บางครั้งเรียกว่าทฤษฎีของการเปลี่ยนแปลง - แต่สันนิษฐานว่าการรับประกัน เช่นเดียวกับการทดลองใด ๆ โปรแกรมหรือการแทรกแซงจะต้องมีการประเมินเพื่อดูว่าการทำงานและภายใต้เงื่อนไขว่า ในส่วนนี้เราจะดูที่บางส่วนของวิธีการที่คุณสามารถจัดโครงสร้างการประเมินผลเพื่อตรวจสอบว่าโปรแกรมของคุณทำงานและสำรวจวิธีการเลือกหนึ่งที่ดีที่สุดตรงตามความต้องการของคุณ การเตรียมการสำหรับการค้นพบเหล่านี้เป็นที่รู้จักกันทดลอง (หรือการประเมินผล) เป็นผู้ออกแบบ เราหมายถึงอะไรโดยการออกแบบสำหรับการประเมินผลหรือไม่? การประเมินผลทุกคนเป็นหลักหรือโครงการวิจัยการค้นพบ งานวิจัยของคุณอาจจะเกี่ยวกับการกำหนดวิธีการที่มีประสิทธิภาพโปรแกรมของคุณหรือความพยายามโดยรวมซึ่งบางส่วนของมันจะทำงานได้ดีและที่ต้องปรับหรือไม่ว่าผู้เข้าร่วมบางคนตอบสนองต่อวิธีการบางอย่างหรือเงื่อนไขที่แตกต่างจากคนอื่น ๆ ถ้าผลลัพธ์ของคุณจะมีความน่าเชื่อถือ, คุณจะต้องให้การประเมินผลโครงสร้างที่จะบอกสิ่งที่คุณต้องการที่จะรู้ว่า ว่าโครงสร้าง - การจัดเรียงของ discovery - คือการออกแบบการประเมินผลของ การออกแบบขึ้นอยู่กับสิ่งที่ชนิดของคำถามการประเมินผลของคุณจะหมายถึงคำตอบ บางส่วนของการประเมินผลที่พบมากที่สุด (วิจัย) คำถาม: ไม่โปรแกรมเฉพาะหรือแทรกแซง - ไม่ว่าจะเป็นโปรแกรมการเรียนการสอนหรือการสร้างแรงบันดาลใจการปรับปรุงการเข้าถึงและโอกาสหรือเปลี่ยนนโยบาย - ก่อให้เกิดการเปลี่ยนแปลงโดยเฉพาะอย่างยิ่งในผู้เข้าร่วมหรือคนอื่น ๆ พฤติกรรมในสภาพทางกายหรือทางสังคมสุขภาพหรือผลการพัฒนาหรือชี้วัดอื่น ๆ ของความสำเร็จ? อะไรส่วนประกอบ (s) และองค์ประกอบ (s) ของโปรแกรมหรือการแทรกแซงมีความรับผิดชอบสำหรับการเปลี่ยนแปลงหรือไม่ สิ่งที่เป็นผลกระทบที่ไม่ได้ตั้งใจของการแทรกแซงและวิธีการที่พวกเขามีอิทธิพลต่อผลหรือไม่? หากคุณลองวิธีการใหม่หรือกิจกรรมที่จะเกิดอะไรขึ้น จะโปรแกรมที่ทำงานในบริบทอื่นหรือคนที่คุณอ่านเกี่ยวกับในวารสารระดับมืออาชีพที่ทำงานในชุมชนของคุณหรือที่มีประชากรของคุณหรือกับปัญหาของคุณ? หากคุณต้องการคำตอบที่น่าเชื่อถือคำถามการประเมินผลเช่นนี้คุณจะต้องถามพวกเขาในทางที่จะแสดงให้คุณเห็นว่าคุณเป็นจริงได้ผลและไม่ว่าผลที่ในความเป็นจริงเพราะการกระทำของคุณหรือสถานการณ์ที่คุณสร้างหรือปัจจัยอื่น ๆ . ในคำอื่น ๆ ที่คุณต้องสร้างการออกแบบสำหรับการวิจัยของคุณ - หรือการประเมิน - เพื่อให้คำตอบที่ชัดเจนสำหรับคำถามของคุณ เราจะหารือถึงวิธีการที่จะทำต่อไปในส่วน ทำไมคุณควรเลือกการออกแบบสำหรับการประเมินผลของคุณหรือไม่? การประเมินผลอาจดูเหมือนง่าย: ถ้าคุณสามารถดูความคืบหน้าไปสู่เป้าหมายของคุณในตอนท้ายของระยะเวลาการประเมินที่คุณกำลังทำตกลง; ถ้าคุณไม่สามารถที่คุณจะต้องเปลี่ยน แต่น่าเสียดายที่มันไม่ง่ายที่ทุก ครั้งแรกที่คุณจะวัดความก้าวหน้า? ประการที่สองถ้าดูเหมือนว่าจะไม่มีวิธีที่คุณรู้ว่าสิ่งที่คุณควรเปลี่ยนเพื่อเพิ่มประสิทธิภาพของคุณ? ประการที่สามหากมีความคืบหน้าวิธีที่คุณทำจะรู้ว่ามันมีสาเหตุมาจาก (หรือมีส่วนทำให้) โปรแกรมของคุณและไม่ได้โดยสิ่งอื่นใด และในที่สุดแม้ว่าคุณจะทำดีวิธีที่คุณจะตัดสินใจเลือกสิ่งที่คุณสามารถทำได้ดีขึ้นและสิ่งที่องค์ประกอบของโปรแกรมของคุณสามารถเปลี่ยนแปลงหรือตัดออกโดยไม่มีผลต่อความสำเร็จ? การออกแบบที่ดีสำหรับการประเมินผลของคุณจะช่วยให้คุณตอบคำถามที่สำคัญเช่นนี้ บางเหตุผลที่เฉพาะเจาะจงสำหรับการใช้เวลาในการออกแบบการประเมินผลของคุณอย่างระมัดระวังรวมถึง: ดังนั้นการประเมินผลของคุณจะมีความน่าเชื่อถือ การออกแบบที่ดีจะทำให้คุณผลลัพธ์ที่ถูกต้อง ถ้าคุณออกแบบการประเมินผลที่ดีของคุณคุณสามารถไว้วางใจได้ที่จะบอกคุณว่าคุณจริงมีผลกระทบและทำไม ทำความเข้าใจเกี่ยวกับโปรแกรมของคุณเท่านี้ทำให้ง่ายต่อการบรรลุและรักษาความสำเร็จ ดังนั้นคุณสามารถระบุพื้นที่ที่คุณต้องทำงานใน, เช่นเดียวกับผู้ที่ประสบความสำเร็จ การออกแบบที่ดีสามารถช่วยให้คุณเข้าใจว่าที่จุดแข็งและจุดอ่อนของโปรแกรมหรือการแทรกแซงของคุณและให้เบาะแสเป็นวิธีการที่พวกเขาสามารถจะมีความเข้มแข็งต่อไปหรือมีการเปลี่ยนแปลงสำหรับผลกระทบมากที่สุด ดังนั้นผลลัพธ์ของคุณมีความน่าเชื่อถือ หากการประเมินผลของคุณได้รับการออกแบบอย่างถูกต้องที่คนอื่นจะใช้ผลของคุณอย่างจริงจัง ถ้ามีการออกแบบที่ดีการประเมินผลแสดงให้เห็นว่าโปรแกรมของคุณมีประสิทธิภาพคุณมากมีแนวโน้มที่จะสามารถที่จะโน้มน้าวให้คนอื่นจะใช้วิธีการที่คล้ายกันและเงินทุนที่จะโน้มน้าวให้ว่าองค์กรของคุณคือการลงทุนที่ดี เพื่อให้คุณสามารถระบุปัจจัยที่ไม่เกี่ยวข้องกับสิ่งที่คุณทำที่มีผลกระทบ - บวกหรือลบ - ผลของคุณและต่อชีวิตของผู้เข้าร่วม เข้าร่วมประวัติศาสตร์ 'กิจกรรมในท้องถิ่นหรือระดับชาติที่สำคัญเนื้อเรื่องของเวลาวิกฤตส่วนบุคคลและปัจจัยอื่น ๆ อีกมากมายสามารถมีอิทธิพลต่อผลของโปรแกรมหรือการแทรกแซงที่ดีขึ้นหรือแย่ลง การออกแบบการประเมินผลที่ดีจะช่วยให้คุณสามารถระบุเหล่านี้และทั้งที่ถูกต้องสำหรับพวกเขาหากคุณสามารถหรือหาวิธีการที่จะจัดการกับพวกเขาหรือรวม ดังนั้นคุณจึงสามารถระบุผลที่ไม่ตั้งใจ (ทั้งบวกและลบ) และถูกต้องสำหรับพวกเขา การออกแบบที่ดีสามารถแสดงให้คุณทุกสิ่งที่เป็นผลมาจากโปรแกรมของคุณหรือแทรกแซงไม่เพียง แต่สิ่งที่คุณคาดหวัง ถ้าคุณเข้าใจว่าการทำงานของคุณมีผลกระทบที่เป็นลบเช่นเดียวกับในเชิงบวกหรือว่ามันมีมากขึ้นและ / หรือผลกระทบในเชิงบวกที่แตกต่างกันกว่าที่คุณคาดว่าจะคุณสามารถปรับตาม ดังนั้นคุณจะมีแผนเชื่อมโยงกันและโครงสร้างการจัดระเบียบสำหรับการประเมินผลของคุณ มันจะเป็นเรื่องง่ายที่จะดำเนินการประเมินผลของคุณหากมีการออกแบบที่เหมาะสม คุณจะรู้ดีว่าคุณต้องทำเพื่อให้ได้รับข้อมูลที่คุณต้องการ ใช้เวลาในการเลือกและจัดระเบียบในการออกแบบการประเมินผลจะจ่ายออกในเวลาที่คุณจะบันทึกในภายหลังและในคุณภาพของข้อมูลที่คุณได้รับ เมื่อคุณควรเลือกการออกแบบสำหรับการประเมินผลของคุณหรือไม่? เมื่อคุณได้กำหนดคำถามของคุณและการประเมินผลการรวบรวมและจัดระเบียบข้อมูลทั้งหมดที่คุณสามารถเกี่ยวกับปัญหาและวิธีการที่จะเข้าใกล้มันขั้นตอนต่อไปคือการเลือกการออกแบบสำหรับการประเมินผล จะเป็นการดีที่ทั้งหมดนี้จะเกิดขึ้นที่จุดเริ่มต้นของกระบวนการของการร่วมกันวางโปรแกรมหรือแทรกแซง การประเมินผลของคุณควรจะเป็นส่วนหนึ่งของโปรแกรมของคุณและการวางแผนที่ควรจะเป็นส่วนหนึ่งของการวางแผนโปรแกรม นั่นเป็นที่เหมาะ; ตอนนี้ขอพูดคุยเกี่ยวกับความเป็นจริง หากคุณกำลังอ่านนี้โอกาสที่อาจจะอยู่ที่อย่างน้อย 50-50 ว่าคุณกำลังเชื่อมต่อกับหน่วยงานของรัฐงบประมาณหรือตามชุมชนหรือองค์กรที่ไม่ใช่ภาครัฐและที่คุณกำลังวางแผนการประเมินผลของโปรแกรมหรือ การแทรกแซงที่ได้รับการทำงานบางครั้ง - เดือนหรือปี แม้ว่าที่จริงแนวทางเดียวกันกับ เลือกคำถามของคุณรวบรวมข้อมูลให้เลือกการออกแบบและจากนั้นไปผ่านขั้นตอนที่นำเสนอในบทนี้ การประเมินผลมีความสำคัญพอที่คุณจะไม่ได้จริงๆจะบรรลุสิ่งใดโดยใช้ทางลัดในการวางแผนมัน ถ้าโปรแกรมของคุณมีวงจรแล้วมันอาจจะทำให้ความรู้สึกที่จะเริ่มต้นการประเมินผลของคุณที่จุดเริ่มต้นของมัน - จุดเริ่มต้นของปีหรือขั้นตอนการโปรแกรมที่ผู้เข้าร่วมทั้งหมดจะเริ่มต้นจากที่เดียวกันหรือจากจุดเริ่มต้นของการมีส่วนร่วมของพวกเขา หากเป็นไปไม่ได้ - ถ้าโปรแกรมของคุณมีการหมุนนโยบายการรับสมัครหรือการให้บริการเมื่อใดก็ตามที่ผู้คนจำเป็นต้องใช้มัน - และผู้เข้าร่วมทุกคนที่จุดที่แตกต่างกันที่สามารถบางครั้งปัญหาการวิจัยในปัจจุบัน คุณอาจต้องการที่จะประเมินผลกระทบของโปรแกรมเท่านั้นที่มีผู้เข้าร่วมใหม่หรือกับกลุ่มที่เฉพาะเจาะจงอื่น ในทางกลับกันถ้าโปรแกรมของคุณโดยไม่ต้องดำเนินการเริ่มต้นและจุดสิ้นสุดโดยเฉพาะอย่างยิ่งคุณอาจได้รับภาพที่ดีที่สุดของประสิทธิภาพโดยการประเมินมันเป็นเริ่มต้นเมื่อใดก็ตามที่คุณพร้อม ไม่ว่ากรณีที่การออกแบบของคุณควรเป็นไปตามการรวบรวมข้อมูลและการสังเคราะห์ของคุณ ใครควรจะมีส่วนร่วมในการเลือกการออกแบบหรือไม่? หากคุณเป็นผู้ใช้ปกติกล่องเครื่องมือและโดยเฉพาะอย่างยิ่งถ้าคุณได้รับการอ่านบทนี้คุณรู้ว่าทีมกล่องเครื่องมือโดยทั่วไปแนะนำให้กระบวนการมีส่วนร่วม - ทั้งคู่ค้าที่เกี่ยวข้องกับการวิจัยและชุมชนรวมทั้งผู้ที่มีความสนใจในการหรือผู้ที่ ได้รับผลกระทบกับโปรแกรมในการวางแผนและการดำเนินการ การเลือกการออกแบบสำหรับการประเมินผลนำเสนอบางส่วนของข้อยกเว้นนโยบายนี้ตั้งแต่คู่ค้าทางวิทยาศาสตร์หรือการประเมินผลอาจจะมีความเข้าใจที่ชัดเจนมากของสิ่งที่จะต้องดำเนินการวิจัยและส่วนของปัจจัยที่อาจรบกวนกับมัน ในขณะที่เราจะเห็นใน "วิธีการ" เป็นส่วนหนึ่งของส่วนนี้มีจำนวนของการพิจารณาที่จะต้องนำมาพิจารณาเพื่อให้ได้รับข้อมูลที่ถูกต้องที่จะบอกสิ่งที่คุณต้องการรู้ นักศึกษาระดับบัณฑิตศึกษาโดยทั่วไปจะใช้หลักสูตรที่จะได้รับความรู้ที่พวกเขาต้องการที่จะดำเนินการวิจัยที่ดีและแม้กระทั่งบางนักวิจัยที่มีประสบการณ์มีความยากลำบากการตั้งค่าการออกแบบการวิจัยที่เหมาะสม ไม่ได้หมายความว่ากลุ่มชุมชนไม่สามารถเรียนรู้ที่จะทำมัน แต่ว่าเวลาที่พวกเขาจะต้องใช้จ่ายในการแสวงหาความรู้พื้นหลังอาจจะมากเกินไป ดังนั้นจึงเหมาะสมที่สุดที่จะกำหนดงานนี้ (หรืออย่างน้อยที่สุดการประสานงานของมัน) ให้กับกลุ่มบุคคลหรือขนาดเล็กที่มีประสบการณ์ในการออกแบบการวิจัยและการประเมินผล คนเช่นนี้ไม่เพียง แต่สามารถช่วยให้คุณเลือกระหว่างการออกแบบที่เป็นไปได้ แต่อธิบายสิ่งที่แต่ละการออกแบบรายละเอียดในเวลาทรัพยากรและทักษะที่จำเป็นเพื่อให้คุณสามารถตัดสินความเหมาะสมและความเป็นไปของบริบทของคุณ คุณจะเลือกการออกแบบสำหรับการประเมินผลของคุณหรือไม่? คุณจะทำอย่างไรเกี่ยวกับการตัดสินใจไปสิ่งที่ชนิดของการออกแบบการวิจัยที่ดีที่สุดจะตอบสนองวัตถุประสงค์ของการประเมินผลของคุณ? คำตอบสำหรับคำถามที่เกี่ยวข้องกับการตรวจสอบของพื้นที่สี่นี้: ลักษณะของคำถามการวิจัยที่คุณกำลังพยายามที่จะตอบ ความท้าทายในการวิจัยและวิธีการที่พวกเขาสามารถแก้ไขหรือลดลง ชนิดของการออกแบบการวิจัยที่โดยทั่วไปจะใช้และสิ่งที่แต่ละการออกแบบสร้างความ ความเป็นไปได้ของการปรับการออกแบบการวิจัยโดยเฉพาะอย่างยิ่งในการเขียนโปรแกรมของคุณหรือสถานการณ์ - สิ่งที่โครงสร้างของโปรแกรมของคุณจะให้การสนับสนุนในสิ่งที่ผู้เข้าร่วมจะยินยอมให้มีและสิ่งที่ทรัพยากรและข้อ จำกัด ด้านเวลาของคุณ เราจะเริ่มต้นการเป็นส่วนหนึ่งของส่วนนี้กับการตรวจสอบของการออกแบบการวิจัยความกังวลควรจะอยู่ไปในการพิจารณาการออกแบบบางอย่างร่วมกันและวิธีการที่ดีที่พวกเขาอยู่ที่ความกังวลเหล่านั้นและจบลงด้วยคำแนะนำบางอย่างในการเลือกการออกแบบที่ว่าทั้งสองจะเป็นไปได้ที่จะ ดำเนินการและให้ข้อมูลที่คุณต้องการเกี่ยวกับโปรแกรมของคุณ บันทึก . ในส่วนของส่วนนี้เรากำลังมองหาที่การประเมินผลโครงการวิจัย เป็นผลให้เราจะใช้คำว่า "การวิจัย" ในหลายสถานที่ที่เราสามารถได้อย่างง่ายดายเพียงแค่ได้กล่าวว่าสำหรับวัตถุประสงค์ของส่วนนี้ "การประเมิน." การวิจัยเป็นทั่วไปมากขึ้นและผู้ใช้บางส่วนของส่วนนี้อาจจะมากขึ้น ที่เกี่ยวข้องกับการวิจัยโดยทั่วไปกว่าการประเมินผลโดยเฉพาะอย่างยิ่ง ความกังวลเกี่ยวกับการออกแบบการวิจัยควรจะอยู่ การพิจารณาที่สำคัญที่สุดในการออกแบบโครงการวิจัย - ยกเว้นบางทีสำหรับค่าของการวิจัยของตัวเอง - เป็นไม่ว่าจะเป็นจัดเรียงของคุณจะช่วยให้คุณมีข้อมูลที่ถูกต้อง หากคุณไม่ได้ออกแบบและตั้งค่าโครงการวิจัยของคุณอย่างถูกค้นพบของคุณจะไม่ให้ข้อมูลที่ถูกต้องและมีแนวโน้มที่จะถือจริงกับสถานการณ์อื่น ๆ ในกรณีที่มีการประเมินผลที่หมายความว่าคุณจะไม่ได้มีการปรับพื้นฐานสำหรับสิ่งที่คุณทำเพื่อเสริมสร้างและปรับปรุงมัน นี่เป็นตัวอย่างที่ไกลจากความจริงที่แสดงให้เห็นถึงจุดนี้ ถ้าคุณเอาความสูงของเด็กที่อายุหกขวบแล้วเลี้ยงพวกเขาจำนวนมากของอาหารที่เฉพาะเจาะจงสำหรับสามปี - พูดแครอท - และวัดพวกเขาอีกครั้งเมื่อสิ้นสุดระยะเวลาที่คุณอาจจะพบว่าส่วนใหญ่ของพวกเขาเป็นอย่างมากสูงที่เก้า ปีกว่าที่หก คุณอาจจะสรุปได้ว่ามันก็กินแครอทที่ทำให้เด็กสูงเพราะการออกแบบการวิจัยของคุณให้คุณมีพื้นฐานไม่มีการเปรียบเทียบการเจริญเติบโตของเด็ก ๆ เหล่านี้เพื่อที่เด็กคนอื่น ๆ มีสองชนิดของภัยคุกคามต่อความถูกต้องของชิ้นส่วนของการวิจัยที่มี พวกเขามักจะเรียกว่าเป็นภัยคุกคามต่อความถูกต้องภายใน (ไม่ว่าจะมีการแทรกแซงที่เกิดการเปลี่ยนแปลง) และภัยคุกคามต่อความถูกต้องภายนอก (ไม่ว่าผลลัพธ์ที่มีแนวโน้มที่จะนำไปใช้กับคนอื่นและสถานการณ์) ภัยคุกคามต่อความถูกต้องภายใน เหล่านี้เป็นภัยคุกคาม (หรือคำอธิบายทางเลือก) เพื่อเรียกร้องของคุณว่าสิ่งที่คุณไม่ทำให้เกิดการเปลี่ยนแปลงในทิศทางที่คุณกำลังเล็งสำหรับ พวกเขาจะถูกวางโดยทั่วไปปัจจัยในการดำเนินงานในเวลาเดียวกันเป็นโปรแกรมหรือการแทรกแซงของคุณที่อาจมีผลกระทบในเรื่องที่คุณกำลังพยายามที่จะอยู่ที่ หากคุณไม่ได้มีวิธีการแยกผลกระทบจากบรรดาโปรแกรมของคุณคุณไม่สามารถบอกได้ว่าการเปลี่ยนแปลงที่สังเกตได้ที่เกิดจากการทำงานของคุณหรือโดยหนึ่งหรือมากกว่าของ factors. They're อื่น ๆ เหล่านี้เรียกว่าภัยคุกคามภายใน ความถูกต้องเพราะพวกเขากำลังภายในเพื่อการศึกษา - พวกเขาจะต้องทำอย่างไรกับว่าการแทรกแซงของคุณ - และไม่ใช่สิ่งอื่น - คิดแตกต่าง มีหลายชนิดของภัยคุกคามต่อความถูกต้องภายใน: ประวัติความเป็นมา ผู้เข้าร่วมทั้งสอง 'ประวัติส่วนตัว - ภูมิหลังของพวกเขาวัฒนธรรมประสบการณ์, การศึกษา, ฯลฯ - และเหตุการณ์ภายนอกที่เกิดขึ้นในช่วงระยะเวลาการวิจัย - ภัยพิบัติ, การเลือกตั้ง, ความขัดแย้งในชุมชนกฎหมายใหม่ - อาจมีผลต่อหรือไม่ว่ามีใด ๆ การเปลี่ยนแปลงในผลลัพธ์ที่คุณกำลังกังวลกับ การสุก นี้หมายถึงกระบวนการทางธรรมชาติร่างกายจิตใจและสังคมที่เกิดขึ้นเมื่อเวลาผ่านไป การเจริญเติบโตของเด็กแครอทกินในตัวอย่างข้างต้นเป็นผลมาจากการเจริญเติบโตเช่นเช่นอาจจะมีการลดลงของพฤติกรรมเสี่ยงเป็นคนที่ส่งผ่านจากวัยรุ่นสู่ความเป็นผู้ใหญ่ที่มีการพัฒนาของโรคข้ออักเสบในผู้สูงอายุหรือผู้เข้าร่วมกลายเป็นเหนื่อยในช่วง กิจกรรมการเรียนรู้ในช่วงสุดท้ายของวัน ผลของการทดสอบหรือการสังเกตในการเข้าร่วม ความจริงเท่านั้นของการดำรงอยู่ของโปรแกรมหรือการมีส่วนร่วมของพวกเขาในนั้นอาจมีผลต่อพฤติกรรมของผู้เข้าร่วมหรือทัศนคติเป็นประสบการณ์ของอาจถูกทดสอบวีดิโอหรือสังเกตเห็นเป็นอย่างอื่นหรือวัด การเปลี่ยนแปลงในการวัด เครื่องมือ - ดันโลหิตข้อมือหรือขนาดตัวอย่างได้ - สามารถเปลี่ยนช่วงเวลาที่แตกต่างกันหรือคนที่อาจจะไม่ให้ผลเดียวกัน ทำนองเดียวกันผู้สังเกตการณ์ - รวบรวมข้อมูลเหล่านั้น - อาจมีการเปลี่ยนแปลงมาตรฐานของพวกเขาในช่วงเวลาหรือสองคนหรือมากกว่าผู้สังเกตการณ์อาจไม่เห็นด้วยกับข้อสังเกต ถดถอยต่อค่าเฉลี่ย นี้เป็นระยะทางสถิติที่หมายถึงความจริงที่ว่าเมื่อเวลาผ่านไปคะแนนสูงมากและต่ำมากในตัวชี้วัด (การทดสอบเป็นต้น) มักจะมีแนวโน้มที่จะลอยกลับไปเฉลี่ยสำหรับกลุ่ม หากคุณเริ่มต้นโปรแกรมที่มีผู้เข้าร่วมที่โดยความหมายมีระดับที่ต่ำมากหรือสูงของสิ่งที่คุณกำลังวัด - อ่านทักษะการสัมผัสกับความรุนแรงในครอบครัวโดยเฉพาะอย่างยิ่งที่มีต่อพฤติกรรมของการแข่งขันคนอื่น ๆ หรือพื้นหลัง, ฯลฯ - คะแนนของพวกเขาอาจจะจบ ขึ้นใกล้เคียงกับค่าเฉลี่ยในช่วงระยะเวลาการประเมินที่แม้จะไม่มีโปรแกรมใด ๆ การเลือกของผู้เข้าร่วม ผู้ที่เลือกเข้าร่วมอาจจะเอียงไปทางเลือกของพวกเขาโดยเฉพาะอย่างยิ่งกลุ่มที่มีมากขึ้นหรือน้อยมีแนวโน้มที่จะเปลี่ยนกว่าข้ามส่วนของประชากรจากการที่กลุ่มที่ถูกเลือก (เป็นตัวอย่างที่ดีของโปรแกรมการฝึกอบรมการจ้างงานที่จะได้รับเงินตามจำนวนคนที่พวกเขาวางในงาน. พวกเขามีแนวโน้มที่จะเลือกผู้เข้าร่วมที่มีอยู่แล้วทั้งหมดหรือส่วนใหญ่ของทักษะที่พวกเขาต้องกลายเป็นลูกจ้างและผู้ที่ถูกทอดทิ้ง ที่มีทักษะน้อยลง. และผู้ที่ดังนั้นส่วนใหญ่ต้องการบริการ.) การคัดเลือกสามารถเล่นเป็นส่วนหนึ่งเมื่อผู้เข้าร่วมตัวเองเลือกที่จะลงทะเบียนเรียนในโปรแกรม (ตัวเองเลือก) เนื่องจากผู้ที่ตัดสินใจที่จะเข้าร่วมอาจจะมีอยู่แล้วแรงจูงใจที่จะทำให้เกิดการเปลี่ยนแปลง นอกจากนี้ยังอาจจะเป็นเรื่องของโอกาส: สมาชิกของกลุ่มโดยเฉพาะอย่างยิ่งอาจเพียงโดยบังเอิญแบ่งลักษณะที่จะตั้งผลของพวกเขาเกี่ยวกับมาตรการของคุณแตกต่างจากบรรทัดฐานของประชากรที่คุณกำลังวาดภาพจากที่เป็น นอกจากนี้ยังสามารถเลือกที่จะเป็นปัญหาเมื่อทั้งสองกลุ่มถูกเปรียบเทียบได้รับการแต่งตั้งตามมาตรฐานที่แตกต่างกัน เราจะปรึกษาเรื่องนี้ดังต่อไปนี้เมื่อเราจัดการกับการควบคุมหรือกลุ่มเปรียบเทียบ การสูญเสียของข้อมูลหรือเข้าร่วม หากข้อมูลน้อยเกินไปจะถูกเก็บรวบรวมเกี่ยวกับการเข้าร่วมหรือถ้าลดลงมากเกินไปออกมาก่อนที่จะมีระยะเวลาการวิจัยที่มีมากกว่าผลลัพธ์ของคุณอาจจะขึ้นอยู่กับข้อมูลที่น้อยเกินไปที่จะมีความน่าเชื่อถือ นอกจากนี้ยังเกิดขึ้นเมื่อทั้งสองกลุ่มถูกเปรียบเทียบ หากความเสียหายของข้อมูลหรือผู้เข้าร่วมมีความแตกต่างกันมากเปรียบเทียบพวกเขาอาจจะไม่ได้ให้ข้อมูลที่ถูกต้อง ธรรมชาติของการเปลี่ยนแปลง บ่อยครั้งที่การเปลี่ยนแปลงไม่คงที่และแม้กระทั่ง มันสามารถที่เกี่ยวข้องกับการกระโดดไปข้างหน้าและย้อนกลับกระโดดก่อนที่มันจะไปยังสถานที่ที่มีเสถียรภาพ - ถ้ามันไม่เคย (คิดว่าการมองการทำงานของทีมกีฬาผ่านไปครึ่งทางฤดูกาล. ไม่ว่าสิ่งที่บันทึกอยู่ในช่วงเวลาที่คุณจะไม่ทราบวิธีที่ดีที่จะเสร็จสิ้นจนกว่าจะถึงฤดูที่มีมากกว่า.) การวัดของคุณอาจจะเกิดขึ้นในช่วงเกินไป ระยะเวลาสั้นหรือมาในเวลาที่ไม่ถูกต้องในการติดตามการเรียนการสอนที่แท้จริงของการเปลี่ยนแปลงหรือขาดของการเปลี่ยนแปลงที่เกิดขึ้นที่ การรวมกันของผลกระทบของสองคนหรือมากกว่านี้ สองคนหรือมากกว่าของปัจจัยเหล่านี้อาจรวมถึงการผลิตหรือป้องกันการเปลี่ยนแปลงโปรแกรมของคุณมีเป้าหมายที่จะผลิต หลักสูตรภาษาการศึกษาที่มีการทดสอบเฉพาะในนักเรียนที่มีอยู่แล้วพูดสองภาษาหรือมากกว่าวิ่งเข้าไปในปัญหาที่มีประวัติทั้งผู้เข้าร่วม - ทั้งหมดนักเรียนที่มีประสบการณ์ในการเรียนรู้ภาษาอื่นที่ไม่ใช่ของตัวเอง - และการเลือก - คุณได้เลือกนักเรียนที่มีความ มีแนวโน้มที่จะประสบความสำเร็จในการเรียนรู้ภาษา ภัยคุกคามต่อความถูกต้องภายนอก เหล่านี้เป็นปัจจัยที่มีผลต่อความสามารถในการใช้ผลการวิจัยของคุณในสถานการณ์อื่น ๆ - เพื่อเพิ่มโอกาสที่โปรแกรมของคุณและผลของมันสามารถทำซ้ำหรือที่อื่น ๆ ที่มีประชากรอื่น ๆ ตัวอย่างเช่นถ้าคุณมีชั้นเรียนการเลี้ยงดูเพียงมารดาเดียวคุณไม่สามารถสันนิษฐานได้ว่าไม่ว่าวิธีการที่ประสบความสำเร็จที่พวกเขาดูเหมือนจะเป็นที่เรียนเดียวกันจะทำงานเช่นเดียวกับผู้ชาย ภัยคุกคามต่อความถูกต้องภายนอก (หรือ generalizability) อาจเป็นผลของการมีปฏิสัมพันธ์ของปัจจัยอื่น ๆ ที่มีโปรแกรมหรือการแทรกแซงของตัวเองหรืออาจจะเป็นเพราะเงื่อนไขเฉพาะของโปรแกรม ปฏิสัมพันธ์ของการทดสอบหรือการเก็บรวบรวมข้อมูลและโปรแกรมหรือการแทรกแซง การทดสอบครั้งแรกหรือการสังเกตอาจมีการเปลี่ยนแปลงวิธีที่ผู้เข้าร่วมการตอบสนองต่อการโปรแกรมที่สร้างความแตกต่างในผลลัพธ์สุดท้าย เนื่องจากคุณไม่สามารถสรุปได้ว่าอีกกลุ่มหนึ่งจะมีปฏิกิริยาเดียวกันหรือบรรลุผลสุดท้ายที่คล้ายกันเป็นผลให้ความถูกต้องภายนอกหรือ generalizability ของการค้นพบเป็นที่น่าสงสัย ปฏิสัมพันธ์ของขั้นตอนการคัดเลือกและโปรแกรมหรือการแทรกแซง หากผู้เข้าร่วมเลือกหรือเลือกตัวเองโดยเฉพาะอย่างยิ่งมีความสำคัญกับวิธีการหรือวัตถุประสงค์ของโปรแกรมก็ไม่สามารถสันนิษฐานได้ว่ามีประสิทธิภาพกับผู้เข้าร่วมที่มีความสำคัญหรือน้อยพร้อมสำหรับโปรแกรม ผู้ปกครองที่ได้รับการคุกคามโดยรัฐบาลกับการสูญเสียของเด็กเนื่องจากการล่วงละเมิดเด็กอาจจะเปิดกว้างขึ้นเพื่อการเรียนรู้เทคนิคในการปรับปรุงการอบรมเลี้ยงดูของพวกเขาตัวอย่างเช่นกว่าพ่อแม่ที่อยู่ภายใต้ความดันดังกล่าว ผลกระทบของการเตรียมการวิจัย ผู้เข้าร่วมกิจกรรมอาจมีการเปลี่ยนแปลงพฤติกรรมที่เป็นผลมาจากการถูกตั้งข้อสังเกตหรืออาจทำปฏิกิริยากับประชาชนโดยเฉพาะอย่างยิ่งในรูปแบบที่พวกเขาจะไม่น่าที่จะตอบสนองกับคนอื่น ๆ ตัวอย่างคลาสสิกที่นี่คือที่ของนักวิจัยลิงบาบูนที่มีชื่อเสียง Irven DeVore ที่หลังจากปีของการสังเกตเร่ร่อนของลิงบาบูนตระหนักว่าพวกเขาประพฤติแตกต่างกันเมื่อเขาอยู่ที่นั่นกว่าเมื่อเขาไม่ได้ แม้ว่าความตั้งใจของเขาคือการสังเกตพฤติกรรมธรรมชาติของพวกเขาปรากฏตัวของเขาเองประกอบด้วยการแทรกแซงทำให้พฤติกรรมของลิงบาบูนที่เขาสังเกตแตกต่างจากที่คณะที่ไม่ได้สังเกตเห็น การรบกวนของการรักษาหลายหรือการแทรกแซง ผลของโปรแกรมเฉพาะที่สามารถเปลี่ยนแปลงได้เมื่อผู้เข้าร่วมจะได้สัมผัสกับมันก่อนในบริบทที่แตกต่างกันหรือมีการสัมผัสกับอื่นก่อนหรือในเวลาเดียวกับที่มีการประเมิน นี้อาจเกิดขึ้นเมื่อผู้เข้าร่วมจะได้รับบริการจากแหล่งที่มาที่แตกต่างกันหรือได้รับการปฏิบัติพร้อมกันสองคนหรือมากกว่าปัญหาสุขภาพหรือเงื่อนไขอื่น ๆ ป. ร. ให้ไว้ช่วงของโปรแกรมชุมชนที่มีอยู่มีหลายความเป็นไปได้ที่นี่ ผู้ใหญ่อาจจะมีสมาชิกของชั้นเสร็จสิ้นการโรงเรียนมัธยมในขณะที่มีส่วนร่วมในโปรแกรมกู้คืนสารเสพติด โรคเบาหวานอาจจะรับการรักษาด้วยยาเสพติดใหม่ในขณะที่ในเวลาเดียวกันมีส่วนร่วมในโปรแกรมโภชนาการและการออกกำลังกายที่จะจัดการกับโรคอ้วน บางครั้งลำดับของการรักษาหรือบริการในโปรแกรมเดียวสามารถมีผลเดียวกันกับคนที่มีอิทธิพลต่อวิธีการที่ผู้เข้าร่วมการตอบสนองต่อผู้ที่ปฏิบัติตามแม้ว่าการรักษาแต่ละครั้งจะถูกประเมินแยกต่างหาก การออกแบบการวิจัยร่วมกัน หนังสือหลายเล่มที่ได้รับการเขียนเกี่ยวกับเรื่องของการออกแบบการวิจัย ขณะที่พวกเขามีเนื้อหามากเกินไปที่จะสรุปที่นี่มีบางการออกแบบพื้นฐานที่เราสามารถแนะนำ ความแตกต่างที่สำคัญในหมู่พวกเขาลงมาหลายวิธีการวัดที่คุณจะใช้เวลาเมื่อคุณจะนำพวกเขาและวิธีการที่หลายกลุ่มชนิดของสิ่งที่จะมีส่วนร่วม การประเมินผลโครงการโดยทั่วไปหาคำตอบถึงสามคำถามพื้นฐาน: ได้มีการเปลี่ยนแปลงใด ๆ - ในพฤติกรรมของผู้เข้าร่วมหรือผู้อื่นในสภาพทางกายภาพหรือสังคมหรือในผลหรือตัวชี้วัดของเร็จในช่วงระยะเวลาการประเมินหรือไม่ สิ่งที่ได้รับการเปลี่ยนแปลงที่เกิดขึ้น - หรือขาดของการเปลี่ยนแปลง - เกิดจากโปรแกรมของคุณแทรกแซงหรือความพยายาม? อะไรในโปรแกรมของคุณหรือภายนอกมันเกิดจริงหรือป้องกันไม่ให้เกิดการเปลี่ยนแปลงหรือไม่ ในขณะที่เราได้กล่าวถึงการเปลี่ยนแปลงและการปรับปรุงในผลลัพธ์ที่อาจมีสาเหตุมาจากบางส่วนหรือทั้งหมดของการแทรกแซงของคุณหรือจากปัจจัยภายนอก ผู้เข้าร่วมกิจกรรม 'หรือประวัติของชุมชนที่อาจได้รับความสำคัญอย่างยิ่ง เข้าร่วมอาจมีการเปลี่ยนแปลงเป็นผลมาจากเพียงการเก่าและเป็นผู้ใหญ่มากขึ้นหรือมีประสบการณ์มากขึ้นในโลก - มักจะมีปัญหาเมื่อทำงานกับเด็กหรือวัยรุ่น ปัจจัยสิ่งแวดล้อม - เหตุการณ์การเปลี่ยนแปลงนโยบายหรือเงื่อนไขในชีวิตของผู้เข้าร่วม - มักจะสามารถอำนวยความสะดวกหรือป้องกันการเปลี่ยนแปลงได้เป็นอย่างดี การทำความเข้าใจว่าที่เปลี่ยนแปลงมาจากที่ไหนหรืออุปสรรคในการเปลี่ยนอาศัยอยู่จะช่วยให้คุณมีโอกาสที่จะปรับโปรแกรมของคุณจะใช้ประโยชน์จากการต่อสู้หรือปัจจัยเหล่านั้น หากสิ่งที่คุณต้องทำคือการวัดพฤติกรรมหรือสิ่งที่คุณต้องการสภาพที่มีอิทธิพลต่อที่จุดเริ่มต้นและจุดสิ้นสุดของการประเมินผลการเลือกการออกแบบจะเป็นงานที่ง่าย แต่น่าเสียดายที่มันไม่ได้ค่อนข้างง่ายที่ - มีภัยคุกคามที่น่ารังเกียจเหล่านั้นจะถูกต้องกังวลเกี่ยวกับ เราต้องเก็บไว้ในใจในขณะที่เรามองไปที่การออกแบบการวิจัยบางส่วนที่พบบ่อย การออกแบบการวิจัยโดยทั่วไปแตกต่างกันในหนึ่งหรือทั้งสองในสองวิธี: จำนวนและระยะเวลาของการวัดที่พวกเขาใช้; และไม่ว่าจะมองไปที่กลุ่มเดียวหรือหลาย เราจะดูที่กลุ่มเดียวการออกแบบครั้งแรกแล้วไปหลายกลุ่ม ก่อนที่เราจะไปเพิ่มเติมใด ๆ จะเป็นประโยชน์ที่จะมีความเข้าใจในแง่การวิจัยขั้นพื้นฐานบางอย่างที่เราจะใช้ในการอภิปรายของเรา นักวิจัยมักจะหมายถึงการวัดครั้งแรกของคุณ (s) หรือข้อสังเกต (s) - คนที่คุณใช้ก่อนที่จะเริ่มโปรแกรมของคุณหรือแทรกแซง - เป็นมาตรการพื้นฐานหรือข้อสังเกตพื้นฐาน เพราะมันสร้างพื้นฐาน - ระดับที่รู้จักกัน - ที่คุณเปรียบเทียบการวัดในอนาคตหรือการสังเกต บางแง่การวิจัยที่สำคัญอื่น ๆ : ตัวแปรอิสระที่มีโปรแกรมเองและ / หรือวิธีการหรือเงื่อนไขที่นักวิจัย - ในกรณีนี้คุณ - ต้องการที่จะประเมิน พวกเขากำลังเรียกว่าตัวแปรเพราะพวกเขาสามารถเปลี่ยน - คุณอาจเลือก (และยังอาจเลือก) วิธีการอื่น ๆ พวกเขาเป็นอิสระเพราะการดำรงอยู่ของพวกเขาไม่ได้ขึ้นอยู่กับว่าอย่างอื่นเกิดขึ้น: คุณได้เลือกพวกเขาและพวกเขาจะอยู่สม่ำเสมอตลอดระยะเวลาการประเมินผล ตัวแปรตามเป็นสิ่งที่อาจจะหรืออาจจะไม่เปลี่ยนเป็นผลมาจากการปรากฏตัวของตัวแปรอิสระ (s) ในการประเมินผลโปรแกรมหรือการแทรกแซงของคุณเป็นตัวแปรอิสระ (ถ้าคุณกำลังประเมินจำนวนของวิธีการที่แตกต่างกันหรือเงื่อนไขแต่ละของพวกเขาเป็นตัวแปรอิสระ.) สิ่งที่คุณกำลังพยายามที่จะเปลี่ยนเป็นตัวแปรตาม (หากคุณกำลังเล็งไปที่การเปลี่ยนแปลงในมากกว่าหนึ่งพฤติกรรมหรือผลชนิดของการเปลี่ยนแปลงแต่ละคนเป็นตัวแปรที่แตกต่างกัน.) พวกเขากำลังเรียกว่าตัวแปรตามเพราะการเปลี่ยนแปลงในพวกเขาขึ้นอยู่กับการกระทำของตัวแปรอิสระ หรืออย่างอื่น. มาตรการเป็นเพียงที่ - วัดตัวแปรตาม พวกเขามักจะหมายถึงวิธีการที่จะมีผลที่สามารถแปลเป็นตัวเลขและอาจใช้รูปแบบของการประเมินชุมชนการสังเกตการสำรวจการสัมภาษณ์หรือการทดสอบ นอกจากนี้ยังอาจนับเหตุการณ์ที่เกิดขึ้นหรือวัดปริมาณของตัวแปรตาม (ตัวเลขหรือร้อยละของเด็กที่มีน้ำหนักเกินหรือเป็นโรคอ้วนอาชญากรรมรุนแรงต่อประชากร 100,000 คนและอื่น ๆ ) อาจเกี่ยวข้องกับการสังเกตการวัดหรือพวกเขาก็อาจจะบันทึกสิ่งที่เกิดขึ้นในสถานการณ์ที่เฉพาะเจาะจง: วิธีการที่คนใช้พื้นที่ที่ชนิดของเด็กมีปฏิสัมพันธ์ในห้องเรียนลักษณะของการมีปฏิสัมพันธ์ระหว่างการประเมินที่ เพื่อความสะดวกของนักวิจัยมักจะใช้ "สังเกต" จะหมายถึงชนิดของการวัดใด ๆ และเราจะใช้การประชุมเดียวกันที่นี่ ก่อนและหลังการออกแบบเดียวกลุ่ม การออกแบบที่ง่ายที่สุดคือยังน่าจะเป็นอย่างน้อยที่ถูกต้องและเป็นที่น่าพอใจ: ก่อน (ก่อน) และโพสต์ (หลัง) วัดหรือสังเกต นี้ประกอบด้วยการวัดเพียงแค่สิ่งที่คุณกำลังกังวลกับในกลุ่มหนึ่ง - อัตราการตายของทารกการว่างงานมลพิษทางน้ำ - ใช้การแทรกแซงของคุณไปที่กลุ่มหรือชุมชนและจากนั้นสังเกตอีกครั้ง ประเภทของการออกแบบนี้อนุมานว่าแตกต่างในสองข้อสังเกตจะบอกคุณได้ว่ามีการเปลี่ยนแปลงในช่วงระยะเวลาระหว่างพวกเขาและยังสันนิษฐานว่าการเปลี่ยนแปลงเชิงบวกใด ๆ ที่เกิดจากการแทรกแซง ในกรณีส่วนใหญ่การออกแบบก่อนโพสต์จะไม่บอกคุณมากเพราะมันไม่ได้จริงๆอยู่ที่ความกังวลใด ๆ ของการวิจัยเราได้กล่าวถึง มันไม่ได้บัญชีสำหรับอิทธิพลของปัจจัยอื่น ๆ ที่เกี่ยวกับตัวแปรตามและมันก็ไม่ได้บอกอะไรเกี่ยวกับแนวโน้มของการเปลี่ยนแปลงหรือความคืบหน้าของการเปลี่ยนแปลงในช่วงระยะเวลาการประเมินผล - เพียงที่ผู้เข้าร่วมได้ที่จุดเริ่มต้นและการที่พวกเขาได้ที่ จุดจบ. มันสามารถช่วยให้คุณตรวจสอบว่าบางชนิดของสิ่งที่จะเกิดขึ้น - ไม่ว่าจะมีการลดลงของระดับการศึกษาที่สำเร็จหรือจำนวนเงินของมลพิษสิ่งแวดล้อมในแม่น้ำตัวอย่างเช่น - แต่มันจะไม่บอกคุณว่าทำไม แม้จะมีข้อ จำกัด ของการใช้มาตรการทั้งก่อนและหลังการแทรกแซงจะดีกว่าไม่มีมาตรการ แม้จะมองไปที่สิ่งที่ดูเหมือนจะง่ายในการวัดก่อนและโพสต์ความดันโลหิต (ในโปรแกรมการป้องกันโรคหัวใจ) เป็นที่น่าสงสัย ความดันโลหิตอาจจะต่ำที่สังเกตสุดท้ายกว่าที่หนึ่งเริ่มต้น แต่ที่จะบอกคุณไม่มีอะไรเกี่ยวกับวิธีการมากก็อาจจะไปขึ้นและลงในระหว่าง ถ้าอ่านถูกถ่ายโดยคนที่แตกต่างกันการเปลี่ยนแปลงอาจจะเป็นเพราะในส่วนที่แตกต่างในทักษะของพวกเขาหรือวิธีการที่แต่ละผ่อนคลายก็สามารถที่จะทำให้ผู้เข้าร่วมรู้สึก ความคุ้นเคยกับโปรแกรมยังสามารถเข้าร่วมได้ลดลงมากที่สุดจากความดันโลหิตก่อนที่จะโพสต์การวัดที่เป็นอาจปัจจัยอื่น ๆ ที่ไม่ได้เป็นส่วนหนึ่งโดยเฉพาะของตัวแปรอิสระถูกประเมิน เวลาในการออกแบบชุดขัดจังหวะกับกลุ่มเดียว (เวลาแบบง่าย) ชุดขัดจังหวะเวลาใช้มาตรการซ้ำก่อนและหลังการดำเนินการล่าช้าของตัวแปรอิสระ (เช่นโปรแกรมอื่น ๆ ) เพื่อช่วยในการออกกฎคำอธิบายอื่น ๆ การออกแบบที่ค่อนข้างแข็งแกร่ง - มีการเปรียบเทียบภายในกลุ่ม - ที่อยู่ภัยคุกคามมากที่สุดเพื่อความถูกต้องภายใน รูปแบบที่ง่ายของการออกแบบนี้คือการใช้การสังเกตซ้ำใช้โปรแกรมหรือการแทรกแซงและสังเกตหลายครั้งในช่วงระยะเวลาการประเมินผลรวมถึงที่สิ้นสุด วิธีนี้เป็นวิธีการพัฒนาที่ดีกว่าการออกแบบก่อนและหลังในการที่จะติดตามแนวโน้มของการเปลี่ยนแปลงและสามารถจึงช่วยให้ดูว่ามันเป็นจริงตัวแปรอิสระที่ก่อให้เกิดการเปลี่ยนแปลงใด ๆ นอกจากนี้ยังสามารถช่วยในการระบุอิทธิพลของปัจจัยภายนอกเช่นเมื่อตัวแปรแสดงให้เห็นถึงการเปลี่ยนแปลงที่สำคัญก่อนที่จะแทรกแซงจะดำเนินการ ความเป็นไปได้สำหรับการออกแบบนี้ก็คือการใช้ตัวแปรอิสระมากกว่าหนึ่งอย่างใดอย่างหนึ่งโดยพยายามที่สองหรือมากกว่าหนึ่งหลังจากที่อื่น (มักจะมีการแบ่งในระหว่าง) หรือโดยการเพิ่มแต่ละสิ่งที่มา before. This ให้ภาพที่ไม่เพียง แต่เป็น ความคืบหน้าของการเปลี่ยนแปลง แต่สามารถแสดงอย่างชัดเจนสิ่งที่ทำให้เกิดการเปลี่ยนแปลง ที่ช่วยให้ผู้ประเมินโอกาสที่ไม่เพียง แต่จะปรับโปรแกรม แต่จะวางองค์ประกอบที่มีไม่มีผลกระทบ มีจำนวนของการเปลี่ยนแปลงในรูปแบบอนุกรมเวลาขัดจังหวะที่แตกต่างกันรวมทั้งเวลาที่สังเกตคือ การดำเนินการตัวแปรอิสระซ้ำ ๆ ; และการดำเนินการตัวแปรอิสระหนึ่งแล้วอีกแล้วทั้งสองร่วมกันในการประเมินการมีปฏิสัมพันธ์ ในความหลากหลายของการออกแบบอนุกรมเวลาขัดจังหวะใด ๆ มันเป็นสิ่งสำคัญที่จะรู้ว่าสิ่งที่คุณกำลังมองหา ในการประเมินผลของโปรแกรมการควบคุมอุบัติเหตุจราจรในสหราชอาณาจักรที่มุ่งเน้นไปที่การลดการเมาแล้วขับ, การวัดรายเดือนดูเหมือนจะแสดงเฉพาะลดลงเล็ก ๆ ในการเกิดอุบัติเหตุร้ายแรง เมื่อสถิติสำหรับวันหยุดสุดสัปดาห์เมื่อมีโอกาสมากที่สุดที่จะเป็นไดรเวอร์เมาบนถนนที่ถูกแยกออกมา แต่พวกเขาแสดงให้เห็นว่าอัตราการเสียชีวิตวันหยุดสุดสัปดาห์ลดลงอย่างรวดเร็วกับการดำเนินการของโครงการและอยู่ในระดับต่ำนั้นไม่นาน ได้นักวิจัยไม่ได้ตระหนักว่าอาจจะมีกรณีโปรแกรมอาจมีการหยุดและอัตราการเกิดอุบัติเหตุวันหยุดสุดสัปดาห์จะไม่ได้รับการลดลง เวลาในการออกแบบชุดขัดจังหวะด้วยหลายกลุ่ม (หลายพื้นฐาน / ชุดเวลา) นี้มีความเป็นไปเช่นเดียวกับการออกแบบชุดเวลาเดียวกับริ้วรอยที่เพิ่มขึ้นของการใช้มาตรการซ้ำกับหนึ่งหรือมากกว่ากลุ่มอื่น ๆ (ที่เรียกว่าเส้นเขตแดนหลาย) โดยใช้เส้นเขตแดนหลาย ๆ (กลุ่ม) ที่ถูกต้องตามกฎหมายหรือภายนอกทั่วไปของการค้นพบจะเพิ่มขึ้น - เราสามารถดูได้ว่าผลกระทบที่เกิดขึ้นกับกลุ่มที่แตกต่างกันหรือภายใต้เงื่อนไขที่แตกต่างกัน เวลานี้การออกแบบหลายชุด - มักจะแนะนำเซของการแทรกแซงกับกลุ่มที่แตกต่างกันหรือชุมชน - ให้โอกาสนักวิจัยมากขึ้น: คุณสามารถลองใช้วิธีการหรือโปรแกรมที่มีสองกลุ่มหรือมากกว่าจากเดียวกัน คุณสามารถลองใช้วิธีการเฉพาะหรือโปรแกรมที่มีประชากรที่แตกต่างกันเพื่อดูว่ามันมีประสิทธิภาพกับผู้อื่น คุณสามารถแตกต่างกันไประยะเวลาหรือความเข้มของการแทรกแซงกับกลุ่มที่แตกต่างกัน อะไรที่คุณต้องรู้? สรุป