ฉันจะรู้ได้อย่างไรว่าฉันสร้างความแตกต่าง

การประเมินผลมีขั้นตอนที่สำคัญ 4 ขั้นตอน: การออกแบบ การรวบรวมข้อมูล การวิเคราะห์ข้อมูล และการนำเสนอผลลัพธ์ของคุณ

1. ออกแบบการประเมินของคุณ

มีองค์ประกอบหลักสองอย่างที่ควรอยู่ในการประเมินของคุณทุกครั้งที่ทำได้: การเปรียบเทียบก่อน-หลัง และกลุ่มเปรียบเทียบ

แนวคิดเบื้องหลังการเปรียบเทียบก่อน-หลังนั้นง่ายมาก ตัวอย่างเช่น หากคุณต้องการทราบว่าการคุมอาหารของคุณได้ผลหรือไม่ ก็ให้คุณชั่งน้ำหนักก่อนและหลังการคุมอาหาร แล้วคุณจะรู้ว่าน้ำหนักของคุณเปลี่ยนแปลงหรือไม่ เช่นเดียวกัน หากคุณต้องการทราบว่าความช่วยเหลือในการลดความเกลียดชังต่อผู้ลี้ภัยบน Facebook ได้ผลหรือไม่ คุณต้องวัดระดับความเกลียดชังทั้งก่อนและหลังการให้ความช่วยเหลือ และตรวจสอบความแตกต่าง

กลุ่มเปรียบเทียบประกอบด้วยผู้ที่ไม่ได้เข้าร่วมโครงการ ณ เวลาที่ประเมิน การเก็บรวบรวมข้อมูลจากพวกเขาด้วยจะช่วยให้คุณสามารถตรวจสอบได้ว่าจะเกิดอะไรขึ้นหากคุณไม่ได้ ทำโครงการนี้

กลุ่มเปรียบเทียบช่วยให้คุณสามารถควบคุมปัจจัยอื่น ๆ ที่อาจส่งผลต่อโครงการของคุณ เช่น ระหว่างการดำเนินโครงการเพื่อพัฒนาการยอมรับความแตกต่างต่อชนกลุ่มน้อยทางศาสนาใน Facebook จะเกิดอะไรขึ้นถ้ามีสมาชิกชนกลุ่มน้อยทางศาสนาคนหนึ่งก่ออาชญากรรมร้ายแรงกับเด็กหญิงในพื้นที่ เป็นไปได้สูงว่าการกระทำนี้และการพูดคุยถึงเรื่องนี้ในสื่อต่าง ๆ จะเพิ่มระดับการไม่ยอมรับชนกลุ่มน้อยทางศาสนาให้สูงขึ้นใน Facebook ในกรณีนี้ การมีกลุ่มเปรียบเทียบจะเป็นทางเดียวที่ช่วยให้สามารถวัดผลลัพธ์ของโครงการที่คุณทำได้ เพราะแม้ว่าทั้งกลุ่มโครงการและกลุ่มเปรียบเทียบจะได้รับผลกระทบจากข่าวอาชญากรรม แต่กลุ่มโครงการเท่านั้นที่จะแสดงให้เห็นผลลัพธ์จากการช่วยเหลือของคุณ เรียนรู้เพิ่มเติมเกี่ยวกับกลุ่มเปรียบเทียบในวิดีโอต่อไปนี้

2. รวบรวมข้อมูล

แนวทางการวิจัยกว้าง ๆ ที่คุณสามารถใช้เพื่อรวบรวมข้อมูลมีสองแบบ คือ เชิงคุณภาพและเชิงปริมาณ

เครื่องมือวิจัยเชิงคุณภาพมีจุดมุ่งหมายเพื่อทำความเข้าใจว่าเหตุใดโครงการของคุณจึงบรรลุหรือไม่บรรลุจุดมุ่งหมาย ตัวอย่างเช่น คุณสามารถวิเคราะห์ภาษาที่ผู้ใช้ Facebook ใช้กันและการเปลี่ยนแปลงตามกาลเวลา หรือคุณสามารถสัมภาษณ์ผู้คนที่โพสต์ในกลุ่ม Facebook และถามพวกเขาว่าคิดอย่างไรกับโครงการช่วยเหลือของคุณ

เครื่องมือเชิงปริมาณมีจุดมุ่งหมายเพื่อหาปริมาณ (แปลงเป็นตัวเลข เช่น การชั่งน้ำหนักของคุณเป็นกิโลกรัม) ของการเปลี่ยนแปลงที่โครงการของคุณทำได้ ตัวอย่างเช่น คุณสามารถนับยอดไลก์และยอดแชร์ของโพสต์ใน Facebook ที่แสดงการไม่ยอมรับความแตกต่าง หรือคุณสามารถให้คะแนนแต่ละประโยคที่เขียนโดยผู้ใช้กลุ่ม Facebook ที่คุณกำลังช่วยเหลือ ในระดับคะแนน 1 ถึง 10 โดยที่ 1 = ไม่ยอมรับความแตกต่างระดับสูงสุด และ 10 = ยอมรับความแตกต่างระดับสูงสุด ในขณะเดียวกันคุณสามารถทำแบบสอบถามกับผู้ใช้ Facebook กลุ่มใหญ่และประเมินระดับการยอมรับความแตกต่างได้เช่นกัน

ในการประเมินผลลัพธ์ของแคมเปญออนไลน์ สิ่งสำคัญคือคุณต้องใช้แนวทางที่แตกต่างกันหลาย ๆ แบบให้มากที่สุดเท่าที่จะทำได้:

1. รวบรวมตัวชี้วัดผลลัพธ์ออนไลน์ทั้งหมดที่คุณนำมาใช้ได้ ตัวชี้วัดขั้นพื้นฐานที่สุดคือ:

2. ถามผู้คนว่าคิดอย่างไรเกี่ยวกับแคมเปญของคุณ (เช่น วิดีโอของคุณ) ผ่านทาง:

การผสมผสานแนวทางต่าง ๆ เข้าด้วยกันเป็นสิ่งสำคัญมาก เนื่องจากพฤติกรรมที่สังเกตได้ทางออนไลน์ไม่ได้สะท้อนความคิดเห็นที่แท้จริงของผู้คนอย่างเต็มที่หรือสม่ำเสมอ ตัวอย่างเช่น เมื่อคุณนับยอดเข้าชมและยอดแชร์ คุณจะไม่รู้ว่าการที่คนดูหรือแชร์วิดีโอนั้นเป็นเพราะพวกเขาชอบ ไม่ชอบ หรือแค่ไม่มีอะไรทำ วิธีเดียวที่จะรู้จริง ๆ คือถามพวกเขาว่าคิดอย่างไร

นอกจากนี้ยังมีสิ่งที่ควรพิจารณาด้านจริยธรรมในการประเมินผล ดูข้อมูลเพิ่มเติมในวิดีโอสั้น ๆ นี้

3. วิเคราะห์ข้อมูลของคุณ

เมื่อรวบรวมข้อมูลได้แล้ว คุณต้องมาวิเคราะห์ วิธีที่ง่ายที่สุดในการวิเคราะห์ข้อมูลจากการสัมภาษณ์และการสนทนากลุ่ม คือการหาธีมที่เกิดขึ้นซ้ำ ๆ ในสิ่งที่ผู้เข้าร่วมพูด ธีม คือ ประโยค ความคิด หรืออารมณ์ที่เกิดขึ้นซ้ำ ๆ

จากนั้นคุณจะสามารถเปรียบเทียบธีมที่พบในข้อมูลจากกลุ่มผู้เข้าร่วมโครงการของคุณกับกลุ่มเปรียบเทียบ คำแนะนำโดยละเอียดในการวิเคราะห์ข้อมูลเพื่อประเมินผลโครงการมีดังนี้

4. นำเสนอผลลัพธ์ของคุณ

ผลลัพธ์ทั้งหมดนั้นมีเหตุผลและมีประโยชน์ไม่ว่าจะแสดงว่าโครงการของคุณประสบความสำเร็จ หรือไม่ประสบความสำเร็จในแบบที่คุณหวังไว้ จงซื่อสัตย์และโปร่งใสในการนำเสนอผลการประเมินของคุณ คุณอาจจะอยากบิดเบือนข้อมูลหรือปกปิดผลลัพธ์ที่ไม่ดีเพื่อสื่อสารถึงความสำเร็จของโครงการ และหลีกเลี่ยงที่จะแบ่งปันข้อมูลที่แสดงให้เห็นว่าโครงการไม่มีผลลัพธ์ หรือถึงกับมีผลลัพธ์ในเชิงลบ แต่เราขอแนะนำอย่างยิ่งว่าให้โปร่งใสและซื่อสัตย์: การประเมินมีประโยชน์ทั้งในเวลาที่แสดงให้เห็นว่าโครงการประสบความสำเร็จและไม่ประสบความสำเร็จ

ดูตัวอย่างรายงานการประเมินที่ดีและมีประโยชน์ได้ที่นี่:

• “From passive search to active conversation: An evaluation of the Facebook Redirect Programme,” โดย Moonshot (2020).
• “Countering Violent Extremism in Indonesia. Using an Online Panel Survey to Assess a Social Media Counter-Messaging Campaign,” โดย RAND (2020)
• “Digital Resilience: Stronger Citizens Online,” โดยสถาบันเพื่อการสนทนาเชิงกลยุทธ์ (2018) 

สนับสนุนโดยศาสตราจารย์เกรก บาร์ตัน และ ดร. แมตทีโอ เวอร์กานี แห่งสถาบันพลเมืองและโลกาภิวัตน์ อัลเฟรด เดียกิน มหาวิทยาลัยเดียกิน