3,314,222.43 B
ทำความรู้จักกับ Stream หมายถึงการประมวลผลสตรีมเป็นเทคโนโลยีBig data ใช้เพื่อค้นกระแสข้อมูลอย่างสม่ำเสมอแล้วก็ค้นหาข้อแม้อย่างเร็วภายในช่วงระยะเวลาอันสั้นภายหลังได้รับข้อมูล เวลาสำหรับในการตรวจหาจะนาๆประการตั้งแต่ไม่ลลิวินาทีจนกระทั่งนาที เช่น คุณสามารถใช้การประเมินผลสตรีมเพื่อรับการแจ้งเตือนเมื่ออุณหภูมิถึงจุดที่ทำให้เป็นน้ำแข็งแล้วก็ค้นหาสตรีมข้อมูลที่ได้มาจากเซ็นเซอร์อุณหภูมิ
มีการเรียกชื่อต่างๆอย่างเช่น การวิเคราะห์แบบเรียลไทม์ การวิเคราะห์การสตรีม การประมวลผลเรื่องราวที่สลับซับซ้อน การวิเคราะห์การสตรีมแบบเรียลไทม์ รวมทั้งการประมวลผลเรื่องราว ในสมัยก่อนมีสิ่งที่แตกต่างบางประการ แต่ว่าในเวลานี้ อุปกรณ์ (เฟรมเวิร์ก) กำลังเดินทางมาบรรจบกันภายใต้การประมวลผลสตรีมระยะ (มองปัญหา Quora นี้สำหรับรายการกรอบงานรวมทั้งส่วนในที่สุดของเนื้อหานี้สำหรับเรื่องราว) สล็อต
Apache Storm เป็นที่นิยมในฐานะ “เทคโนโลยีซึ่งสามารถสร้างผลสรุปได้เร็วขึ้นเวลาที่เป็นเทคโนโลยีอย่าง Hadoop” รวมทั้งถัดมาถูกเอาไปใช้เป็นเทคโนโลยีBig data เดี๋ยวนี้มีผู้สมัครเยอะมากๆ
ร่วมกับการศึกษาของเครื่องรวมทั้งการประมวลผลการสตรีมแบบไม่มีเซิร์ฟเวอร์ ดูราวกับว่าจะเป็นเลิศในประเด็นที่เร่าร้อนที่สุดในตอนนี้ บริษัทต่างๆมากมายกำลังนำวัสดุประเมินผลสตรีมล่าสุดมาใช้ ผู้ให้บริการกำลังเปิดตัวสินค้าประเมินผลสตรีมที่ดียิ่งขึ้นรวมทั้งมีคุณภาพเพิ่มขึ้น และก็ความปรารถนาสำหรับมือโปรก็มากขึ้น
เนื้อหานี้จะเสนอแนะคุณเกี่ยวกับฐานรากของการประมวลผลสตรีม ขั้นแรก ฉันจะชี้แจงว่าเพราะอะไรก็เลยควรมีการประมวลผลสตรีมรวมทั้งแนวทางการทำงานข้างใน ต่อแต่นี้ไปจะชี้แจงแนวทางสร้างแอปพลิเคชันการประมวลผลสตรีมแบบกระจัดกระจายที่ง่ายแล้วก็ปรับขนาดได้ คุณสามารถทำเป็นทั้งสิ้นด้วยรหัสน้อยกว่า 40 บรรทัด คาสิโนออนไลน์
การประมวลผลสตรีมเป็นหัวข้อขนาดใหญ่ ฉะนั้นเนื้อหานี้จะเน้นย้ำที่ส่วนการจัดการข้อมูลเป็นหลัก แล้วก็การประมวลผลระดับสูงจะพูดถึงในบทความแยกต่างหาก เพื่อบทความมีคุณประโยชน์มากยิ่งขึ้น พวกเรากำลังกล่าวถึง AWS Kinesis ซึ่งเป็นโซลูชันการประมวลผลสตรีมของ Amazon แม้กระนั้นพวกเรายังเป็นเทคโนโลยีโอเพ่นซอร์สยอดฮิตอื่นๆเพื่อคุณได้มุมมองที่กว้างขึ้น
เพื่อทำความเข้าใจว่าเพราะเหตุไรการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองกระบวนการประมวลผลข้อมูลก่อนหน้าที่ผ่านมา ในวิถีทางก่อนหน้าที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งปวงถูกเก็บไว้ภายในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย รวมทั้งแอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับการคำนวณ เพราะว่าวัสดุการประมวลผลแบบกางตช์ถูกผลิตขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับระยะเวลาปัจจุบัน อาทิเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่โดยตลอด เพื่อประเมินผล
เพื่อทำความเข้าใจว่าเพราะเหตุใดการประมวลผลสตรีมก็เลยเกิดขึ้น ให้มองขั้นตอนการประมวลผลข้อมูลก่อนหน้าที่ผ่านมา ในวิถีทางก่อนหน้าที่ผ่านมาที่เรียกว่าการประเมินผลแบบกางตช์ ข้อมูลทั้งปวงถูกเก็บเอาไว้ภายในฐานข้อมูลหรือระบบไฟล์แบบกระจัดกระจาย และก็แอปพลิเคชันต่างๆจะใช้ข้อมูลนี้สำหรับในการคำนวณ เนื่องจากว่าอุปกรณ์การประมวลผลแบบกางตช์ถูกผลิตขึ้นเพื่อประเมินผลชุดข้อมูลที่มีขนาดจำกัด slotxo แอปพลิเคชันสามารถประมวลผลข้อมูลเป็นช่วงๆสำหรับช่วงปัจจุบัน ดังเช่น หนึ่งชั่วโมงหรือหนึ่งวัน เพื่อประมวลผลข้อมูลใหม่โดยตลอด เพื่อประเมินผล
ข้อมูลจำนวนมากมายมหาศาลได้สร้างคุณประโยชน์ของข้อมูลเชิงลึกที่ได้รับจากการประมวลผลข้อมูล ข้อมูลเชิงลึกดังที่ได้กล่าวมาแล้วมิได้ถูกทำขึ้นในลักษณะเดียวกันทั้งสิ้น ข้อมูลเชิงลึกบางสิ่งมีค่ามากยิ่งกว่าในทันทีภายหลังที่เกิดขึ้น และก็ราคาจะน้อยลงอย่างเร็วเมื่อเวลาผ่านไป บาคาร่า การสตรีมช่วยทำให้กำเนิดเหตุการณ์ดังที่กล่าวมาแล้วข้างต้นรวมทั้งชอบให้ข้อมูลเชิงลึกเร็วขึ้น ด้านในไม่ลลิวินาทีถึงวินาทีของทริกเกอร์
ข้างล่างนี้เป็นเหตุผลรองบางประการสำหรับเพื่อการใช้การประเมินผลสตรีม
เหตุผลที่ 1: ข้อมูลบางสิ่งเกิดขึ้นตามธรรมชาติเป็นกระแสของเหตุที่ไม่สิ้นสุด สำหรับการประเมินผลแบบกรุ๊ป คุณจำเป็นต้องบันทึกข้อมูล หยุดสะสมข้อมูลในบางจุด แล้วก็ประมวลผลข้อมูล หลังจากนั้นคุณจะต้องรันชุดงานต่อไป แล้วกลุ้มอกกลุ้มใจเกี่ยวกับการรวมที่ครอบคลุมหลายชุด ตรงกันข้าม การสตรีมจะจัดแจงสตรีมข้อมูลที่ไม่จบไม่สิ้นได้อย่างงดงามรวมทั้งเป็นธรรมชาติ คุณสามารถตรวจแบบอย่าง พิจารณาคำตอบ มองระดับการจุดโฟกัสหลายระดับ คาสิโนออนไลน์ และก็มองข้อมูลที่ได้รับมาจากสตรีมหลายรายการพร้อมได้อย่างสะดวกสบาย
การสตรีมจะปรับตามข้อมูลอันดับเวลาแล้วก็ตรวจค้นแบบเมื่อเวลาผ่านไป ได้แก่ แม้คุณกำลังพากเพียรค้นหาความยาวของเซสชันเว็บไซต์ในสตรีมที่ไม่จบไม่สิ้น (นี่เป็นแบบอย่างของการพยายามค้นหาลำดับ) บางเซสชันแบ่งได้สองชุด ซึ่งทำให้เรียกใช้เป็นกรุ๊ปได้ยาก การประมวลผลสตรีมสามารถจัดแจงสิ่งนี้ได้ง่ายๆ
ถ้าเกิดคุณถอยหนึ่งก้าว ชุดข้อมูลที่สม่ำเสมอที่สุดเป็นข้อมูลอันดับเวลา เป็นต้นว่า เซ็นเซอร์การจราจร เซ็นเซอร์สุขภาพ บันทึกธุรกรรม แล้วก็บันทึกกิจกรรม ข้อมูล IoT แทบจะทั้งหมดเป็นข้อมูลอันดับเวลา UFABET ด้วยเหตุผลดังกล่าวก็เลยสมควรที่จะใช้โมเดลการเขียนโปรแกรมที่เหมาะสมกับธรรมชาติ
เหตุผลที่ 2: สำหรับการประเมินผลแบบกรุ๊ป ข้อมูลจะถูกสะสมและก็ประเมินผลพร้อม แต่ว่าสำหรับในการประเมินผลแบบสตรีม ข้อมูลจะถูกประเมินผลครั้งใดก็ตามคีย์ข้อมูล โดยเหตุนี้การประมวลผลก็เลยถูกกระจัดกระจายไปตามช่วง ด้วยเหตุนี้ การประมวลผลแบบสตรีมสามารถปฏิบัติงานบนอุปกรณ์น้อยกว่าการประมวลผลแบบกางตช์ นอกจากนั้น การประมวลผลแบบสตรีมยังช่วยทำให้ประเมินผลการค้นหาข้อมูลคร่าวๆโดยมีข้อจำกัดการโหลดอย่างมีระบบ ด้วยเหตุนี้ การประมวลผลสตรีมก็เลยเหมาะสมกับกรณีการใช้แรงงานที่คำตอบอย่างคร่าวๆก็พอเพียงแล้ว บาคาร่าออนไลน์
เหตุผลที่ 3: ข้อมูลอาจมีขนาดใหญ่และไม่สามารถบันทึกได้ การสตรีมช่วยทำให้คุณสามารถประมวลผลข้อมูลแบบม้าไฟขนาดใหญ่แล้วก็เก็บเฉพาะบิตที่เป็นประโยชน์เพียงแค่นั้น
เหตุผลที่ 4: ท้ายที่สุด มีข้อมูลการสตรีมเยอะมากๆ (ธุรกรรมของลูกค้า กิจกรรม การเยี่ยมเยียนดูเว็บ อื่นๆอีกมากมาย) ที่เติบโตเร็วขึ้นในกรณีการใช้แรงงาน IoT (เซ็นเซอร์ทุกประเภท) การสตรีมเป็นแบบที่เป็นธรรมชาติเพิ่มขึ้นเรื่อยๆในการคิดรวมทั้งการเขียนโปรแกรมกรณีการใช้แรงงานพวกนี้ JOKER GAMING
อย่างไรก็แล้วแต่ การประมวลผลสตรีมก็ไม่ใช่เครื่องไม้เครื่องมือสำหรับกรณีการใช้แรงงานทั้งหมดทั้งปวงเช่นเดียวกัน กฎกล้วยๆอย่างหนึ่งเป็นการสตรีมนั้นไม่สบายถ้าเกิดกรรมวิธีอยากข้อมูลที่บริบูรณ์หลายทีหรือถ้าหากมีการเข้าถึงแบบสุ่ม (มีความคิดว่าเป็นชุดข้อมูลแผนภูมิ) กรณีการใช้แรงงานที่สำคัญอย่างหนึ่งที่ขาดสำหรับการสตรีมเป็นอัลกอริธึมการศึกษาของเครื่องสำหรับโมเดลการฝึกอบรม ในทางตรงกันข้าม ถ้าขั้นตอนสามารถทำได้ด้วยทางข้อมูลเดียว หรือถ้าเกิดเป็นแนวทางการด้านในชั่วครั้งคราว (กรรมวิธีมีลักษณะท่าทางที่จะเข้าถึงข้อมูลที่ล้ำยุค) ก็เหมาะกับการสตรีม
ถ้าหากคุณปรารถนาสร้างแอปที่ประมวลผลข้อมูลการสตรีมแล้วก็กระทำตกลงใจแบบเรียลไทม์ คุณสามารถใช้วัสดุหรือสร้างของคุณเองได้ คำตอบขึ้นกับความสลับซับซ้อนที่คุณคิดแผนจะประเมินผล ระดับของการปรับขนาด ความน่าไว้วางใจแล้วก็คงทนถาวรต่อจุดบกพร่องที่คุณอยากได้ รวมทั้งอื่นๆ
ถ้าคุณอยากสร้างแอปด้วยตนเอง ให้วางกิจกรรมในประเด็นตัวรับส่งข้อความ (ActiveMQ, RabbitMQ, Kafka ฯลฯ) เขียนรหัสเพื่อรับกิจกรรมจากหัวข้อคนกลาง (สตรีมแปลงเป็นสตรีม) และก็จัดแจงคำตอบ . ฉันจะเผยแพร่ไปยัง รหัสดังที่กล่าวมาแล้วข้างต้นเรียกว่านักแสดง
อย่างไรก็ดี แทนที่จะเข้ารหัสเหตุการณ์ข้างต้นตั้งแต่ต้น คุณสามารถย่นระยะเวลาได้โดยใช้เฟรมเวิร์กการประมวลผลสตรีม ตัวประเมินผลสตรีมเรื่องราวช่วยทำให้คุณเขียนตรรกะสำหรับดาราหนังแต่ละคน เชื่อมต่อผู้แสดง รวมทั้งเชื่อมต่อขอบกับแหล่งข้อมูล เรื่องราวสามารถส่งโดยตรงไปยังตัวประเมินผลสตรีมหรือผ่านคนกลาง JOKER
ตัวประเมินผลสตรีมสถานะการณ์ดำเนินงานที่ยากโดยการรวบรวมข้อมูล ส่งข้อมูลไปยังดาราหนังแต่ละคน ตรวจดูการปฏิบัติงานเป็นลำดับที่ถูก เก็บรวบรวมผลสรุป ปรับขนาดภายใต้ภาระหน้าที่ที่เอาจริงเอาจัง รวมทั้งการจัดการกับความไม่ประสบผลสำเร็จ แบบอย่าง ดังเช่นว่า Storm, Flink แล้วก็ Samza ถ้าคุณอยากสร้างแอปด้วยแนวทางนี้ ให้ตรวจดูคู่มือผู้ใช้แต่ละฉบับ
ตั้งแต่ปี 2016 แนวความคิดใหม่ที่เรียกว่า Streaming SQL ได้เกิดขึ้น (มองบทความ Streaming SQL 101 สำหรับรายละเอียดเพิ่มเติม) ภาษาที่ผู้ใช้สามารถเขียน SQL ตัวอย่างเช่น เคียวรีที่ค้นหาข้อมูลการสตรีม เรียกว่าภาษา “streaming SQL” ภาษา SQL สตรีมมิ่งมากไม่น้อยเลยทีเดียวกำลังเติบโต
รองรับ SQL มานานกว่า 5 ปีในโครงงานต่างๆดังเช่นว่า WSO2 Stream Processor รวมทั้ง SQL Streams
Apache Storm เพิ่มการรอคอยงรับการสตรีม SQL ในปี 2559
Apache Flink ได้เพิ่มการรอคอยงรับการสตรีม SQL ตั้งแต่ปี 2016
Apache Kafka เพิ่มการรอคอยงรับ SQL (ซึ่งพวกเขาเรียกว่า KSQL) ในปี 2560
Apache Samza เพิ่มการรอคอยงรับ SQL ในปี 2560
ภาษา Streaming SQL ช่วยทำให้นักปรับปรุงสามารถรวมการค้นหาข้อมูลแบบสตรีมลงในแอพของพวกเขาได้อย่างเร็ว ด้านในปี 2018 สตรีมโปรเซสเซอร์ส่วนมากจะรองรับการประมวลผลข้อมูลผ่านภาษา SQL สำหรับเพื่อการสตรีม สล็อต
ทำความเข้าใจว่า SQL จับคู่กับสตรีมอปิ้งไร สตรีมกำลังย้ายข้อมูลตาราง ตรึกตรองตารางที่ไม่สิ้นสุดซึ่งมีข้อมูลใหม่ปรากฏขึ้นเมื่อเวลาผ่านไป สตรีมเป็นตารางดังที่ได้กล่าวมาแล้ว หนึ่งทะเบียนหรือแถวในสตรีมเรียกว่าเรื่องราว แม้กระนั้น มีสคีมาและก็ดำเนินงานราวกับแถวฐานข้อมูล การคุยกันของ Tyler Akidau ที่ Strata เป็นแหล่งข้อมูลที่ดีสำหรับเพื่อการทำความเข้าใจแนวความคิดกลุ่มนี้
อย่างแรกที่คุณจำเป็นต้องรู้เรื่องเกี่ยวกับ SQL สตรีมเป็น แทนที่ตารางด้วยสตรีม
เมื่อคุณสร้างแบบสำรวจ SQL คุณจะค้นข้อมูลที่จัดเก็บเอาไว้ภายในฐานข้อมูล อย่างไรก็แล้วแต่ เมื่อคุณสร้างการค้นข้อมูล SQL แบบสตรีม คุณไม่เฉพาะแต่เขียนลงในข้อมูลในอนาคตแค่นั้น แต่ว่ายังรวมทั้งข้อมูลปัจจุบันนี้ด้วย ฉะนั้น การสตรีมแบบสำรวจ SQL ไม่สิ้นสุด โน่นคือปัญหาไหม? ไม่ ผลของการค้นหากลุ่มนี้เป็นสตรีม ด้วยเหตุดังกล่าวมันก็เลยใช้งานได้ เมื่อเรื่องตรงกันรวมทั้งเรื่องราวเอาต์พุตพร้อมใช้งานโดยทันที เหตุจะถูกวางในสตรีมเอาต์พุต
สตรีมแสดงถึงเหตุทั้งปวงซึ่งสามารถผ่านช่องสัญญาณแบบลอจิคัลและไม่หมด เป็นต้นว่า ถ้าเกิดหม้อละอองน้ำของคุณมีเซ็นเซอร์อุณหภูมิ คุณสามารถแสดงเอาต์พุตจากเซ็นเซอร์เป็นสตรีมได้ อย่างไรก็แล้วแต่ SQL แบบเริ่มแรกจะจับ ประเมินผล รวมทั้งเขียนข้อมูลที่จัดเก็บเอาไว้ภายในตารางฐานข้อมูล แม้กระนั้นการค้นหาข้อมูลข้างต้นจะเก็บรวบรวมสตรีมข้อมูลเมื่อมีการเพิ่มรวมทั้งสร้างสตรีมข้อมูลเป็นเอาต์พุต เช่น สมมุติว่ามีเรื่องราวในกระแสหม้อละอองน้ำทุกๆ10 นาที แบบสำรวจตัวกรองจะสร้างเหตุในสตรีมผลสรุปเมื่อสถานะการณ์ตรงกับตัวกรอง
โดยเหตุนั้น คุณสามารถสร้างแอปของคุณได้ดังต่อไปนี้: ส่งเหตุโดยตรงหรือผ่านคนกลางไปยังตัวประเมินผลสตรีม ต่อจากนั้น คุณสามารถใช้ “Streaming SQL” เพื่อเขียนส่วนการสตรีมของแอปได้ ท้ายที่สุด ระบุค่าตอบแทนประเมินผลสตรีมให้ดำเนินงานตามผล ซึ่งทำเป็นโดยการเรียกใช้บริการเมื่อตัวประเมินผลสตรีมทริกเกอร์ หรือโดยการเปิดเผยแพร่เรื่องราวไปยังหัวข้อคนกลางเพื่อยอมรับฟังหัวข้อ
มีเฟรมเวิร์กการประมวลผลสตรีมเยอะมาก
ฉันชี้แนะ WSO2 Stream Processor (WSO2 SP) ที่ฉันช่วยสร้าง คุณสามารถนำเข้าข้อมูลที่ได้รับมาจาก Kafka, คำร้องขอ HTTP, โบรกเกอร์เนื้อความ และก็ค้นหาสตรีมข้อมูลโดยใช้ภาษา “Streaming SQL” WSO2 SP เป็นโอเพ่นซอร์ที่ประชุมยใต้ลิขสิทธิ์ Apache มีเซิร์ฟเวอร์ผลิตภัณฑ์ของกินของใช้เพียงแต่สองเครื่องเพียงแค่นั้นซึ่งสามารถให้ความพร้อมเพรียงใช้งานสูงและก็จัดแจงจำนวนงาน 100K + TPS มันสามารถปรับขนาดเป็น TPS นับล้านบน Kafka รวมทั้งรองรับการประยุกต์ศูนย์ข้อมูลหลายตัว
อ่านเรื่องถัดไป >> เข้าใจ Photoshop Adobe
Content by: admin
ข้อมูลอัพเดทล่าสุด : 9 มิถุนายน 2021 (ล่าสุดปี 2020)