คู่มือ OpenSearch Auto-Clustering สำหรับ Database

ที่Cluster OpenSearchเป็นเครื่องมือค้นหาและการวิเคราะห์แบบโอเพ่นซอร์สที่ขับเคลื่อนโดยชุมชนเหมาะสำหรับการค้นหา Application และการวิเคราะห์บันทึกซึ่งคุณต้องการค้นหารวบรวมดูและวิเคราะห์ข้อมูลคุณสามารถแก้ไขและขยาย OpenSearch ด้วยฟังก์ชันเพิ่มเติมได้

OpenSearch มาจาก Elasticsearch 7.10.2 ที่ได้รับอนุญาตของ Apache 2.0 ทำให้ผลิตภัณฑ์สามารถใช้แก้ไขขยายสร้างรายได้และขายต่อได้อย่างอิสระ

คู่มือนี้จะให้ข้อมูลเกี่ยวกับ:

• ภาพรวมส่วนประกอบ Cluster OpenSearch
• การติดตั้ง Cluster OpenSearch
• OpenSearch กับประสิทธิภาพ Elasticsearch

ภาพรวมส่วนประกอบ Cluster OpenSearch

Platform ดังกล่าวนำเสนอ OpenSearch Cluster โดยใช้ Stack ที่ผ่านการรับรองสาม Stack รวมกันเป็นโซลูชันการทำ Cluster อัตโนมัติเพียงตัวเดียว:

• เปิดการค้นหา- เครื่องมือค้นหาแบบโอเพ่นซอร์สที่ขับเคลื่อนโดยชุมชนที่ให้การค้นหาข้อความแบบเต็มแบบกระจายและมีความสามารถหลายผู้เช่า
• Dashboard OpenSearch(ไม่บังคับ) - การแสดงภาพข้อมูลที่เก็บอยู่ภายในเปิดการค้นหาNode (มาจากคิบานะ 7.10.2)
• ล็อกสแตช(ไม่บังคับ) - การประมวลผลข้อมูล

เคล็ดลับ:ที่เต้นสามารถติดตั้ง Add-on สำหรับผู้จัดส่งข้อมูลแบบมีวัตถุประสงค์เดียวที่ส่งข้อมูลจาก Node Client ไปล็อกสแตชหรือเปิดการค้นหา.

ในโซลูชันดังกล่าวข้อมูลจะถูกรวบรวมบน Node Client โดยเต้นผู้จัดส่งข้อมูลส่งไปที่ล็อกสแตช(ซึ่งแปลงได้ตามต้องการ) และเก็บไว้ในเปิดการค้นหา.Dashboard OpenSearchเป็นเครื่องมือสร้างภาพเสริม

เปิดการค้นหา

ที่เปิดการค้นหาstack คือแกนหลักและเป็นส่วนประกอบบังคับเพียงตัวเดียวของ Cluster มีการเริ่มต้นในโหมด Clusterแม้ว่าจะมีการสร้าง Node เดียวซึ่งทำให้ Horizontal Scaling ง่ายขึ้นเร็วขึ้นและปลอดภัยยิ่งขึ้น

หลังจากถูกสร้างขึ้นแล้ว Node OpenSearch จะพร้อมใช้งานบน Port9200สำหรับการสื่อสารภายในระหว่าง Node ของ Environment การเข้าถึงจากภายนอกจะใช้ Port ผ่าน Load Balancer ที่ใช้ร่วมกัน4848(HTTPS) หรือ4949(HTTP) ขึ้นอยู่กับplugins.security.ssl.http.enabledการตั้งค่าในopensearch.yml. การตรวจสอบสิทธิ์พื้นฐาน HTTP ใช้ในทั้งสองกรณี (สามารถรีเซ็ตรหัสผ่านได้โดยใช้ไฟล์รีเซ็ตรหัสผ่านปุ่ม).

Stack OpenSearch ได้รับประโยชน์จากฟังก์ชันทั้งหมดที่มีให้สำหรับ Template ที่ผ่านการรับรองอื่นๆเช่นตัวจัดการไฟล์ Dashboard, Web SSH, โปรแกรมดูบันทึก Dashboard ฯลฯ

นอกจากนี้ Platform ด้วยDeploy ใหม่ฟังก์ชันการทำงานมีกระบวนการอัพเดตที่เรียบง่ายอย่างไรก็ตามอนุญาตให้ Deploy ซ้ำเป็นเวอร์ชันเดียวกันหรือใหม่กว่าเท่านั้นการ Downgrade ถูกจำกัด

Dashboard OpenSearch

Node OpenSearch พร้อมใช้งานผ่าน Browser แต่จะแสดงเฉพาะ JSON พร้อมการตอบสนอง API (จำเป็นสำหรับการเรียก API) เครื่องมือหลักในการแสดงข้อมูลเป็นภาพคือDashboard OpenSearch(ทดแทนสำหรับคิบานะ). การกำหนดค่าการเชื่อมต่อโครงข่ายทั้งหมดจะดำเนินการโดยอัตโนมัติ - โซลูชันนี้พร้อมใช้งานทันทีเมื่อนำออกจากกล่องและไม่จำเป็นต้องกำหนดค่าด้วยตนเองใดๆการเข้าถึงสามารถใช้ได้โดยใช้ข้อมูลรับรองเดียวกันกับ Node OpenSearch

หลังจากเข้าสู่ระบบ Interface OpenSearch Dashboards จะปรากฏขึ้น Dashboard มี UI สำหรับการโต้ตอบที่สะดวกกับ OpenSearch API และแก้ไขข้อมูลของคุณ (หลังจากสร้างรูปแบบดัชนี)

บันทึก:Dashboard OpenSearchไม่ใช่ Stack แยกและไม่สามารถสร้างแยกจาก OpenSearch ได้นอกจากนี้ยังจำกัดอยู่ที่ Node เดียวเนื่องจากการปรับขนาดไม่ได้ให้ประโยชน์เพิ่มเติม

ฟังก์ชันปกติทั้งหมดของ Template ที่ผ่านการรับรอง (ตัวจัดการไฟล์ Dashboard, Web SSH, Firewall, บันทึก) ก็มีให้สำหรับ Node นี้เช่นกัน

ล็อกสแตช

ล็อกสแตชเป็นส่วนประกอบตัวประมวลผลข้อมูลของ Cluster OpenSearch ที่ได้รับการกำหนดค่าโดยอัตโนมัติโดย Platform ด้านล่างนี้คุณสามารถดูตัวอย่างการกำหนดค่าอัตโนมัติเริ่มต้นได้/etc/logstash/conf.d/logstash-sample.conf::

อินพุตสำหรับเต้นถูกกำหนดไว้ที่ท่าเรือ5044และเอาต์พุต OpenSearch จะถูกระบุโดยการตั้งค่า Host ชื่อผู้ใช้และรหัสผ่านสำหรับการเชื่อมต่อโครงข่ายPluginสำหรับอินพุตประเภทอื่นสามารถติดตั้งได้ด้วยlogstash-pluginเครื่องมือและการกำหนดค่าสามารถเพิ่มลงในไฟล์เดียวกันได้ (ด้วย Port อื่น)

บันทึก:ล็อกสแตชไม่ใช่ Stack แยกและไม่สามารถสร้างแยกจาก OpenSearch ได้คุณสามารถเพิ่ม Node Logstash ได้มากเท่าที่ต้องการ - กำลังปรับขนาดอยู่โหมดเก็บสถานะเพื่อจัดเตรียมการกำหนดค่าเริ่มต้นอย่างไรก็ตามแต่ละ Node สามารถกำหนดค่าใหม่สำหรับการแปลงข้อมูลที่แตกต่างกันได้

โปรแกรมเสริม Beats

เต้นเป็น Platform แบบเปิดฟรีสำหรับผู้จัดส่งข้อมูลที่มีจุดประสงค์เดียวพวกเขาส่งข้อมูลจาก Node Client ไปยัง Logstash หรือ OpenSearch

• 7.12.1- เพื่อส่งข้อมูลโดยตรงไปยัง OpenSearch (ดูแผนภูมิความเข้ากันได้)

บันทึก:สำหรับการเชื่อมต่อโดยตรงคุณต้องเพิ่มบรรทัดต่อไปนี้ในการกำหนดค่า OpenSearch และ Restart Node:

สำเนา yaml

compatibility.override_main_response_version: true

• ล่าสุด- เพื่อส่งข้อมูลไปยัง OpenSearch ผ่านล็อกสแตช

ระหว่างการติดตั้งคุณต้องระบุข้อมูลต่อไปนี้:

• ตัวแทนที่ติดตั้ง- เลือกประเภท Beats ที่ต้องการ:

  • ไฟล์บีท- ส่งต่อและรวมศูนย์บันทึกและไฟล์การตั้งค่าล่วงหน้าพร้อมใช้งานแล้วสำหรับ Node ที่ผ่านการรับรองหลายรายการ:อาปาเช่(ทั้งหมด),NGINX(ทั้งหมด),HAProxy,เรดิส,โพสต์เกรส,MySQL,มาเรียดีบี,เพอร์โคนา.ทอมแคท/ทอมอีต้องมีการกำหนดค่าพิเศษ
  • เมตริกบีท- รวบรวมตัวชี้วัดจากระบบและบริการของคุณ
  • เจอร์นัลบีท- ส่งต่อและรวมศูนย์ข้อมูลบันทึกจากวารสาร systemd. เมื่อติดตั้งเป็นตัวแทนบน Server ของคุณ Journalbeat จะตรวจสอบตำแหน่งบันทึกที่คุณระบุรวบรวมเหตุการณ์บันทึกและส่งต่อไปยังเปิดการค้นหาหรือล็อกสแตช.
  • แพ็คเก็ตบีท- ตรวจสอบ Traffic เครือข่ายของคุณเพื่อให้มั่นใจถึงประสิทธิภาพและความปลอดภัยในระดับสูง Packetbeat เป็นตัววิเคราะห์แพ็คเก็ตเครือข่ายน้ำหนักเบา
  • การเต้นของหัวใจ- ตรวจสอบบริการสำหรับความพร้อมใช้งานด้วยการตรวจสอบที่ใช้งานอยู่โดยจะตรวจสอบเวลาตอบสนองและหาก URL ที่ระบุยังมีชีวิตอยู่ก็จะส่งข้อมูลนี้ไปยัง Stack อื่นเพื่อการวิเคราะห์เพิ่มเติม

• เอาชนะเวอร์ชัน OSS- เลือกเวอร์ชันตัวแทนที่ต้องการ

• Host OpenSearch- ป้อน Host OpenSearch (หรือ Elasticsearch)
• ข้อมูลรับรอง- ให้ข้อมูลการเข้าถึงสำหรับ Host OpenSearch ที่ระบุ (ผู้ใช้และรหัสผ่าน)
• HostDashboard OpenSearch- ป้อน Host OpenSearch Dashboards (อาจจำเป็นสำหรับจุดประสงค์ในการแสดงภาพ)
• Logstash Host- เข้าสู่ Host Logstash (หากทำการเชื่อมต่อโครงข่ายผ่าน Logstash)

บันทึก:การส่งข้อมูลไปยังเอาต์พุต OpenSearch และ Logstash พร้อมกันคือไม่รองรับ- สามารถใช้เอาต์พุตได้เพียงอันเดียวในคราวเดียวหากคุณต้องการส่งข้อมูลผ่าน Logstash ให้ระบุเฉพาะ Host และ Port Logstash (ไม่จำเป็นต้องใช้ Host OpenSearch และข้อมูลประจำตัว)

• ชื่อ Environment- เลือก Environment เป้าหมาย
• Node- เลือก Layer เป้าหมาย

การตั้งค่าเหล่านี้สามารถแก้ไขได้สำหรับ Add-on ที่ติดตั้งไว้แล้วโดยใช้กำหนดค่าปุ่ม.

การติดตั้ง Cluster OpenSearch

คุณสามารถสร้าง Cluster OpenSearch ได้โดยตรงจากตัวช่วยสร้าง Topology. กระบวนการนี้เป็นไปโดยอัตโนมัติอย่างสมบูรณ์

เลือกเปิดการค้นหากองในDatabase NoSQLส่วน.

Stack ได้รับการกำหนดค่าเป็น Cluster โดยอัตโนมัติเนื่องจากการจัดกลุ่มอัตโนมัติคุณสมบัติ. คุณยังมีตัวเลือกเพิ่มเติมในการเพิ่มDashboard OpenSearchและล็อกสแตชส่วนประกอบ

OpenSearch กับประสิทธิภาพ Elasticsearch

โปรเจ็กต์ OpenSearch ได้รับการแยกจาก Elasticsearch รุ่นล่าสุดภายใต้ลิขสิทธิ์ Apache 2.0 และเกือบจะเหมือนกันในด้านฟังก์ชันการทำงาน API นั้นเหมือนกันโดยสิ้นเชิง

ด้านล่างนี้คือผลลัพธ์ของการทดสอบประสิทธิภาพบน Environment Magento สอง Environment ที่มี Topology เดียวกัน:

• วีโอไอพีพร้อม Elasticsearch

*วีโอไอพีพร้อม OpenSearch

OpenSearch มีฟังก์ชันและประสิทธิภาพเช่นเดียวกับ Elasticsearch และสามารถใช้แทนได้