คู่มือ OpenSearch Auto-Clustering สำหรับ ฐานข้อมูล

ที่คลัสเตอร์ OpenSearchเป็นเครื่องมือค้นหาและการวิเคราะห์แบบโอเพ่นซอร์สที่ขับเคลื่อนโดยชุมชนเหมาะสำหรับการค้นหาแอปพลิเคชันและการวิเคราะห์บันทึกซึ่งคุณต้องการค้นหารวบรวมดูและวิเคราะห์ข้อมูลคุณสามารถแก้ไขและขยาย OpenSearch ด้วยฟังก์ชันเพิ่มเติมได้

OpenSearch มาจาก Elasticsearch 7.10.2 ที่ได้รับอนุญาตของ Apache 2.0 ทำให้ผลิตภัณฑ์สามารถใช้แก้ไขขยายสร้างรายได้และขายต่อได้อย่างอิสระ

คู่มือนี้จะให้ข้อมูลเกี่ยวกับ:

• ภาพรวมส่วนประกอบคลัสเตอร์ OpenSearch
• การติดตั้งคลัสเตอร์ OpenSearch
• OpenSearch กับประสิทธิภาพ Elasticsearch

ภาพรวมส่วนประกอบคลัสเตอร์ OpenSearch

แพลตฟอร์มดังกล่าวนำเสนอ OpenSearch Cluster โดยใช้สแต็กที่ผ่านการรับรองสามสแต็กรวมกันเป็นโซลูชันการทำคลัสเตอร์อัตโนมัติเพียงตัวเดียว:

• เปิดการค้นหา- เครื่องมือค้นหาแบบโอเพ่นซอร์สที่ขับเคลื่อนโดยชุมชนที่ให้การค้นหาข้อความแบบเต็มแบบกระจายและมีความสามารถหลายผู้เช่า
• แดชบอร์ด OpenSearch(ไม่บังคับ) - การแสดงภาพข้อมูลที่เก็บอยู่ภายในเปิดการค้นหาNode (มาจากคิบานะ 7.10.2)
• ล็อกสแตช(ไม่บังคับ) - การประมวลผลข้อมูล

เคล็ดลับ:ที่เต้นสามารถติดตั้ง Add-on สำหรับผู้จัดส่งข้อมูลแบบมีวัตถุประสงค์เดียวที่ส่งข้อมูลจาก Node ไคลเอ็นต์ไปล็อกสแตชหรือเปิดการค้นหา.

ในโซลูชันดังกล่าวข้อมูลจะถูกรวบรวมบน Node ไคลเอ็นต์โดยเต้นผู้จัดส่งข้อมูลส่งไปที่ล็อกสแตช(ซึ่งแปลงได้ตามต้องการ) และเก็บไว้ในเปิดการค้นหา.แดชบอร์ด OpenSearchเป็นเครื่องมือสร้างภาพเสริม

เปิดการค้นหา

ที่เปิดการค้นหาstack คือแกนหลักและเป็นส่วนประกอบบังคับเพียงตัวเดียวของคลัสเตอร์มีการเริ่มต้นในโหมดคลัสเตอร์แม้ว่าจะมีการสร้าง Node เดียวซึ่งทำให้การปรับขนาดแนวนอนง่ายขึ้นเร็วขึ้นและปลอดภัยยิ่งขึ้น

หลังจากถูกสร้างขึ้นแล้ว Node OpenSearch จะพร้อมใช้งานบนพอร์ต9200สำหรับการสื่อสารภายในระหว่าง Node ของ Environment การเข้าถึงจากภายนอกจะใช้พอร์ตผ่านตัวจัดสรรภาระงานที่ใช้ร่วมกัน4848(HTTPS) หรือ4949(HTTP) ขึ้นอยู่กับplugins.security.ssl.http.enabledการตั้งค่าในopensearch.yml. การตรวจสอบสิทธิ์พื้นฐาน HTTP ใช้ในทั้งสองกรณี (สามารถรีเซ็ตรหัสผ่านได้โดยใช้ไฟล์รีเซ็ตรหัสผ่านปุ่ม).

สแต็ก OpenSearch ได้รับประโยชน์จากฟังก์ชันทั้งหมดที่มีให้สำหรับเทมเพลตที่ผ่านการรับรองอื่นๆเช่นตัวจัดการไฟล์แดชบอร์ด, Web SSH, โปรแกรมดูบันทึกแดชบอร์ดฯลฯ

นอกจากนี้แพลตฟอร์มด้วยปรับใช้ใหม่ฟังก์ชันการทำงานมีกระบวนการอัพเดตที่เรียบง่ายอย่างไรก็ตามอนุญาตให้ปรับใช้ซ้ำเป็นเวอร์ชันเดียวกันหรือใหม่กว่าเท่านั้นการดาวน์เกรดถูกจำกัด

แดชบอร์ด OpenSearch

Node OpenSearch พร้อมใช้งานผ่านเบราว์เซอร์แต่จะแสดงเฉพาะ JSON พร้อมการตอบสนอง API (จำเป็นสำหรับการเรียก API) เครื่องมือหลักในการแสดงข้อมูลเป็นภาพคือแดชบอร์ด OpenSearch(ทดแทนสำหรับคิบานะ). การกำหนดค่าการเชื่อมต่อโครงข่ายทั้งหมดจะดำเนินการโดยอัตโนมัติ - โซลูชันนี้พร้อมใช้งานทันทีเมื่อนำออกจากกล่องและไม่จำเป็นต้องกำหนดค่าด้วยตนเองใดๆการเข้าถึงสามารถใช้ได้โดยใช้ข้อมูลรับรองเดียวกันกับ Node OpenSearch

หลังจากเข้าสู่ระบบอินเทอร์เฟซ OpenSearch Dashboards จะปรากฏขึ้นแดชบอร์ดมี UI สำหรับการโต้ตอบที่สะดวกกับ OpenSearch API และแก้ไขข้อมูลของคุณ (หลังจากสร้างรูปแบบดัชนี)

บันทึก:แดชบอร์ด OpenSearchไม่ใช่สแต็กแยกและไม่สามารถสร้างแยกจาก OpenSearch ได้นอกจากนี้ยังจำกัดอยู่ที่ Node เดียวเนื่องจากการปรับขนาดไม่ได้ให้ประโยชน์เพิ่มเติม

ฟังก์ชันปกติทั้งหมดของเทมเพลตที่ผ่านการรับรอง (ตัวจัดการไฟล์แดชบอร์ด, Web SSH, ไฟร์วอลล์, บันทึก) ก็มีให้สำหรับ Node นี้เช่นกัน

ล็อกสแตช

ล็อกสแตชเป็นส่วนประกอบตัวประมวลผลข้อมูลของคลัสเตอร์ OpenSearch ที่ได้รับการกำหนดค่าโดยอัตโนมัติโดยแพลตฟอร์มด้านล่างนี้คุณสามารถดูตัวอย่างการกำหนดค่าอัตโนมัติเริ่มต้นได้/etc/logstash/conf.d/logstash-sample.conf::

อินพุตสำหรับเต้นถูกกำหนดไว้ที่ท่าเรือ5044และเอาต์พุต OpenSearch จะถูกระบุโดยการตั้งค่าโฮสต์ชื่อผู้ใช้และรหัสผ่านสำหรับการเชื่อมต่อโครงข่ายปลั๊กอินสำหรับอินพุตประเภทอื่นสามารถติดตั้งได้ด้วยlogstash-pluginเครื่องมือและการกำหนดค่าสามารถเพิ่มลงในไฟล์เดียวกันได้ (ด้วยพอร์ตอื่น)

บันทึก:ล็อกสแตชไม่ใช่สแต็กแยกและไม่สามารถสร้างแยกจาก OpenSearch ได้คุณสามารถเพิ่ม Node Logstash ได้มากเท่าที่ต้องการ - กำลังปรับขนาดอยู่โหมดเก็บสถานะเพื่อจัดเตรียมการกำหนดค่าเริ่มต้นอย่างไรก็ตามแต่ละ Node สามารถกำหนดค่าใหม่สำหรับการแปลงข้อมูลที่แตกต่างกันได้

โปรแกรมเสริม Beats

เต้นเป็นแพลตฟอร์มแบบเปิดฟรีสำหรับผู้จัดส่งข้อมูลที่มีจุดประสงค์เดียวพวกเขาส่งข้อมูลจาก Node ไคลเอนต์ไปยัง Logstash หรือ OpenSearch

• 7.12.1- เพื่อส่งข้อมูลโดยตรงไปยัง OpenSearch (ดูแผนภูมิความเข้ากันได้)

บันทึก:สำหรับการเชื่อมต่อโดยตรงคุณต้องเพิ่มบรรทัดต่อไปนี้ในการกำหนดค่า OpenSearch และรีสตาร์ท Node:

สำเนา yaml

compatibility.override_main_response_version: true

• ล่าสุด- เพื่อส่งข้อมูลไปยัง OpenSearch ผ่านล็อกสแตช

ระหว่างการติดตั้งคุณต้องระบุข้อมูลต่อไปนี้:

• ตัวแทนที่ติดตั้ง- เลือกประเภท Beats ที่ต้องการ:

  • ไฟล์บีท- ส่งต่อและรวมศูนย์บันทึกและไฟล์การตั้งค่าล่วงหน้าพร้อมใช้งานแล้วสำหรับ Node ที่ผ่านการรับรองหลายรายการ:อาปาเช่(ทั้งหมด),NGINX(ทั้งหมด),HAProxy,เรดิส,โพสต์เกรส,MySQL,มาเรียดีบี,เพอร์โคนา.ทอมแคท/ทอมอีต้องมีการกำหนดค่าพิเศษ
  • เมตริกบีท- รวบรวมตัวชี้วัดจากระบบและบริการของคุณ
  • เจอร์นัลบีท- ส่งต่อและรวมศูนย์ข้อมูลบันทึกจากวารสาร systemd. เมื่อติดตั้งเป็นตัวแทนบนเซิร์ฟเวอร์ของคุณ Journalbeat จะตรวจสอบตำแหน่งบันทึกที่คุณระบุรวบรวมเหตุการณ์บันทึกและส่งต่อไปยังเปิดการค้นหาหรือล็อกสแตช.
  • แพ็คเก็ตบีท- ตรวจสอบการรับส่งข้อมูลเครือข่ายของคุณเพื่อให้มั่นใจถึงประสิทธิภาพและความปลอดภัยในระดับสูง Packetbeat เป็นตัววิเคราะห์แพ็คเก็ตเครือข่ายน้ำหนักเบา
  • การเต้นของหัวใจ- ตรวจสอบบริการสำหรับความพร้อมใช้งานด้วยการตรวจสอบที่ใช้งานอยู่โดยจะตรวจสอบเวลาตอบสนองและหาก URL ที่ระบุยังมีชีวิตอยู่ก็จะส่งข้อมูลนี้ไปยังสแต็กอื่นเพื่อการวิเคราะห์เพิ่มเติม

• เอาชนะเวอร์ชัน OSS- เลือกเวอร์ชันตัวแทนที่ต้องการ

• โฮสต์ OpenSearch- ป้อนโฮสต์ OpenSearch (หรือ Elasticsearch)
• ข้อมูลรับรอง- ให้ข้อมูลการเข้าถึงสำหรับโฮสต์ OpenSearch ที่ระบุ (ผู้ใช้และรหัสผ่าน)
• โฮสต์แดชบอร์ด OpenSearch- ป้อนโฮสต์ OpenSearch Dashboards (อาจจำเป็นสำหรับจุดประสงค์ในการแสดงภาพ)
• Logstash โฮสต์- เข้าสู่โฮสต์ Logstash (หากทำการเชื่อมต่อโครงข่ายผ่าน Logstash)

บันทึก:การส่งข้อมูลไปยังเอาต์พุต OpenSearch และ Logstash พร้อมกันคือไม่รองรับ- สามารถใช้เอาต์พุตได้เพียงอันเดียวในคราวเดียวหากคุณต้องการส่งข้อมูลผ่าน Logstash ให้ระบุเฉพาะโฮสต์และพอร์ต Logstash (ไม่จำเป็นต้องใช้โฮสต์ OpenSearch และข้อมูลประจำตัว)

• ชื่อ Environment- เลือก Environment เป้าหมาย
• Node- เลือกเลเยอร์เป้าหมาย

การตั้งค่าเหล่านี้สามารถแก้ไขได้สำหรับ Add-on ที่ติดตั้งไว้แล้วโดยใช้กำหนดค่าปุ่ม.

การติดตั้งคลัสเตอร์ OpenSearch

คุณสามารถสร้างคลัสเตอร์ OpenSearch ได้โดยตรงจากตัวช่วยสร้างโทโพโลยี. กระบวนการนี้เป็นไปโดยอัตโนมัติอย่างสมบูรณ์

เลือกเปิดการค้นหากองในฐานข้อมูล NoSQLส่วน.

สแต็กได้รับการกำหนดค่าเป็นคลัสเตอร์โดยอัตโนมัติเนื่องจากการจัดกลุ่มอัตโนมัติคุณสมบัติ. คุณยังมีตัวเลือกเพิ่มเติมในการเพิ่มแดชบอร์ด OpenSearchและล็อกสแตชส่วนประกอบ

OpenSearch กับประสิทธิภาพ Elasticsearch

โปรเจ็กต์ OpenSearch ได้รับการแยกจาก Elasticsearch รุ่นล่าสุดภายใต้ลิขสิทธิ์ Apache 2.0 และเกือบจะเหมือนกันในด้านฟังก์ชันการทำงาน API นั้นเหมือนกันโดยสิ้นเชิง

ด้านล่างนี้คือผลลัพธ์ของการทดสอบประสิทธิภาพบน Environment Magento สอง Environment ที่มีโทโพโลยีเดียวกัน:

• วีโอไอพีพร้อม Elasticsearch

*วีโอไอพีพร้อม OpenSearch

OpenSearch มีฟังก์ชันและประสิทธิภาพเช่นเดียวกับ Elasticsearch และสามารถใช้แทนได้