การสร้าง แพลตฟอร์มการซื้อขาย ออนไลน์

การสร้างแพลตฟอร์มการซื้อขายโดยใช้คาฟคาพายุและคาสซานดรา Janusz Slawek 22 ตุลาคม 2014 Janusz Slawek วิศวกรข้อมูล เพื่อน Insight 2014 Janusz Slawek เป็นอยู่ในปัจจุบันวิศวกรและข้อมูลที่เป็นข้อมูลวิศวกรรม Insight เพื่อนในการสถาปนามิถุนายน 2014 เซสชั่น ที่นี่เขาให้ภาพรวมระดับสูงของท่อส่งข้อมูลที่เขาสร้างขึ้นที่ Insight เพื่อจัดการกับข้อมูล Forex สำหรับการซื้อขายอัลกอริทึม, ก​​ารแสดงและงานรวมชุด ตลาดแลกเปลี่ยนเงินตราต่างประเทศหรืออัตราแลกเปลี่ยนที่ใหญ่ที่สุดและบริการแลกเปลี่ยนเงินตรามีสภาพคล่องมากที่สุดในโลกที่มีมากกว่า $ 4000000000000 มูลค่าของการซื้อขายที่ทำทุกวัน มันเป็นตลาดระดับโลกอย่างแท้จริงเท่านั้นที่หลับวันหยุดสุดสัปดาห์ เป็นธุรกิจที่น่าสนใจที่จะนำรากมาจากประวัติศาสตร์โบราณแลกเปลี่ยนได้สูงอย่างต่อเนื่องกับเทคโนโลยีในช่วงหลายปี อย่างไรก็ตามเช่นเดียวกับในครั้งเก่าประสบความสำเร็จในการซื้อขายจะใช้เวลาในการวิเคราะห์จิตใจและจิตวิญญาณนักการพนันตามที่ต้องการผู้ประกอบการในการจัดการการจัดการที่ดีของความเสี่ยงและความเครียด ในขณะที่สถาบันการเงินที่จัดตั้งขึ้นใช้ระบบราคาแพงในการดำเนินธุรกิจการค้าเช่น latency ต่ำอัลตร้าซอฟแวร์การเข้าถึงตลาดโดยตรง นักลงทุนรายย่อยมีเพียงเครื่องมือง่ายๆในการกำจัดของพวกเขาเช่น Meta Trader หรือนินจาผู้ซื้อขาย ซอฟแวร์ราคาไม่แพงอยู่และทำงานร่วมกันกับการให้บริการนายหน้าซื้อขายหลักทรัพย์ มันมักจะช่วยให้การดำเนินการขั้นตอนวิธีการซื้อขายที่กำหนดเอง แต่ก็ไม่ได้ช่วยให้การวิเคราะห์ข้อมูลทางการเงินที่อุดมไปด้วยซึ่งเป็นสิ่งสำคัญที่จะทำให้การตัดสินใจซื้อขายหรือขั้นตอนวิธีการซื้อขายอาคาร การแก้ไขปัญหานี้ผมสร้างแพลตฟอร์มการซื้อขายแลกเปลี่ยนเรียกว่าหมาป่า กับหมาป่าตอนนี้เราสามารถเห็นภาพข้อมูลทางการเงินในเวลาจริง รันคำสั่งซื้อขายที่มีความล่าช้าน้อย และวิเคราะห์เหตุการณ์ทางประวัติศาสตร์ออฟไลน์ มันเป็นเรื่องง่ายที่จะใช้และต่อเนื่องร่วมกับโบรกเกอร์และผู้ให้บริการภายนอกข้อมูล ผมแต่งหมาป่าของกลุ่มบริการที่แสดงในรูปที่ 1 รูปที่ 1 สถาปัตยกรรมของหมาป่า ประมวลผลอินพุตหมาป่าสองประเภทของปัจจัยการผลิต: การปรับปรุงอัตราการแปลงเจ็ดคู่สกุลเงินหลักและคำสั่งซื้อขายจากนักลงทุน ในรูปที่ 1 ปัจจัยการผลิตประเภทแรกมาจาก & quot; ผู้ให้บริการข้อมูล & quot; บริการที่ด้านล่าง ปัจจัยการผลิตประเภทสองจะทำหน้าที่ในการระบบจาก & quot; API กฎ & quot ;, โมดูลตั้งอยู่ในมุมขวาบน กระแสแรกของข้อมูลเป็นสิ่งสำคัญในการดำเนินงานของหมาป่า มันเป็นสารสกัดจากข้อมูลที่รวบรวมโดยเว็บไซต์ HistData พวกเขาจะทำหน้าที่ในระบบที่มีความละเอียดถึงหนึ่ง & quot นั้นติ๊ก & quot; ต่อมิลลิวินาทีคืออัตราการแปลงของแต่ละคู่สกุลเงินที่มีการปรับปรุงมากที่สุดครั้งหนึ่งมิลลิวินาที ในขณะเดียวกันผู้ใช้ของระบบให้กระแสที่สองของเหตุการณ์ที่เกิดขึ้นโดยการส่งคำสั่งซื้อขายผ่านเว็บอินเตอร์เฟสหรือ API สงบ ทั้งสองประเภทของปัจจัยการผลิตป้อน Multiplexer ให้ดูรูปที่ 1 Multiplexer จะดำเนินการโดยใช้คาฟคา คิวถาวรซึ่งเป็นความยืดหยุ่นที่จะล้มเหลวของฮาร์ดแวร์, มีความจุพริ้งและช่วยให้บัฟเฟอร์ข้อมูลในช่วงระยะเวลาที่กำหนดของเวลา ข้อมูลการกำหนดเส้นทางด้วยความเร็วที่แตกต่างกับคาฟคาฉันสร้างสามชั้นเรียนของผู้บริโภคสำหรับการจัดกิจกรรมจาก Multiplexer นี้: เครื่องยนต์กฎที่ให้บริการการสร้างภาพแบบ real-time และการบริการรวมชุด พวกเขาจะอยู่เหนือ Multiplexer ในรูปที่ 1 เครื่องยนต์กฎก็คือสามารถที่จะดึงทุกมิลลิวินาทีไม่ขัดจังหวะชั้นสร้างภาพในเวลาจริงที่กินทุกห้าร้อยมิลลิวินาที ในเวลาเดียวกัน, บริการรวมสิ้นเปลืองคำสั่งของขนาดช้าลงทุกสิบห้านาที ทั้งสามผู้บริโภคประมวลผลข้อมูลในอัตราที่แตกต่างกันมากเพราะพวกเขาเป็นตัวแทนสามกรณีการใช้งานที่แตกต่างกันของหมาป่า เครื่องยนต์กฎจะต้องดำเนินการคำสั่งซื้อขายจากนักลงทุนที่มีความล่าช้าน้อยมาก ชั้นสร้างภาพหรือ Grapher จะต้องปรากฏโต้ตอบกับผู้ใช้งาน แต่ไม่เปียกโชกเครือข่าย ชั้นจะต้องรวมตัวประมวลผลเหตุการณ์ในปริมาณมาก ทั้งสามคนนี้มีความสามารถในการส่งผ่านการค้าสูงเป็นเวลาตอบสนองต่ำหรือในทางกลับกันต้องขอบคุณ Kafka39; s ออกแบบมาโดยเฉพาะกลุ่มผู้บริโภค ท่อส่งข้อมูลสำหรับเครื่องยนต์กฎ: อย่างรวดเร็วคำสั่งซื้อขายจะถูกแสดงในแง่ของ & quot; แล้วถ้า & quot; กฎระเบียบ ตัวอย่างของกฎดังกล่าวอาจจะมีคำสั่งต่อไปนี้: & quot; ถ้าอัตราการแปลงยูโรดอลลาร์สหรัฐน้อยกว่า 1.2 แล้วซื้อ 100 หน่วย & quot;. เครื่องมือการปกครองได้อย่างรวดเร็วจะต้องตรงกับปริมาณมากของกฎระเบียบดังกล่าวกับตลาดที่เปลี่ยนแปลงตลอดเวลา ในคำอื่น ๆ นักลงทุนที่ต้องการการค้าดังกล่าวข้างต้นดำเนินการที่ถูกต้องเมื่ออัตราการแปลงลดลงต่ำกว่าเกณฑ์ที่กำหนดไว้ มันเป็นปัญหาที่ท้าทายเป็นอัตราการแปลงที่มีความผันผวนแบบไดนามิก โมดูลของหมาป่าผู้รับผิดชอบในการดำเนินการคำสั่งซื้อขายที่เรียกว่าเครื่องมือกฎ ผมดำเนินการไว้ที่ด้านบนของตัวประมวลผลเหตุการณ์พายุ พายุเป็นโซลูชั่นที่ผ่านการทดสอบในสนามรบที่บูรณาการเป็นอย่างดีกับคาฟคา มันช่วยให้การสร้างการไหลเวียนของการประมวลผลที่กำหนดเองคือ topology ให้อย่าง ข้างล่างนี้คือการแสดงเวลาการทำงานของโครงสร้างที่ทำงานในคลัสเตอร์พายุ: พายุดูแล serializing เส้นทางและทบทวนเหตุการณ์ที่เกิดขึ้นจากแหล่งที่มาในกรณีของความล้มเหลว จะช่วยให้การกระจายโครงสร้างอาคารและฉีดตรรกะทางธุรกิจที่ผู้ใช้กำหนด ผมได้รับมอบหมายการดำเนินการที่เกิดขึ้นจริงของการซื้อและขายสกุลเงินที่จะให้บริการนายหน้าซื้อขายหลักทรัพย์ภายนอก ท่อส่งข้อมูลสำหรับการบริการการสร้างภาพแบบ real-time: รวดเร็วผู้บริโภคที่สองของเหตุการณ์จากคาฟคาเป็นบริการที่สร้างภาพในเวลาจริง มันมวลรวมการปรับปรุงล่าสุดออกสู่ตลาดเป็นเวลาสี่ชั่วโมง เพราะเหตุการณ์ที่เกิดขึ้นมาเรียงตามการประทับเวลาที่ผมตัดสินใจที่จะใช้ประโยชน์จากอีกที่รู้จักกันเป็นอย่างดีวิธีการแก้ปัญหาที่มาเปิดฐานข้อมูลคาสซานดรา มันถูกออกแบบมาให้มีประสิทธิภาพในการจัดเก็บชุดของข้อมูลที่ได้รับคำสั่ง คาสซานดราปุ่มร่วมกับรายการที่เรียงลำดับและจัดเก็บได้อย่างมีประสิทธิภาพโดยใช้ตารางสตริงที่เรียงลำดับ พวกเขามีการจำลองแบบจากเซิร์ฟเวอร์ที่เป็นแหวนตรรกะกับโทไม่มีกำหนดหรือทาส โดยการออกแบบคาสซานดราเป็นความยืดหยุ่นที่จะลอกเลียนแบบความล้มเหลวและข้อมูลผ่านศูนย์ข้อมูลหลาย ๆ ซึ่งจะทำให้การจัดเก็บข้อมูลการกระจายสูงที่มีอยู่ จะช่วยให้สอดคล้องกับการปรับแต่งการอ่าน / เขียนระดับ มันเป็นโซลูชั่นที่มีความสามารถมากที่ได้มาจาก DynamoDB และฐานข้อมูล LevelDB แต่มันเป็นระบบที่ซับซ้อนมากที่มีเคาน์เตอร์ทั่วโลกการทำธุรกรรมที่มีน้ำหนักเบาและอื่น ๆ อีกมากมาย ท่อส่งข้อมูลสำหรับการให้บริการรวมชุด: ช้าผู้บริโภคล่าสุดของเหตุการณ์จากคาฟคาเป็นบริการรวมชุด มันถูกออกแบบมาเพื่อเก็บทุกเหตุการณ์ในประวัติศาสตร์หลายร้อยเทราไบต์ของข้อมูล ฉันตัดสินใจที่จะใช้ Camus การเก็บรวบรวมข้อมูลจากคาฟคาและยังคงมีอยู่ให้พวกเขาเป็นกลุ่ม Hadoop ผมใช้ไฮฟ์ในการคำนวณมุมมองภาพรวมเช่น ฉันเปลี่ยนข้อมูลที่มีความละเอียดต่ำกว่าค่าเฉลี่ยอัตราการแปลงในช่วงเวลาและมุมมองเหล่านี้ส่งไปยังบริการการสร้างภาพในเวลาจริง วิธีการนี​​้จะช่วยให้การแสดงผลข้อมูลที่อยู่ในเครื่องชั่งน้ำหนักที่แตกต่างกัน วิธีการที่ฉันสามารถกราฟนาทีที่ล่าสุดของข้อมูลที่มีความละเอียดของมิลลิวินาทีและชั่วโมงล่าสุดของข้อมูลที่มีความละเอียดของหนึ่งนาทีเพื่อหลีกเลี่ยงการส่งจำนวนเงินที่มากเกินไปของจุดเวลาไปยังลูกค้า วางมันทั้งหมดเข้าด้วยกันด้านบนของการให้บริการการสร้างภาพแบบ real-time ฉันสร้างชั้นที่ให้บริการป้องกันผู้ใช้จากการสอบถามร้านค้าข้อมูลโดยตรงและช่วยเพิ่มเวลาตอบสนองของหมาป่า มันจะแสดงเป็น & quot; แคช & quot; โมดูลในรูปที่ 1 รหัสฝั่งไคลเอ็นต์การเลือกตั้งเป็นระยะ ๆ ชั้นที่ให้บริการสำหรับข้อมูลล่าสุด กราฟข้อมูลที่ผมนำมาใช้ห้องสมุด JavaScript Flot ที่สนับสนุนการวางแผนชุดแบบ real-time ในเว็บเบราเซอร์ เพื่อสรุปจากจุดทางเทคนิคของมุมมองส่วนที่ท้าทายที่สุดของการสร้างแพลตฟอร์มการซื้อขายเป็นไปอย่างถูกต้องพอดีกันไม่กี่ชิ้นส่วนที่เคลื่อนไหวและช่วยให้การประมวลผลปริมาณสูงของเหตุการณ์ที่มีความล่าช้าเล็กน้อยเช่นเดียวกับการแสดงผลและการคงอยู่ให้พวกเขาที่เชื่อถือได้ การเก็บรักษา เพื่อแก้ปัญหาที่ซับซ้อนนี้ผมสร้างต้นแบบแรกและคนเดียวหลังจากถูกแทนที่ด้วยช่วงของโซลูชั่นสนามรบ-ทดสอบ ที่จะมีหมาป่าทำงานแบบ end-to-end และกาวกันโครงร่างการเริ่มต้นของการให้บริการกระจายผมใช้ microframework ขวดและคู่ของสคริปต์เปลือก นี้ได้รับอนุญาตให้ฉันไปอย่างรวดเร็วใช้หลักฐานการแนวคิดอย่างต่อเนื่องแทนที่บริการล้อเลียนขึ้นและซ้ำปรับปรุงการออกแบบของระบบ ผมเชื่อว่าวิธีการนี​​้เป็นจริงกุญแจสู่ความสำเร็จของโครงการนี​​้ รู้สึกอิสระที่จะตรวจสอบพื้นที่เก็บข้อมูลหมาป่า Github เพื่อเรียนรู้เพิ่มเติม สนใจในการก้าวสู่อาชีพในด้านวิศวกรรมข้อมูล? ค้นหาข้อมูลเพิ่มเติมเกี่ยวกับข้อมูลวิศวกรรม Insight โปรแกรมเฟลในนิวยอร์กและ Silicon Valley ใช้วันนี้หรือลงทะเบียนสำหรับการปรับปรุงโปรแกรม แล้วนักวิทยาศาสตร์หรือวิศวกรข้อมูล? บรรลุเวลาจริงซื้อขายออนไลน์ผ่านเครื่องคอมพิวเตอร์ของคุณ DIY เทรดดิ้งเป็นหนึ่งในวิธีการที่คุณสามารถทำให้การทำงานของเงินของคุณสำหรับคุณ ถ้าคุณเข้าใจแนวคิดของการซื้อบ้านและขายได้ในภายหลังเมื่อราคาบ้านขึ้นไปคุณอยู่ในทางของคุณที่จะกลายเป็นผู้ประกอบการค้า: เงินที่คุณทำเมื่อคุณขายบ้านในราคาที่สูงเป็น profit.160 ของคุณคุณไม่จำเป็นต้องไปทำงานจะได้รับกำไรที่มิ คุณเพียงแค่ต้องเป็นเจ้าของ house.160 นั้น หลักการเดียวกันกับการค้า: คุณซื้อสินทรัพย์และคุณขายมันที่มีกำไรเมื่อเวลาที่ right.160; คุณสามารถซื้อขายผ่านทางคอมพิวเตอร์ของคุณโดยใช้แพลตฟอร์มการซื้อขายของเราวางคุณในการควบคุมทางการเงินของคุณ