ปรับแต่งและปรับใช้โมเดลการเรียนรู้เชิงลึกบนฮาร์ดแวร์ของ Intel
แปลงโมเดลที่ผ่านการฝึกอบรมเป็นรูปแบบกลางและดำเนินการอนุมานที่มีประสิทธิภาพสูงด้วย Model Optimizer และ Inference Engine โดยจัดการกับ CPUs, GPUs, และ NPUs บริษัท Intel Corporation จัดหาเครื่องมือโอเพ่นซอร์สนี้สำหรับการพัฒนาเดสก์ท็อปและขอบด้วย Python และ C++ APIs และการรวม Visual Studio รองรับ TensorFlow, PyTorch, ONNX, Keras, และ PaddlePaddle และรวมถึงเครื่องมือการควอนตาและการปรับใช้ GenAI เครื่องมือนี้เหมาะสำหรับนักพัฒนา AI และวิศวกรที่มุ่งเป้าไปที่ฮาร์ดแวร์ที่ใช้ Intel สำหรับการอนุมานที่มีความหน่วงต่ำและการส่งข้อมูลที่มีความเร็วสูง.
OpenVINO ทำอะไรให้กับโมเดลที่นำไปใช้งาน?
OpenVINO แปลงและเตรียมโมเดล โดยใช้ Model Optimizer เพื่อแปล TensorFlow, PyTorch, ONNX, Keras, และ PaddlePaddle อาร์ติแฟกต์ให้เป็น Intermediate Representation นอกจากนี้ Neural Network Compression Framework ยังใช้การควอนติเชั่นและการปรับแต่งอื่น ๆ เพื่อลดขนาดโมเดล Inference Engine จะดำเนินการไฟล์ IR เหล่านั้นบนโปรเซสเซอร์ Intel และกราฟิกที่รองรับ ซึ่งทำให้โมเดลที่แปลงแล้วสามารถทำงานบนอุปกรณ์ Intel ที่แตกต่างกันได้
มันมีผลต่อประสิทธิภาพของระบบในระหว่างการอนุมานหรือไม่?
เครื่องมือจะกำหนดเส้นทางการดำเนินการไปยังอุปกรณ์ Intel ที่ดีที่สุดที่มีอยู่ ดังนั้น CPU, GPU ที่รวมอยู่หรือแยกต่างหาก หรือ NPU สามารถทำการอนุมานได้ การสนับสนุนสำหรับโปรเซสเซอร์ Intel Core, Xeon, Atom และกราฟิก Arc, UHD, หรือ Iris Xe เป็นที่ชัดเจน และ Inference Engine จะมุ่งเป้าไปที่พรีมิติฟที่เหมาะสมกับอุปกรณ์เพื่อลดความล่าช้าและเพิ่มความสามารถในการประมวลผลในระหว่างการทำงาน นักพัฒนาสามารถเลือก backend ที่เฉพาะเจาะจงกับอุปกรณ์เพื่อตรวจสอบการโหลด CPU และการใช้เร่งความเร็ว
มันปลอดภัยและจัดการได้สำหรับสภาพแวดล้อมการผลิตหรือไม่?
OpenVINO ทำงานภายใต้ใบอนุญาตโอเพนซอร์สและรวมเข้ากับกระบวนการทำงานของนักพัฒนา ผ่าน Python และ C++ APIs และ Visual Studio hooks เครื่องมือจะให้ขั้นตอนการแปลงและปรับแต่งโมเดลก่อนการดำเนินการ ลดความจำเป็นในการเปลี่ยนแปลงไบนารีการผลิตในระหว่างการทำงาน Open Model Zoo จัดเตรียมโมเดลที่ผ่านการฝึกอบรมล่วงหน้า และ OpenVINO GenAI เพิ่มท่อสำหรับโมเดลเชิงสร้างสรรค์ ซึ่งทำให้ทีมสามารถนำทรัพย์สินที่ผ่านการตรวจสอบมาใช้ซ้ำแทนที่จะนำไบนารีโมเดลที่ยังไม่ได้ทดสอบไปใช้งานโดยตรง
เหมาะสำหรับทีม AI ที่มุ่งเน้น Intel; ต้องการความรู้เกี่ยวกับโมเดลและการปรับใช้
ชุดเครื่องมือเหมาะสำหรับนักพัฒนาและนักวิทยาศาสตร์ข้อมูลที่ต้องการการอนุมานที่มีประสิทธิภาพสูงบนฮาร์ดแวร์ Intel และสามารถทำงานกับขั้นตอนการแปลงโมเดลและการเลือกอุปกรณ์ ข้อควรระวังเพียงอย่างเดียว: ทีมที่ไม่คุ้นเคยกับการทำงานของการปรับแต่งโมเดลจะต้องเผชิญกับเส้นโค้งการเรียนรู้เนื่องจากกระบวนการนี้ต้องการการแปลงโมเดลเป็นรูปแบบ IR และการใช้ขั้นตอนการบีบอัดก่อนการปรับใช้.
