เข้าใจให้ลึกเรื่อง AI Engineering เรากำลังถึงจุดสูงสุดของ HYPE AI Engineering สร้าง AI App. จะเป็นเรื่องง่ายของทุกคน ในปี 2029

AI Engineering เป็น Hype ใหม่ของวงการเทคโนโลยีที่มาพร้อม ๆ กับ Agentic AI หรือ AI Agent ที่บริษัทของเราซึ่งทำงานด้าน Data และ AI มากกว่าครึ่งนึงของรายได้บริษัทมาจาก การทำงาน Data Foundation และ AI/ML Solutions ซึ่งทีมงานส่วนใหญ่ในทีมนี้เป็น Data Enginner ครับ ความเปลี่ยนแปลงที่เกิดขึ้นในระยะหลัง ๆ เราเปลี่ยนความคิดว่า งาน Data Engineer จะกลายเป็นเสมือนงาน IT ที่คนในองค์กรนั้น ๆ ควรจะทำเอง เพราะมันกลายเป็น Foundation ของธุรกิจ และเครื่องมือในการทำ Data Flow Pipeline Automation มีความสะดวกมากขึ้น ในระยะหลังความสามารถเรื่องนี้เป็นสิ่งที่มี Practice ให้สามารถเรียนรู้และพัฒนาได้ แนวโน้มเครื่องมือนอกจากทำให้การทำงานด้าน Data ดีขึ้นแล้ว การมาของ Generative AI ทางทีมงาน และ Technology Partner ของเราเห็นตรงกันครับ ว่า Learning Pool และการทำ DE เป็นเรื่องที่ไม่ซับซ้อนอีกต่อไป แต่ละเอียดและถึกในการทำงานจริง กับ Data ที่แตกต่าง และวุ่นวายในแต่ละธุรกิจ ความซับซ้อนด้านเทคโนโลยีไม่น่ากังวลเท่ากับความซับซ้อนของข้อมูล Data Source ในองค์กร

ในระยะหลัง เราเลยพยายามสร้าง ทีมที่เป็น AI Engineer แต่เนื่องจากเราไม่ใช่ AI Startup ซะทีเดียว(ก็ริเริ่มกันอยู่) เราเลยขยับจาก ความสามารถด้าน Data Engineer มาเป็น Applied AI Engineer เป็น DE ที่สามารถทำงานกับ Data พื้นฐาน Big Data, Data Foundation และ เตรียมความพร้อมเพื่อทำงานกับ AI Model Pipeline ของเราไม่ได้จบแค่ ETL เราต้องทำ RAG(Retrieval-augmented generation) ในระดับที่ Advance ได้พร้อมเข้าใจ Tools และ Framwork ในการพัฒนา AI Application ได้ ตอบรับการมาของ AI Engineering

การปรับ Skill เหล่านี้เพื่อให้คลอบคลุมศาสตร์ AI ที่หลากหลายในตอนนี้ และเนื่องจากเราเป็น Implementer ให้กับลูกค้าหลาย ๆ รายที่มีความต้องการที่แตกต่างกัน การทำงานจึงมักเป็น Applied LLMs หรือ Model หลากหลายในปัจจุบัน ที่สามารถตอบโจทย์ Solutions ตามข้อจำกัดและความต้องการ

แล้ว AI Engineer ทำอะไรล่ะ แน่นอนว่า ช่วยออกแบบพัฒนาสถาปัตยกรรม Solutions ด้วย เครื่องมือ และโมเดล AI หลายแขนงประกอบกันประมาณนั้น แต่เราจะมาลองทำความเข้าใจลึก ๆ ถอดออกมาจากหนังสือ จากคุณ Chip Huyen ผู้เขียนหนังสือ อธิบาย AI Engineering ไว้อย่างละเอียด

AI Engineering : Building Applications with Foundation Models

นิยามจากปกสั้น เข้าใจง่าย AI Engineering : Building Applications with Foundation Models วิศวะกรรมเอไอ คือ การสร้างแอพจากโมเดล Foundation หรือโมเดล AI ขนาดใหญ่ที่ถูกเทรนเป็นตัวตั้งต้นพื้นฐาน ก่อนการถูกนำไปปรับใช้หรือ สอนเพิ่มเติม ใครอยากเข้าใจ Foundation คลิกอ่านบทความเก่าได้ครับ

ก่อนเล่ารายผมอยากให้ทุกคนเห็นส่วนนี้กันก่อน รายงานของ Gartner เมื่อกลางปี 2024 ออกกราฟ กราฟ Hype Cycle ที่แสดงให้เห็นถึงการพัฒนาและการยอมรับเทคโนโลยีปัญญาประดิษฐ์ (AI) ต่างๆ ตามระยะเวลา โดยแกนตั้งแสดงถึงความคาดหวังต่อเทคโนโลยีนั้นๆ และแกนราบแสดงถึงระยะเวลา (Time)

ตอนนี้ AI Engineering สูงสุดของ Hype Cycle

จะเห็นว่า AI Engineering อยู่ในช่วงสูงสุดของความ Hype คือ มีความคาดหวังที่สูงมากต่อเรื่องนั้น ซึ่งจะสูงขึ้นอย่างรวดเร็ว ซึ่งบางครั้งก็เป็นกระแส ที่คาดหวังในการพัฒนาหรือการยอมรับเทคโนโลยีสูงกว่าความเป็นจริง ถ้ากราฟนี้ออกกลางปี 2024 ประมาณปี 2026 ก็น่าจะเป็นช่วงเวลาทองของ AI Engineering ความต้องการพัฒนาเทคโนโลยี AI จากโมเดลพื้นฐานกลางที่ Solutions ที่ต้องการอย่างมากของธุรกิจ

ในระยะ ภายใน 2 – 5 ปีนับจากปี 2024 AI Engineering จะถึง ถึง Plateau of Productivity คือ สามารถใช้งานได้อย่างมีประสิทธิภาพและอย่างแพร่หลาย บ่งบอกว่าวิธีการและเครื่องมือต่างๆ ในด้าน AI Engineering ได้รับการพัฒนาให้ดีขึ้นและใช้งานได้ง่ายขึ้นแล้ว

AI Engineering: วิศวกรรมปัญญาประดิษฐ์คืออะไร?

AI Engineering (วิศวกรรมปัญญาประดิษฐ์) เป็นศาสตร์ที่เกี่ยวข้องกับการพัฒนา ระบบ AI ให้สามารถทำงานได้จริงในระดับอุตสาหกรรม ครอบคลุมตั้งแต่ การออกแบบ, การพัฒนา, การปรับปรุงประสิทธิภาพ, และการใช้งานโมเดล AI ในระบบซอฟต์แวร์และแพลตฟอร์มต่างๆ

ในอดีต การทำงานกับ AI มักเป็นหน้าที่ของ Machine Learning Engineer (MLE) ซึ่งเน้นการสร้างและฝึกโมเดลให้มีความแม่นยำสูงสุด แต่ในปัจจุบัน AI Engineer (AIE) ต้องก้าวข้ามขีดจำกัดเดิม โดยเน้นการนำ AI ไปใช้จริงผ่านการออกแบบสถาปัตยกรรม, การเพิ่มประสิทธิภาพ, และการปรับแต่งการคำนวณเพื่อให้ AI สามารถทำงานได้ในสภาพแวดล้อมที่หลากหลาย การพัฒนา AI Application มีการวัดผลความสำเร็จของ Model ไม่เหมือนกันกับ ML ซึ่งต้องเพิ่มความสามารถตรงนี้เข้าไปด้วย

ซึ่งแน่นอนว่า AI Application ที่ว่า ในโลก AGI และ Agentic AI เรามุ่งไปที่การสร้าง AI Agent ปัญญาประดิษฐ์ที่ทำงานได้แบบอัตโนมัติ มีความสามารถในการคิดว่าแผน และทำให้เป้าหมายงานเสร็จสิ้น

คำจำกัดที่ที่ดี มาจากงาน AIE AI Engineering Summit อธิบายไว้ว่า AI Agent ไว้ว่า Agent : an agent is an AI Application consisting of a model equipped with instructions that guide its behavior, access to tools. that extend its capabilities, encapsulated in a runtime with a dynamic lifecycle.

ซึ่ง Focus 4 Keywords ซึ่งผมจะใช้นิยาม หน้าที่สำคัญ 4 อย่างของของ AI Engineer

1. Model เราจะต้องสามารถเข้าใจความสามารถและสถาปัตยกรรมของ Model เบื้องต้น เพื่อนำมาใช้งานกับ AI Agent โมเดลในบาง Solutions อาจจะเฉพาะทาง บางโครงการอาจจะต้องใช้ Model ที่มีความสามารถคิดวิเคราะห์ Reasonsing หรือ รองรับแค่ Text อย่างเดียวหรือจำเป็นต้องเป็น Multimodal การเข้าเลือกโมเดลให้เหมาะมีผลต่อประสิทธิภาพ และมีผลต่อราคาการใช้งานจริง เลือกผิดผลาญเงินหมดเครดิต กันได้เลย
2. Instrctions การกำหนดบทบาทหน้าที่ของ Agent ให้อยู่ในกรอบของเป้าหมายที่อยากให้ Agent สามารถทำได้ราบรื่นรักษาระดับคุณภาพไว้ได้ AI Agent ที่เก่ง เราวัดผลโดย¹การวัด Consistancy ของการทำงานของ Agent สามารถรักษามาตรฐานการทำงานได้ในหลาย ๆ สถานการณ์ หลาย ๆ สภาพแวดล้อมได้
3. Tools เลือกเครื่องมือที่ต่อให้กับ Agent ใช้งาน เรียก API หรือเรียกใช้งาน Agent ตัวอื่น ผ่าน MCP² (Model Context Protocol) ทำหน้าที่เป็น โปรโตคอลมาตรฐานเชื่อมต่อกับ เชื่อมต่อและโต้ตอบกับแหล่งข้อมูลหรือเครื่องมือภายนอก Agent AI จะเน้นการสร้างความสามารถให้ Agent ด้วยเครื่องมือ ซึ่งสำคัญมากเช่นกัน ศึกษาเพิ่มเติมจาก บทความ Agentic AI
4. Runtime การออกแบบ Technology Stack ให้สนับสนุนการทำงานของ Agent ได้อย่างราบรื่น เพราะ Agent ต้องเชื่อมต่อข้อมูลภายในภายนอก ต้องเชื่อมเครื่องมือ ต้องเชื่อมโมเดล และต้องมีระบบการตรวจสอบ บริหารจัดการ Memory และอื่น ๆ อีกมาก

นี่คืองานของ Ai Engineer

องค์ประกอบหลักของ AI Engineering

1. การพัฒนาโมเดล AI → นำ Machine Learning และ Deep Learning มาสร้างโมเดลที่สามารถเรียนรู้และปรับตัวได้
2. การทำให้ AI พร้อมใช้งาน (AI Deployment & Optimization) → ปรับแต่งโมเดลให้สามารถทำงานได้อย่างมีประสิทธิภาพ เช่น ลดระยะเวลา Inference หรือใช้ทรัพยากรให้น้อยที่สุด
3. การผสาน AI เข้ากับซอฟต์แวร์ → ทำให้โมเดล AI สามารถทำงานร่วมกับระบบ Software Engineering ที่ใช้งานจริงได้
4. การสร้าง AI ที่มีความน่าเชื่อถือและปลอดภัย → คำนึงถึงจริยธรรม, ความโปร่งใส, และความสามารถในการอธิบายผลลัพธ์ของ AI

ทำไม AI Engineering จึงสำคัญ?

• ช่วยให้ AI ไม่ใช่แค่โมเดลที่ทำงานในห้องทดลอง แต่สามารถนำไปใช้ได้จริงในภาคธุรกิจและอุตสาหกรรม
• ทำให้ AI มีความเร็ว, แม่นยำ และปลอดภัยยิ่งขึ้น
• สนับสนุนการสร้าง AI ที่มีประสิทธิภาพ, ใช้งานได้จริง, และขยายขีดความสามารถของซอฟต์แวร์ ให้ฉลาดเพิ่มความสามารถผนวก AI เข้าไปเพิ่ม

โดยสรุป AI Engineering กำลังกลายเป็นสาขาที่สำคัญและแตกต่างจากวิศวกรรมดั้งเดิมอย่างชัดเจน ด้วยเหตุผลหลักหลายประการดังนี้:

• การให้ความสำคัญมากขึ้นกับ AI Agents: วงการ AI กำลังเปลี่ยนโฟกัสไปสู่การพัฒนาและใช้งาน AI agents อย่างจริงจัง ตัวอย่างเช่น งาน AI Engineer Summit ได้ปรับหัวข้อหลักไปเป็น “Agent Engineering” ซึ่งสะท้อนถึงแนวโน้มสำคัญนี้ การเปลี่ยนแปลงนี้ต้องการแนวทางการวิศวกรรมเฉพาะทางเพื่อสร้าง ทดสอบ และใช้งานระบบที่มีความสามารถอัตโนมัติในระดับสูง

• ความเป็นไปได้จริงของ AI Agents ที่ขับเคลื่อนโดย LLMs: แม้แนวคิดของ AI agents จะมีมานานหลายทศวรรษ แต่ความก้าวหน้าของ Large Language Models (LLMs) และเครื่องมืออัตโนมัติในปัจจุบันได้ทำให้การสร้างและใช้งานในโลกจริงเป็นไปได้อย่างกว้างขวาง การเปลี่ยนจากทฤษฎีสู่การปฏิบัตินี้ต้องอาศัยวิศวกรที่มีทักษะเฉพาะในการใช้เทคโนโลยีเหล่านี้

• การเชื่อมช่องว่างระหว่าง Machine Learning Engineering และ Software Engineering: AI Engineering ไม่ใช่แค่ส่วนขยายของ Machine Learning Engineering หรือ Software Engineering เท่านั้น แต่เป็นการผสานทักษะของทั้งสองด้านเข้าด้วยกัน เช่น MLE อาจเน้นเรื่องการฝึกโมเดล ส่วน Software Engineering เน้นเรื่องการสร้างแอปพลิเคชัน AI Engineering จะเชื่อมโยงสองมิตินี้ เพื่อสร้างระบบที่ขับเคลื่อนด้วย AI ได้อย่างสมบูรณ์

• การรับมือกับความท้าทายเฉพาะของระบบ AI: AI agents ต้องเผชิญกับความท้าทายใหม่ ๆ เช่น การขยายขนาด ความแม่นยำ หน่วยความจำ และความน่าเชื่อถือ LLMs มีลักษณะไม่แน่นอน (stochastic) ซึ่งทำให้ต้องใช้แนวคิดด้าน reliability engineering (วิศวกรรมความเชื่อถือได้) เพื่อให้ระบบสามารถพึ่งพาได้จริงในสายตาผู้ใช้

• ความต้องการวงจรการพัฒนาเฉพาะทาง: วงจรการพัฒนาซอฟต์แวร์แบบเดิมไม่สามารถใช้กับ AI agents ได้ทั้งหมด เช่น Sierra ได้เสนอแนวทาง “Agent Development Life Cycle” ที่เน้นการพัฒนาแบบวนซ้ำกับผู้ใช้จริงใน production เพื่อปรับแต่งและทำให้ AI agents มีประสิทธิภาพสูงสุด

• ความต้องการที่เพิ่มขึ้นในหลายอุตสาหกรรม: หลายภาคส่วน เช่น การเงิน (Jane Street, BlackRock, Morgan Stanley ฯลฯ) และสินค้าอุปโภคบริโภค (Sonos, ADT, Sirius XM) เริ่มนำ AI agents มาใช้อย่างจริงจัง ซึ่งกระตุ้นความต้องการบุคลากร AI Engineer ที่สามารถพัฒนาและดูแลระบบเหล่านี้

• วิวัฒนาการของบทบาท AI Engineer: หน้าที่ของ AI Engineer กำลังเปลี่ยนจากแค่การฝึกโมเดล ไปสู่การสร้างและปรับใช้งาน AI agents ที่ชาญฉลาด ซึ่งต้องอาศัยทักษะที่หลากหลาย เช่น prompt engineering, การเรียกใช้เครื่องมือภายนอก (tool calling), การประเมินผล และการนำระบบไปใช้งานจริง

• การเน้นความเป็นจริงและผลลัพธ์ในโลกจริง: AI Engineering มีเป้าหมายเพื่อทำให้ AI ใช้งานได้จริงและสร้างคุณค่าในชีวิตประจำวัน ซึ่งเป็นหัวใจสำคัญที่ทำให้สาขานี้แตกต่างและจำเป็นอย่างยิ่งในยุคนี้

• การเติบโตของโมเดลโอเพ่นซอร์สและ AI ในเครื่อง (Local AI): ความสามารถของโมเดล AI แบบเปิด (open models) ที่เพิ่มขึ้น ทำให้เกิดโอกาสใหม่ในการสร้าง AI agents ส่วนตัวและปลอดภัยมากขึ้น วิศวกร AI จึงมีบทบาทสำคัญในการแก้ไขปัญหาเชิงเทคนิคที่เกี่ยวข้องกับการทำงานแบบ local และการสร้างแอปพลิเคชันจากโมเดลเหล่านี้

สรุป:
AI Engineering คือสาขาวิศวกรรมที่จำเป็นอย่างยิ่งในยุคที่ AI Agents กำลังกลายเป็นกระแสหลัก โดยมุ่งแก้ปัญหาทางวิศวกรรมที่เฉพาะเจาะจงของระบบ AI ที่ฉลาดและเป็นอัตโนมัติ มันเชื่อมโยงและขยายขอบเขตของสาขาเดิม พร้อมทั้งสร้างแนวทางใหม่ เพื่อขับเคลื่อนศักยภาพของ AI ให้กลายเป็นจริงในโลกธุรกิจและชีวิตจริงในวงกว้าง สายงาน Data Engineer สำหรับมุมมองของผม พื้นฐานนี้จะขยับมาเป็น AI Engineer ได้ เร็วที่สุด แต่ก็ต้องอาศับความพยายามในการศึกษาเพิ่มเติมมากขึ้นด้วยเช่น กัน ขอให้องค์กรที่มีความพร้อมมี AI Application เป็นของตัวเอง ไว้ช่วยธุรกิจของทุก ๆ คนนะครับ นี่คือช่อง YouTube ที่อยากให้ Sub ไว้ครับ

เนื่องจากบทความนี้ค่อนข้างยาว การเข้าใจบริบทของ AI Engineering ยังต้องเข้าใจมุมมองพื้นฐานของ AI ในยุคก่อน และในยุค AGI จะเข้าใจ AI Engineering มากขึ้นไว้เขียนในบทความถัดไปติดตามกันนะครับ

1. Agent Evaluation =  
   Evaluation consists of agent taking action on some environment (Such as a website or virtual machine) ↩︎
2. MCP (Model Context Protocol) เป็นโปรโตคอลมาตรฐานแบบโอเพนซอร์สที่พัฒนาโดยบริษัท Anthropic เพื่อช่วยให้โมเดลปัญญาประดิษฐ์ขนาดใหญ่ (LLM) สามารถเชื่อมต่อและโต้ตอบกับแหล่งข้อมูลหรือเครื่องมือภายนอกได้อย่างมีประสิทธิภาพและปลอดภัย ↩︎