Edge AI: Enjin Baharu Kilang Pintar E&E Malaysia

AI dalam Pembuatan (Elektronik, Automotif, Semikonduktor)••By 3L3C

Kilang E&E Malaysia tak lagi boleh bergantung pada cloud untuk AI masa nyata. Edge AI berasaskan NPU cekap tenaga kini jadi enjin sebenar kilang pintar.

edge aikilang pintarpembuatan elektroniksemikonduktorautomotifNPUAI industri
Share:

Edge AI: Enjin Baharu Kilang Pintar E&E Malaysia

Pada banyak kilang elektronik dan automotif besar di Malaysia, daripada Penang hingga Kulim, sistem pemeriksaan kamera berkuasa AI sudah biasa kelihatan. Tetapi satu masalah berulang yang saya dengar daripada jurutera ialah ini: model AI hebat, tapi latency lari jauh daripada keperluan line production. Bila inference dibuat di cloud, satu minit line berhenti sebab delay rangkaian pun dah jadi kos ribuan ringgit.

Inilah sebabnya kenapa dunia pembuatan E&E sedang beralih daripada AI berasaskan cloud kepada AI di edge – AI yang berjalan terus pada peralatan di lantai produksi, robot, mesin SMT, AGV, dan PLC, tanpa bergantung kuat pada sambungan internet.

Artikel ini kupas bagaimana peralihan inference AI ke edge, digerakkan oleh seni bina NPU generasi baharu seperti yang diterangkan oleh Expedera, boleh menyokong kilang pintar di Malaysia – khususnya dalam elektronik, automotif dan semikonduktor.

Kenapa Cloud Tak Lagi Cukup Untuk Kilang Pintar

Untuk kilang pintar, masa tindak balas jauh lebih penting daripada “kecerdasan sangat besar di cloud”.

3 masalah utama inference di cloud

  1. Latency tak konsisten

    • Setiap panggilan API ke cloud menambah 50–200ms (atau lebih) bergantung kepada rangkaian.
    • Untuk visi komputer di line SMT atau AOI, beberapa ratus milisaat boleh membezakan antara hentian line dan aliran yang lancar.

  2. Kos operasi meningkat

    • Model besar yang dipanggil berulang kali dari ratusan kamera atau sensor bermaksud kos cloud berterusan.
    • Bila volume produksi naik hujung tahun (contoh peak season elektronik pengguna sebelum Tahun Baru Cina), kos inference cloud boleh meroket.

  3. Privasi dan IP kilang

    • Data imej produk, parameter proses, malah resepi semikonduktor ialah harta intelek yang sangat sensitif.
    • Menghantar data ini secara berterusan ke luar fasiliti menambah risiko keselamatan dan kebocoran.

Kenapa edge AI masuk akal untuk E&E Malaysia

Edge AI bermaksud model AI disimpan dan dijalankan terus di peranti di hujung rangkaian – contohnya dalam:

  • Kamera pemeriksaan kualiti di line PCBA
  • Robot lengan (cobots) di kilang automotif
  • Peralatan wafer fab dan backend test di sektor semikonduktor
  • AGV/AMR yang bergerak di gudang dan stor bahan

Kelebihannya jelas untuk operasi kilang:

  • Latency konsisten – tindak balas dalam beberapa milisaat, bukan bergantung pada internet luar.
  • Kos terkawal – pelaburan sekali pada NPU on-device, bukannya bil cloud yang naik setiap bulan.
  • Data kekal di dalam kilang – lebih mudah patuh keperluan keselamatan dalaman dan audit HQ global.

Ini selari dengan hala tuju MNC seperti Intel dan Infineon di Malaysia yang semakin menekankan kilang berautonomi tinggi dengan keputusan masa nyata.

Cabaran Sebenar Edge AI: Bukan Sekadar Letak Model Dalam Peranti

Ramai fikir, “Kalau cloud laju, kita cuma perlu NPU lebih besar di edge.” Realitinya tak semudah itu.

Perbezaan dunia cloud vs edge

  • Cloud: Pusat data dengan kluster GPU besar, kuasa dan penyejukan “hampir tak terhad”. Tapi walaupun begitu, laporan industri menunjukkan kadar penggunaan GPU sebenar selalunya cuma 20–40% kerana struktur model AI tak padan dengan seni bina GPU.
  • Edge: Peranti kecil, terhad kuasa (contoh <5–10W), terhad suhu, memori dan kos BOM. Tiada “luxury” overspec.

Di sini muncul peranan NPU (Neural Processing Unit) – pemproses khusus untuk beban kerja AI. Namun, walaupun sudah guna NPU, masih ada halangan besar.

Mismatch antara rangkaian neural dan blok NPU

Model AI moden, sama ada visi komputer untuk AOI atau model bahasa kecil untuk HMI mesin, biasanya:

  • Mempunyai ratusan atau ribuan layer
  • Setiap layer mempunyai dimensi berbeza-beza

Masalahnya:

  • Layer terlalu besar berbanding blok pengiraan NPU → perlu dipecah (tiling) dan diulang, menyebabkan pergerakan data/memori meningkat.
  • Layer terlalu kecil → sebahagian besar hardware idle, NPU nampak hebat atas kertas (TOPS tinggi) tetapi utilization di lapangan rendah.

Walaupun banyak usaha retrain atau tweak model, ramai vendor masih tersekat di ~50% utilization dalam situasi sebenar.

Bagi kilang, ini bermakna:

  • Tak dapat throughput yang dijanjikan vendor pada datasheet
  • Perlu lebih banyak cip/peranti untuk capai sasaran, menaikkan kos dan penggunaan kuasa
  • Sukar capai “real-time” untuk aplikasi kritikal seperti pengesanan kecacatan on-the-fly atau kawalan robotik tepat

Pendekatan Packet-Based NPU: Cara Baharu Fikir Tentang Inference

Salah satu idea menarik daripada dunia semikonduktor ialah seni bina NPU berasaskan paket seperti yang dibawa oleh Expedera.

Apa maksud packet-based dalam konteks kilang?

Daripada memproses layer neural network secara berturutan, seni bina ini:

  • Memecahkan model kepada paket-paket kecil yang berdikari
  • Setiap paket mengandungi konteks eksekusi penuh (parameter, bentuk data, konfigurasi)
  • NPU boleh menjadual dan melaksanakan paket di luar turutan (out-of-order) bila ia mengurangkan pergerakan memori atau meningkatkan utilization compute

Kesan praktikal:

  • Utilization melonjak: pelanggan Expedera melaporkan 60–80% utilization sebenar di silikon, berbanding 20–50% tipikal
  • Model sedia ada tak perlu diubah: tiada keperluan besar untuk reka semula seluruh model hanya untuk padan dengan hardware

Untuk pengeluar, ini sangat penting. Jurutera data boleh fokus pada accuracy dan robustness model (contoh pengesanan hairline crack pada solder joint), bukan pada “bagaimana nak paksa model ikut bentuk NPU”.

Kurangkan ‘traffic’ ke DDR: besar untuk kuasa dan kos

Dalam peranti edge, akses memori luar (DDR) ialah antara penyumbang utama penggunaan kuasa.

Seni bina packet-based ini mengurangkan akses DDR sehingga 75–79% untuk model popular (contoh keluarga Llama 3.2 dan Qwen2). Walaupun model tersebut bukan model spesifik kilang, prinsipnya sama:

  • Lebih banyak data diurus dalam on-chip buffer/cache
  • Kurang pergerakan keluar-masuk DDR
  • Haba lebih rendah, mudah diuruskan dalam persekitaran kilang tropika seperti di Malaysia

Bila NPU jimat kuasa dan memori begini, anda boleh:

  • Menempatkan lebih banyak inferencing node sepanjang line produksi tanpa bimbang panel elektrik overload
  • Menggabungkan pelbagai tugas AI (contoh: visi komputer + anomaly detection sensor) pada satu SoC sahaja

Dari TEORI ke LANTAI PRODUKSI: Aplikasi Nyata di Kilang E&E

Jawapan ringkas: edge AI berkuasa tinggi tetapi cekap tenaga membolehkan kilang buat lebih banyak keputusan secara tempatan, lebih pantas, dengan kos lebih rendah.

Mari lihat tiga kawasan tipikal di kilang Malaysia.

1. Pemeriksaan kualiti masa nyata (AOI, X-ray, visual)

Di line PCBA atau assembly automotif:

  • Kamera HD menangkap imej setiap unit pada kelajuan tinggi.
  • Model visi komputer perlu menilai solder joint, alignment connector, komponen hilang, dan kecacatan mikro lain.

Dengan NPU packet-based di edge:

  • Model boleh berjalan pada utilization 60–80%, bukannya tersekat bawah 40%.
  • Throughput cukup tinggi untuk menyokong 100% inspection tanpa menjadi bottleneck.
  • Latency kekal rendah dan konsisten walaupun sambungan rangkaian kilang ke cloud tidak stabil.

Kesan perniagaan:

  • Kurang false reject dan kurang slip defect ke pelanggan
  • Data kualiti diproses dan diringkaskan di edge; hanya metadata penting dihantar ke sistem MES/ERP

2. Robotik dan automasi di automotif

Lengan robot yang buat spot welding, pemasangan dashboard atau trim pintu memerlukan:

  • Persepsi ruang (kamera 2D/3D)
  • Model AI untuk klasifikasi objek, pengesanan kedudukan
  • Respons sub-100ms untuk elak collision dan memastikan keselamatan operator

Seni bina NPU efisien membolehkan:

  • Model klasifikasi dan pengesanan objek berjalan terus pada pengawal robot
  • 16 TOPS/W kecekapan yang dilaporkan pelanggan Expedera menunjukkan inference berkuasa tinggi masih boleh kekal dalam bajet kuasa ketat kawalan industri.

Hasilnya, vendor automasi dan integrator sistem di Malaysia boleh:

  • Bina sel robotik lebih pintar tanpa perlu kabinet server tambahan
  • Tawar sistem yang lebih mudah dipasang di kilang sedia ada yang tidak mahu ubah besar-besaran infrastruktur IT

3. Pengoptimuman rantaian bekalan dalaman & logistik

AGV/AMR, sistem sortation, dan gudang pintar semakin biasa di kilang besar.

Dengan edge AI di setiap kenderaan/logik controller:

  • Perancangan laluan, pengelakan halangan, dan pengoptimuman susunan pallet boleh dibuat on-device.
  • Hanya status tinggi (kedudukan, ETA, exception) dihantar ke server pusat.

Bila NPU dioptimasi untuk penggunaan memori rendah:

  • Anda boleh pasang lebih banyak kenderaan pintar dengan bateri lebih kecil tetapi masa operasi lebih lama.
  • Ini terus mengurangkan masa menunggu bahan di line dan meningkatkan OEE.

Implikasi Untuk Reka Bentuk Cip & Strategi AI Kilang

Di sebalik semua ini ialah persoalan besar: bagaimana NPU direka dan diintegrasikan dalam SoC untuk pasaran industri?

Seni bina NPU yang boleh dikustom ikut beban kerja

Expedera menekankan seni bina Origin Evolution yang membenarkan:

  • Penalaan mendalam engine compute NPU mengikut profil model pelanggan
  • Dalam sistem produksi sebenar, mereka melaporkan utilization menghampiri 90% bila reka bentuk disesuaikan

Bagi vendor semikonduktor yang membekalkan SoC ke pasaran perindustrian Malaysia, ini bermakna:

  • Boleh tawarkan SKU disesuaikan untuk kilang elektronik vs automotif vs semikonduktor
  • Bezakan diri dalam pasaran yang semakin ramai pemain general-purpose AI chip

Soalan yang patut ditanya oleh pasukan kejuruteraan kilang

Bila menilai platform edge AI untuk projek kilang pintar akan datang (contoh 2026 capex cycle), saya sarankan tanya soalan konkrit berikut kepada vendor:

  1. Berapa utilization NPU diukur pada silikon sebenar, bukan hanya simulasi?
  2. Bagaimana mereka mengurus pergerakan memori? Ada strategi jelas mengurangkan akses DDR?
  3. Adakah model sedia ada (contoh model visi industri popular) perlu diubah besar-besaran untuk capai prestasi baik?
  4. Berapa TOPS/W sebenar pada beban kerja yang mirip penggunaan anda, bukan hanya nombor maksimum?
  5. Bagaimana integrasi dengan sistem sedia ada – PLC, MES, SCADA, QMS?

Vendor yang serius tentang edge AI industri biasanya boleh menjawab dengan data dan contoh pelanggan, bukan sekadar angka marketing.

Penutup: Masa Sesuaikan Strategi AI Kilang Dengan Edge

Kilang elektronik, automotif dan semikonduktor di Malaysia sedang bergerak ke arah operasi autonomi dengan keputusan masa nyata. AI di cloud kekal penting untuk latihan model, analitik besar-besaran, dan perancangan strategik. Tetapi untuk:

  • Pemeriksaan kualiti on-the-line
  • Kawalan robot dan cobot
  • Logistik dalaman dan pengoptimuman rantaian bekalan mikro

…inference mesti berada di edge.

Seni bina NPU generasi baharu seperti packet-based engine oleh pemain seperti Expedera membuktikan bahawa tiga perkara yang dulu nampak bercanggah sebenarnya boleh wujud serentak:

  • Utilization tinggi
  • Pergerakan memori rendah
  • Keserasian model yang luas tanpa retraining rumit

Bagi pengurus kilang, CTO atau pasukan digital transformation di Malaysia, langkah seterusnya agak jelas:

  • Semak semula projek AI yang masih terlalu bergantung pada cloud untuk inference.
  • Masukkan kriteria edge AI dan kecekapan NPU sebagai syarat utama dalam RFP akan datang.
  • Rancang arkitektur di mana training di cloud, tetapi inference kritikal berlaku di peralatan di lantai produksi.

Siapa yang berjaya menggabungkan kekuatan cloud dan edge dengan bijak akan mempunyai kilang yang bukan sahaja lebih cekap, tetapi juga lebih tangkas dan berdaya saing dalam ekosistem E&E serantau.