Obliczenia AI to więcej niż główny SoC! Jasne spojrzenie na rzeczywistą rolę RK1820 w systemie RK3588

Dlaczego coraz więcej urządzeń brzegowych mówi o NPU i koprocesorach? RK3588 jest już potężnym SoC o mocy 6 TOPS (INT8), jednak w złożonych scenach, takich jak wnioskowanie wielozadaniowe, paralelizacja modeli i analiza wideo-AI, sufit obliczeniowy pojedynczego układu wciąż istnieje. RK1820 został stworzony dokładnie po to, aby przejąć tę część obciążenia i odciążyć główny SoC z „lęku obliczeniowego”. W sprzęcie edge-AI procesor hosta nie walczy już sam; gdy zadania AI przerastają możliwości harmonogramowania tradycyjnego CPU/NPU, koprocesor cicho wkracza i przejmuje część inteligentnego obciążenia.

RK1820 to koprocesor zbudowany specjalnie do wnioskowania AI i rozszerzania obliczeń; elastycznie współpracuje z hostami SoC, takimi jak RK3588 i RK3576, i komunikuje się z nimi wydajnie za pośrednictwem interfejsów PCIe lub USB.

W systemie RK3588 + RK1820 potok zadań AI jest podzielony na czteropoziomową architekturę:
Aplikacja → Middleware → Wykonanie koprocesora → Kontrola i prezentacja.
Host RK3588: obsługuje harmonogramowanie zadań, wstępne przetwarzanie danych i wyniki wyjściowe, zarządzając całym przepływem pracy.
Koprocesor RK1820: dedykowany do obliczeń AI o dużej mocy, połączony z hostem za pośrednictwem PCIe, tworząc model współpracy „lekkiej kontroli + ciężkich obliczeń”.

Warstwa aplikacji to miejsce, w którym zaczyna się każde zadanie AI; tłumaczy wymagania użytkownika—analiza obrazu, wykrywanie obiektów, pytania i odpowiedzi LLM po stronie brzegowej itp.—na polecenia zadań wykonywalne przez system i przekazuje je do warstwy pośredniczącej za pośrednictwem standaryzowanych interfejsów API. Ta warstwa jest obsługiwana w całości przez hosta RK3588, który zarządza interakcją z użytkownikiem, logiką biznesową i danymi peryferyjnymi.

Odbiór zadań: pozyskuje polecenia użytkownika za pośrednictwem kamer, paneli dotykowych, Ethernetu, UART itp.

• Inteligentne zabezpieczenia: wykrywanie osób w kadrach wideo
• Kontrola przemysłowa: identyfikacja wad powierzchni produktów
• Edge LLM: konwersja wejścia głosowego na tekst i utworzenie zadania Q&A

Standaryzacja poleceń: zamienia nieustrukturyzowane dane wejściowe na ustrukturyzowane parametry zadań

• Zadanie wizyjne: rozdzielczość wejściowa, wersja modelu, wymagania wyjściowe
• Zadanie LLM: tokeny wejściowe, wersja modelu, maksymalna długość wyjściowa

Warstwa pośrednicząca to centrum współpracy: ocenia każde zadanie, przydziela zasoby, wstępnie przetwarza dane i zarządza ruchem magistrali. Decyduje, czy zadanie jest uruchamiane na hoście, czy jest przenoszone do koprocesora.
Tylko RK3588; RK1820 nie bierze udziału w konfiguracji PCIe ani zarządzaniu przerwaniami—po prostu wykonuje zadania wnioskowania wysyłane przez hosta.

Klasyfikacja i harmonogramowanie zadań

• Przetwarzanie lokalne: zadania o niskich obliczeniach lub krytyczne dla opóźnień (skalowanie obrazu, lekkie wnioskowanie AI) są obsługiwane przez CPU/NPU/RGA RK3588.
• Przeniesienie do RK1820: zadania o dużej mocy obliczeniowej (wykrywanie wieloklasowe YOLOv8, wnioskowanie LLM, segmentacja semantyczna) są wysyłane do RK1820. Po przejęciu przez RK1820, CPU/NPU hosta jest zwolnione do innej pracy.

Wstępne przetwarzanie danych

• Wizja: przycinanie, odszumianie, normalizacja, zmiana kolejności kanałów.
• Tekst: tokenizacja, dopełnianie, kodowanie.

Kontrola komunikacji magistrali

• Ustanawia połączenie za pośrednictwem PCIe lub USB3.
• Transfer danych wykorzystuje DMA, brak interwencji CPU.
• Wydaje polecenia kontroli wnioskowania: uruchom NPU, ustaw precyzję, zgłoś przerwanie zakończenia.

Ta warstwa to rdzeń wnioskowania, napędzany wyłącznie przez koprocesor RK1820, dedykowany do obliczeń AI o dużej mocy.
RK1820 aktywny; RK3588 nie zakłóca wnioskowania, tylko czeka na wyniki. Przekroczenia limitu czasu lub wyjątki są obsługiwane przez RK3588 za pośrednictwem poleceń resetowania PCIe.

Odbiór i przygotowanie zadań

Odbiera dane, wagi modelu i polecenia wysłane przez RK3588; zapisuje je w lokalnej pamięci DRAM o dużej przepustowości, ładuje model i konfiguruje NPU.

Obliczenia wnioskowania NPU

• Wykrywanie obiektów (YOLOv8n): conv → BN → aktywacja → pool → post-processing NMS.
• Wnioskowanie LLM (Qwen2.5 3B): prefill tokenów wejściowych → generowanie token po tokenie.
• Optymalizacja wnioskowania: fuzja operatorów, kompresja wag.

Zwrot wyniku

• Zwraca współrzędne prostokątów ograniczających, identyfikatory klas i wyniki ufności dla wykrywania.
• Zwraca tablicę tokenów dla LLM.

Ta warstwa jest punktem końcowym każdego zadania AI: konwertuje surowe wyniki wnioskowania z RK1820 na wizualne lub gotowe do użycia wyniki biznesowe i zamyka pętlę.
RK3588 aktywny; RK1820 dostarcza tylko surowe dane wnioskowania.

Post-przetwarzanie wyników

• Mapowanie współrzędnych z powrotem do oryginalnego rozmiaru obrazu.
• Dekodowanie tokenów na język naturalny.
• Liczenie wad w kontroli przemysłowej.

Kontrola systemu i wyjście zwrotne

• Inteligentne zabezpieczenia: wyświetlanie wideo z nakładkami wykrywania, uruchamianie alarmów.
• Kontrola przemysłowa: wiersz poleceń do odrzucania wadliwych produktów.
• Edge LLM: wyświetlanie tekstu + zapowiedź głosowa.

Wartość synergii: nie tylko szybciej, ale i mądrzej

Mówiąc prosto: RK3588 prowadzi show i utrzymuje wszystko na właściwym torze, podczas gdy RK1820 zapewnia surowe impulsy obliczeniowe; razem sprawiają, że urządzenia edge-AI są „mądrzejsze, szybsze i bezproblemowe”.
Śledź nas, aby uzyskać więcej wiadomości o RK1820 i aktualizacjach SDK, nowych samouczkach i gotowych do uruchomienia demonstracjach.