핵심 요점
- 엣지 배포는 열설계 기준점 대비 토큰당 줄(J)을 최적화합니다. 데스크톱 지표인 VRAM 대비 초당 토큰 수가 아닙니다.
- 2.1W로 9.45 tok/s를 내는 1.5B 모델(Hailo-10H, Hailo 공개 데이터 기준)은 데스크톱에서는 평범하겠지만 임베디드에서는 훌륭한 결과입니다.
- 대부분의 제품은 SBC+NPU HAT, 전용 M.2 가속 모듈, 통합 엣지 SoC, 임베디드 GPU 모듈의 네 가지 하드웨어 클래스로 커버됩니다. 기준은 모델 크기 자체가 아니라 전력 예산입니다.
- NVIDIA Jetson AGX Thor(T5000)는 NVIDIA 데이터시트에 따르면 40~130W에서 희소 FP4 2,070 TFLOPS를 제공하며 273GB/s 대역폭의 128GB LPDDR5X를 갖춥니다. 임베디드 GPU 클래스의 최상위 사양입니다.
- 토큰 생성 속도를 결정하는 것은 메모리 용량이 아니라 메모리 대역폭입니다. GB/s가 같다면 DRAM이 더 많은 보드도 생성 속도가 빨라지지 않습니다.
- 산업용 온도 범위와 부품 수명 주기는 모델을 선정하기 전에 확인해야 합니다. 조달 수명이 3년인 부품은 서비스 수명 10년인 제품에 사용할 수 없습니다.
- 많은 NPU 툴체인은 고정된 일부 양자화 방식만 허용합니다. 따라서 양자화 계획은 대상 하드웨어의 컴파일러 제약을 따라야 하며, 그 반대가 아닙니다.
엣지 AI 하드웨어의 네 가지 클래스는 무엇인가요?
네 가지 하드웨어 클래스가 거의 모든 엣지 LLM 배포를 커버하며, 잘못된 클래스를 선택하면 잘못된 모델을 선택하는 것보다 더 많은 엔지니어링 시간을 낭비하게 됩니다. 각 클래스는 전력과 유연성 곡선상의 서로 다른 지점에 위치합니다. 클래스 내 개별 칩을 비교하기 전에, 제품의 전력 예산과 서비스 수명 요건에 클래스를 맞추는 것이 먼저입니다.
📍 한 문장으로
엣지 AI 하드웨어는 SBC+NPU HAT, 전용 M.2 가속 모듈, 통합 엣지 SoC, 임베디드 GPU 모듈의 네 가지 클래스로 나뉘며, 모델 크기 자체가 아니라 제품의 전력 예산에 맞춰 선택합니다.
💬 쉽게 말하면
SBC+NPU HAT는 저렴하고 유연하지만 밀폐형 인클로저에서는 발열이 심합니다. 전용 M.2 가속 모듈은 매우 낮은 전력으로 한 가지 작업만 수행합니다. 통합 SoC는 로보틱스와 카메라를 위해 설계된, 하나의 칩에 담긴 완전한 컴퓨터입니다. 임베디드 GPU 모듈은 데스크톱급 성능을 제품 크기로 압축한 것입니다.
- SBC+NPU HAT — 범용 싱글보드 컴퓨터(Raspberry Pi 5급)에 추가형 NPU 가속 카드를 결합한 구성입니다. BOM 비용이 가장 낮고 소프트웨어 스택이 가장 유연하지만, 통풍이 없는 밀폐형 인클로저에 들어가면 지속 열성능이 가장 약합니다.
- 전용 가속 모듈(M.2) — Hailo-10H 같은 고정 기능 추론 칩을 M.2/PCIe 슬롯을 통해 기존 캐리어 보드에 추가하는 구성입니다. 양자화 추론이라는 한 가지 작업을 매우 낮은 전력으로 수행하며, 범용 컴퓨팅 플랫폼이 아니고 운영체제를 구동할 수 없습니다.
- 통합 엣지 SoC — CPU, GPU 또는 NPU, I/O를 하나의 다이에 통합한 단일 칩으로, 특정 전력 범위에 맞춰 설계됩니다. NVIDIA Jetson Orin 계열(Orin Nano Super, Orin NX, AGX Orin)과 Rockchip RK3588이 양산 로보틱스 및 카메라 제품의 기본 선택지입니다.
- 임베디드 GPU 모듈 — 디스크리트급 GPU를 모듈 폼팩터로 축소해 엣지 컴퓨팅의 최상위를 담당하는 구성으로, NVIDIA Jetson AGX Thor(T5000)가 해당합니다. 멀티 카메라 인식, 휴머노이드 로보틱스처럼 임베디드 전력·열 예산 내에서 실제로 데스크톱급 처리량이 필요한 제품에 사용됩니다.
데스크톱 하드웨어 가이드가 무시하는 세 가지 제약은 무엇인가요?
데스크톱용 로컬 LLM 가이드는 VRAM 용량과 최대 초당 토큰 수를 최적화하지만, 임베디드 제품은 데스크톱 벤치마크가 전혀 고려할 필요가 없는 세 가지 다른 제약에 묶여 있습니다.
- 최고 사양이 아니라 열설계 기준점. 데이터시트에 표기된 TOPS 수치는 대개 대부분의 밀폐형·팬리스 인클로저에는 없는 통풍을 전제로 합니다. 중요한 것은 실제 인클로저 내부, 주변 온도 70°C에서의 지속 처리량입니다. 열 스로틀링 상태에서는 실제 처리량이 데이터시트 최고치를 크게 밑돌 수 있습니다.
- 메모리 용량이 아니라 메모리 대역폭이 생성 속도를 결정합니다. 토큰 생성(디코드 단계)은 대역폭에 의해 제한됩니다. 디코드 처리량은 대략 GB/s 단위의 메모리 대역폭을 토큰당 읽어야 하는 바이트 수로 나눈 값으로 제한됩니다. GB/s가 같다면 DRAM이 더 많은 보드도 토큰 생성이 빨라지지 않습니다. 이것이 바로 Hailo-10H가 평균 2.1W에서 1.2GB 메모리 사용량과 2,048토큰 KV 캐시로 동작하는 것이 데스크톱 GPU의 VRAM 여유와 완전히 다른 설계 지점인 이유입니다.
- 벤치마크 표가 아니라 산업용 온도 범위와 부품 수명 주기. 소비자용 SoC는 보통 2~3년 설계 주기로 조달됩니다. 10년의 서비스 수명을 약속한 제품에는 그에 맞는 공급 약속과 확장된 동작 범위를 갖춘 부품이 필요합니다. 4년 차에 더 이상 조달할 수 없는 부품은, 첫날 목표 모델을 아무리 잘 구동했든 상관없이 수명 중반의 하드웨어 재설계를 강제합니다.
제품을 위한 엣지 컴퓨팅은 어떻게 선정해야 하나요?
특정 칩을 평가하기 전에 전력 예산과 서비스 수명 요건부터 정의하세요. 아래 단계는 가장 흔한 재작업, 즉 모델을 먼저 고른 뒤 전력이나 수명 주기 제약에 맞지 않는다는 것을 나중에 발견하는 상황을 피하는 순서입니다.
- 1모델보다 전력 예산을 먼저 정의하세요
Why it matters: 임베디드 제품은 배터리 용량, 공유 PoE 라인, 수동 냉각 한계 같은 고정된 열·전력 범위를 가지며, 모델은 센서·무선 모듈·액추에이터가 사용하고 남은 몫에 맞아야 합니다. - 2초당 토큰 수가 아니라 토큰당 줄(J) 목표를 설정하세요
Why it matters: 전력 맥락이 없는 초당 토큰 수치는 가속기 클래스 간에 비교할 수 없습니다. 토큰당 줄(J)이야말로 완성품의 배터리 수명이나 열적 여유를 실제로 결정하는 수치입니다. - 3규격서에서 메모리 대역폭과 메모리 용량을 분리해서 기재하세요
Why it matters: 생성 속도는 가중치와 KV 캐시로의 GB/s에 의해 제한되며, 보드에 탑재된 DRAM 양으로 결정되지 않습니다. 충분히 빠르게 읽을 수 없는 더 큰 버퍼는 디코드 처리량을 높이지 않습니다. - 4모델 선정 전에 산업용 온도 범위와 조달 수명 주기를 확인하세요
Why it matters: 조달 약속이 3년인 부품은 서비스 약속이 10년인 제품에 사용할 수 없습니다. 실험실에서 목표 모델을 아무리 잘 구동했든 관계없습니다. - 5NPU 툴체인이 실제로 허용하는 양자화 방식을 확인하세요
Why it matters: 많은 임베디드 NPU 컴파일러는 가중치, 활성화, KV 캐시 양자화에 대해 고정된 방식만 지원합니다. 모델을 확정하기 전에, 컴파일 실패 이후가 아니라 미리 컴파일러를 대상으로 검증하세요. - 6아래 대화형 선택 도구로 후보를 좁힌 뒤 실제 실리콘에서 검증하세요
Why it matters: 전력·모델 크기·영상·온도 범위로 필터링하면 몇 분 안에 후보군을 압축할 수 있습니다. 실제 인클로저 내 실제 가속기에서 측정한 벤치 데이터만이 제품의 토큰당 줄(J)을 확인해 줍니다.
제품에 맞는 엣지 하드웨어 찾기
전력 예산과 목표 모델 크기를 후보 목록으로 바꾸는 가장 빠른 방법입니다. 전력 범위, 10억 단위 파라미터 기준 모델 크기, 그리고 제품에 영상 입력이나 산업용 온도 범위가 필요한지를 설정하면, 아래 표가 다음에 벤치마크할 가치가 있는 플랫폼 클래스를 보여주도록 업데이트됩니다.
Platforms that fit
| Platform | Power | Fits up to | Note |
|---|---|---|---|
| NVIDIA Jetson Orin Nano Super | 7–25 W | 8B | Entry dev kit; natural upgrade from a Raspberry Pi |
| NVIDIA Jetson Orin NX | 10–40 W | 13B | Mid-tier module, up to 157 TOPS |
| NVIDIA Jetson AGX Orin 64GB | 15–60 W | 34B | 275 TOPS; current volume robotics workhorse |
전력과 컴퓨팅 성능 면에서 엣지 AI 칩은 어떻게 비교되나요?
본 가이드에서 언급하는 플랫폼의 사양은 제조사 공개 자료 기준이며, 2026년 9월 2일 자로 제조사 1차 문서와 대조해 확인했습니다. "보고됨"으로 표시된 수치는 제조사의 1차 데이터시트가 아니라 2차 출처에서 온 것이므로 그에 맞게 유보적으로 표기했습니다. 자체 공급업체 담당자를 통해 확인하기 전까지는 근사치로 취급하세요.
플랫폼 | 클래스 | 최대 AI 컴퓨팅 | 전력(TDP) | 메모리/대역폭 |
|---|---|---|---|---|
| Jetson AGX Thor(T5000) | 임베디드 GPU 모듈 | 희소 FP4 2,070 TFLOPS | 40~130W | 128GB LPDDR5X, 273GB/s |
| Jetson AGX Orin 64GB | 통합 엣지 SoC | 275 TOPS | 15~60W | 64GB LPDDR5 |
| Jetson Orin NX | 통합 엣지 SoC | 약 157 TOPS(보고됨) | 10~40W | 8/16GB LPDDR5 |
| Jetson Orin Nano Super | 통합 엣지 SoC | 약 67 TOPS(보고됨) | 7~25W | 8GB LPDDR5 |
| Hailo-10H | 전용 가속기(M.2) | 고정 기능 추론 | 5W 미만(M.2 폼팩터) | 1.2GB 사용량(실측) |
| Rockchip RK3588 | SBC+NPU | 6 TOPS(3코어 NPU) | 보드 레벨, 낮은 한 자릿수 W | 호스트 SBC와 공유 |
| Ambarella N 시리즈 | 통합 비전 SoC | 비공개 | 비공개 | CES 2026 출시, 멀티센서 + 엣지 생성형 AI |
| Qualcomm QRB 시리즈 | 통합 엣지 SoC | 플랫폼에 따라 다름 | 플랫폼에 따라 다름 | 드론 분야에서 우세 — 자매 문서 참조 |
Jetson AGX Thor는 QSFP 4×25GbE 포트도 갖추고 있으며 최대 32대의 MIPI CSI-2 카메라를 지원합니다. NVIDIA는 Jetson AGX Orin 대비 최대 7.5배의 AI 컴퓨팅과 3.5배의 에너지 효율을 주장합니다. 두 수치 모두 NVIDIA 자체 비교 자료이며, 본 문서를 위해 독립적으로 실시한 벤치마크가 아닙니다.
전용 실리콘에서 1.5B 모델은 실제로 어떤 모습인가요?
Hailo는 Hailo-10H에서 Qwen2-1.5B-Instruct를 구동한 실측 결과를 공개했으며, 이는 본 가이드의 핵심 논지를 그대로 보여줍니다: 평균 전력 2.1W에서 초당 9.45토큰. 데스크톱 기준으로 보면 1.5B 모델의 9.45 tok/s는 평범한 결과입니다. 임베디드 기준으로 보면 — 휴대폰 충전기의 대기 전력을 간신히 웃도는 5W 미만의 M.2 모듈이라면 — 이는 소형 배터리로 구동되는 제품과 더 큰 인클로저와 팬이 필요한 제품 사이의 차이를 만듭니다.
아래 수치는 Hailo가 자체 공개한 벤치마크 데이터이며, 본 문서를 위해 독립적으로 실시한 측정이 아닙니다. 규격서에 인용할 때는 제조사 공개 데이터로 표기하세요.
지표 | 값 |
|---|---|
| 모델 | Qwen2-1.5B-Instruct |
| 처리량 | 9.45 tok/s |
| TTFT(입력 96토큰) | 289ms |
| 평균 전력 | 2.1W |
| 메모리 사용량 | 1.2GB |
| KV 캐시 | 2,048토큰(약 1,536단어) |
| 가중치 양자화 | 4비트 대칭, 그룹 단위 |
| 활성화 양자화 | 8비트 비대칭, 텐서 단위 |
| KV 캐시 양자화 | 8비트 비대칭, 텐서 단위 |
| 런타임/OS 지원 | HailoRT — Linux, Windows, Android |
HailoRT는 Linux, Windows, Android에서 동작하며, 모듈 자체는 5W 미만의 M.2 폼팩터입니다. 이는 배터리나 PoE 제약이 있는 제품에 의미 있는 비교 기준이며, 데스크톱 초당 토큰 수 순위표가 아닙니다.
임베디드 NPU 타깃을 위해 모델을 어떻게 양자화해야 하나요?
임베디드 NPU 툴체인은 대개 데스크톱 추론 스택보다 고정적이고 더 적은 양자화 방식만 허용하므로, 양자화 계획은 대상 하드웨어의 컴파일러가 결정해야 하며 그 반대가 되어서는 안 됩니다. 컴파일 실패 이후가 아니라 모델을 선정하기 전에 허용되는 방식을 확인하세요.
정적 양자화는 캘리브레이션 데이터셋을 사용해 가중치와 활성화의 스케일·영점을 미리 고정합니다. 대부분의 고정 기능 NPU 컴파일러가 이를 요구하는 이유는, 실행 중에 양자화 파라미터를 즉석에서 계산하는 비용을 칩이 피할 수 있기 때문입니다. 동적 양자화는 추론 시점에 이 파라미터를 계산하며 더 유연하지만, 이를 지원하는 임베디드 NPU 컴파일러는 드뭅니다. 고정 기능 파이프라인이 애초에 피하려던 지연이 추가되기 때문입니다.
텐서 단위 활성화 양자화(전체 활성화 텐서에 단일 스케일 계수를 사용하는 방식으로, Hailo가 공개한 Qwen2-1.5B 구성에서 8비트 비대칭 방식으로 사용)는 흔한 임베디드 기본값입니다. 채널 단위 방식보다 NPU에 적용하는 비용이 낮으며, 임베디드 제품에서 전형적인 짧고 작업 특화적인 프롬프트에는 대개 허용 가능한 수준의 완만한 정확도 손실만 발생합니다.
양자화된 KV 캐시(위 Hailo-10H 예시에서는 8비트 비대칭, 텐서 단위)는 생성되는 토큰마다 가속기가 보관하고 다시 읽어야 하는 메모리를 줄여, 위의 메모리 대역폭 제약에서 설명한 초당 토큰 수 상한을 직접 끌어올립니다. 가중치, 활성화, KV 캐시 양자화의 기본 메커니즘에 대해서는 LLM 양자화의 작동 원리와 각 방식이 실제로 바꾸는 것을 참고하세요. 이는 데스크톱과 임베디드 타깃 모두에 공통되는 메커니즘입니다.
엣지 AI 제품 프로토타이핑을 위해 무엇을 구매해야 하나요?
양산할 계획인 것과 동일한 하드웨어 클래스의 개발 키트로 프로토타입을 제작하세요. 데스크톱 GPU 박스가 아닙니다. 양산 클래스의 열·전력 거동이야말로 데스크톱 벤치가 결코 알려줄 수 없는 부분입니다.
- NVIDIA Jetson 개발자 키트 — 양산용 캐리어 보드를 확정하기 전에 통합 엣지 SoC와 임베디드 GPU 모듈 클래스를 프로토타이핑하는 표준적인 방법입니다. 현재 모델 재고와 가격은 NVIDIA 또는 공인 대리점에 직접 확인하세요. 구체적인 제품 번호와 가격은 변동이 잦아 여기서 신뢰성 있게 제시하기 어렵습니다.
- Hailo M.2 가속 모듈 — 이미 여유 M.2/PCIe 슬롯이 있는 기존 캐리어 보드에서 전용 가속기 클래스를 프로토타이핑하는 표준적인 방법입니다. 현재 재고는 Hailo 또는 공인 대리점에 직접 확인하세요.
- Raspberry Pi AI HAT+ — 제품이 실제로 더 높은 컴퓨팅 클래스를 필요로 하는지 결정하기 전에, SBC+NPU HAT 클래스를 저비용으로 프로토타이핑하는 표준적인 방법입니다. 현재 가격과 재고는 Raspberry Pi 또는 공인 판매점에 직접 확인하세요.
- 산업용 캐리어 보드 및 인클로저 — 프로토타입이 실험실 벤치를 벗어나 양산 제품이 요구하는 확장 온도 범위와 진동 내성 쪽으로 이동할 때 필요합니다. 제품 일정이 이를 요구하는 시점부터는 소비자용 캐리어 보드가 아니라 산업용 임베디드 공급업체에서 선정하세요.
엣지 추론이 잘못된 선택인 경우는 언제인가요?
세 가지 흔한 제품 상황에서는 엣지 추론이 기본값으로 적합하지 않습니다. 그럼에도 억지로 채택하면 대개 지연 시간이나 프라이버시에서 절약되는 것보다 더 많은 엔지니어링 시간을 소모하게 됩니다.
- 유휴 시간이 길고 간헐적인 워크로드. 제품이 가끔씩만 추론을 필요로 하고 나머지 시간에는 신뢰할 수 있는 연결이 있다면, 전용 엣지 실리콘의 고정된 전력·BOM 예산은 거의 사용되지 않는 능력을 유지하는 데 소모됩니다. 활성 구간에서 클라우드를 호출하는 편이 제품 수명 전체로 보면 대개 더 저렴합니다.
- 진정으로 프론티어급 추론이 필요한 작업. 엣지 전력 예산에 맞을 만큼 작은 모델은 개방형 추론, 다단계 계획 수립, 폭넓은 세계 지식 면에서 대형 호스팅 모델을 따라잡을 수 없습니다. 엣지 실리콘은 범용 어시스턴트가 아니라 좁고 명확하게 규정된 작업에 적합한 선택입니다.
- 신뢰할 수 있는 연결이 있고 프라이버시나 지연 시간 제약이 없는 제품. 제품에 데이터가 반드시 기기 내에 머물러야 할 이유도 없고, 네트워크 왕복 없이 100ms 미만으로 응답해야 할 이유도 없다면, 엣지 실리콘의 전력·비용 예산을 지불할 근거는 상당히 약해집니다. 그 제약을 전제로 설계하기 전에 실제로 존재하는 제약인지 먼저 확인하세요.
2026년 AI 구동 기계에는 어떤 규제가 적용되나요?
2027년 1월부터 적용되는 EU 기계류 규정(2023/1230)은 기계 내 AI 구동 안전 기능을 고위험으로 취급하며, 이는 LLM이나 VLM의 출력이 물리적 안전 기능에 영향을 줄 수 있는 모든 엣지 제품에서 EU AI 법과 직접 교차합니다. 이는 일반적인 배경 정보이며 법률 자문이 아닙니다. 출시 전에 특정 제품에 대한 적용 가능성을 자격을 갖춘 규제 법률 자문에게 확인하세요.
실무적인 촉발 조건은 좁지만 중요합니다. 엣지 추론 결과(물체 분류, 계획 결정, 영상 분석 경고)가 기계의 안전 관련 제어 기능에 입력된다면, 기계류 규정의 필수 보건·안전 요건과 AI 법의 고위험 분류가 동시에 적용될 수 있습니다. 안전과 무관한 기능(음성 인터페이스, 분석 대시보드)에만 엣지 추론을 사용하는 제품은 이 특정한 교차 영역 밖에 있지만, 사용 사례에 따라 AI 법의 다른 의무는 여전히 적용될 수 있습니다.
이는 데스크톱용 로컬 LLM 가이드가 전혀 다룰 필요가 없는 규정 준수 측면입니다. 데스크톱 애플리케이션은 정의상 안전 기능을 가진 기계가 아니기 때문입니다. 이미 확정된 설계에 나중에 끼워 맞추는 대신, 하드웨어 사양 단계에서 일찍 이를 반영하는 것이 해당되는 제품에 대한 실무적인 교훈입니다.
한국 시장을 염두에 둔 제품이라면, 개인정보 보호법(PIPA)과 개인정보보호위원회(PIPC)의 규제 동향, 그리고 국내 소버린 AI(예: 네이버 하이퍼클로바X, LG 엑사원)로의 정책적 흐름도 기계 안전과 관련된 엣지 AI 제품의 사양 검토 단계에서 참고할 가치가 있습니다. 다만 구체적인 적용 요건은 제품별로 전문가에게 확인해야 합니다.
자주 묻는 질문
데스크톱용과 엣지용 LLM 하드웨어 선정의 핵심 차이는 무엇인가요?
데스크톱 선정은 가용 VRAM 대비 초당 토큰 수를 최적화합니다. 엣지 선정은 고정된 열설계 기준점과 전력 예산 대비 토큰당 줄(J)을 최적화합니다. 모델은 제품에 남은 전력에 맞아야 하며, 그 반대가 아닙니다.
전용 NPU 위의 작은 모델이 GPU 위의 더 큰 모델보다 정말 나은가요?
전력 예산이 고정되어 있다면 대개 그렇습니다. Hailo가 공개한 벤치마크에 따르면 Hailo-10H에서 2.1W로 9.45 tok/s를 내는 1.5B 모델은 데스크톱 기준으로는 평범하지만 임베디드 기준으로는 훌륭한 결과입니다. 전력 제약이 고정된 이후에야 이 비교가 의미를 갖습니다.
열설계 기준점이란 무엇이며 엣지 LLM에 왜 중요한가요?
이는 칩이 정격 성능을 내야 하는 지속적인 동작 조건으로, 대개 밀폐되고 팬이 없는 인클로저 내부의 주변 온도를 뜻합니다. 대부분의 제품에는 없는 통풍을 가정해 측정한 데이터시트상의 최고치와는 대조됩니다. 열 스로틀링 상태의 실제 처리량은 그 최고치를 크게 밑돌 수 있습니다.
토큰 생성에서 왜 메모리 용량보다 메모리 대역폭이 더 중요한가요?
토큰 생성은 대역폭에 의해 제한됩니다. 디코드 속도는 대략 GB/s 단위의 메모리 대역폭을 토큰당 읽어야 하는 바이트 수로 나눈 값으로 제한됩니다. GB/s가 같다면 DRAM이 더 많은 보드도 토큰 생성이 빨라지지 않습니다. 상한을 정하는 것은 용량이 아니라 대역폭입니다.
산업용 온도 범위란 무엇이며 제품 수명 주기에 왜 중요한가요?
일반 소비자용 0~40°C 규격을 훨씬 넘어서는 확장 동작 범위로, 여러 해에 걸친 약속 아래 부품이 이 규격으로 인증되고 조달됩니다. 보통 2~3년 주기로 조달되는 소비자급 부품은 수명 중반의 하드웨어 재설계를 강제하지 않고서는 서비스 수명 10년인 제품에 사용할 수 없습니다.
Hailo-10H는 소형 LLM을 구동할 때 얼마나 많은 전력을 소비하나요?
Hailo가 공개한 데이터에 따르면, Hailo-10H는 Qwen2-1.5B-Instruct를 9.45 tok/s로 구동할 때 평균 2.1W를 소비하며, 1.2GB 메모리 사용량과 2,048토큰 KV 캐시를 5W 미만의 M.2 폼팩터로 구현합니다.
NVIDIA Jetson AGX Thor는 어느 정도의 컴퓨팅 성능을 제공하나요?
NVIDIA 데이터시트에 따르면, Jetson AGX Thor(T5000)는 40~130W에서 희소 FP4 기준 2,070 TFLOPS(밀집 FP4 1,035 TFLOPS, 밀집 FP8 517 TFLOPS)를 제공하며, 256비트 버스를 통해 273GB/s 대역폭의 128GB LPDDR5X 메모리를 갖춥니다.
엣지 NPU를 위해 가중치, 활성화, KV 캐시 중 무엇을 양자화해야 하나요?
대상 NPU 컴파일러가 허용하는 방식 범위 내에서 대개 세 가지 모두 양자화합니다. 정적이고 텐서 단위인 활성화 양자화와 양자화된 KV 캐시가 흔한 임베디드 기본값입니다. 대부분의 고정 기능 NPU 툴체인이 제한적이고 고정된 방식만 지원하기 때문이며, 모델을 선정하기 전에 허용되는 방식을 먼저 확인해야 합니다.
엣지 추론을 아예 사용하지 말아야 할 때는 언제인가요?
연결이 신뢰할 수 있고 드물게 발생하는 간헐적 워크로드, 엣지 규모 모델이 도달할 수 없는 진정한 프론티어급 추론이 필요한 작업, 그리고 데이터가 기기 내에 머물러야 할 실질적인 프라이버시나 지연 시간 제약이 없는 제품에서는 엣지 추론을 피하세요.
신제품을 위한 엣지 컴퓨팅 선정은 어떻게 시작해야 하나요?
특정 칩을 평가하기 전에 전력 예산과 요구 서비스 수명을 정의하고, 초당 토큰 수 대신 토큰당 줄(J) 목표를 설정하며, 제품 제약에 맞춰 메모리 대역폭과 산업용 온도 범위를 확인한 다음, 이 페이지의 대화형 선택 도구로 후보를 좁히고 실제 실리콘에서 벤치마크하세요.