Video Tutorial l English
Developers
200종 이상의 AI 모델을 더 쉽고 빠르게
RBLN SDK로 리벨리온 NPU로 AI 모델을 간편하게 배포하세요.
컴파일러, 런타임, 모델 라이브러리, 서빙 프레임워크 등 자세한 가이드를 참조해 개발부터 운영까지 매끄럽게 진행할 수 있습니다.
업계 표준 프레임워크로 시작
HuggingFace
PyTorch
TensorFlow
RBLN SDK는 HuggingFace의 Transformer 및 Diffuser 모델을 지원합니다. Optimum RBLN 라이브러리에서 Llama3-8B, SDXL 등 최신 모델을 다운로드하고, HuggingFace Hub에서 배포하세요.
💡 리벨리온 하드웨어에서 HuggingFace 모델 실행
- 리벨리온 NPU에 최적화된 HuggingFace 모델 컴파일 및 추론
- RBLN 런타임을 활용한 개발자 친화적인 API 지원
- Llama, SDXL 등 멀티 칩 구성 지원
RBLN SDK는 PyTorch 2.0을 완벽 지원합니다. 자연어처리(NLP), 음성, 비전 모델 등 다양한 PyTorch 기반 워크로드를 리벨리온 NPU에서 빠르게 가속할 수 있습니다.
💡 PyTorch 모델 통합
- 리벨리온 하드웨어에 최적화된 PyTorch 모델 컴파일
- RBLN 런타임을 활용한 개발자 친화적인 API 지원
- 사전 조정(Pretuning) 없이 Torch 2.0 모델을 곧바로 서빙 파이프라인에 연결
RBLN SDK는 TensorFlow를 지원하며, LLM, ImageNet, Y OLO 등 다양한 모델의 추론을 최적화합니다.
💡 TensorFlow 모델 통합
- Keras Applications의 다 양한 사전 학습 모델 즉시 활용
- RBLN 런타임을 활용한 개발자 친화적인 API 지원
- 사전 조정(Pretuning) 없이 TensorFlow 모델을 곧바로 서빙 파이프라인에 연결
리벨리온 소프트웨어 스택
하드웨어 성능을 극대화하도록 설계된 리벨리온 소프트웨어 스택을 알아보세요.
머신러닝 프레임워크
- 자연어처리, 비전, 음성, 생성형 모델을 위한 핵심 개발 도구
- PyTorch, TensorFlow, HuggingFace 등 업계 표준 프레임워크 와의 원활한 연동
- 개발자의 생산성을 극대화하고 배포까지 End-to-End 워크플로우 간소
컴파일러
- 프론트엔드 컴파일러는 PyTorch와 TensorFlow로 작성된 모델을 리벨리온의 중간 표현(IR)으로 변환하여, 리벨리온 디바이스에서 실행할 수 있는 모델로 매끄럽게 전환
- 백엔드 컴파일러는 변환된 모델을 바탕으로 디바이스의 효율성을 극대화하는 명령어 스트림과 프로그램 바이너리 생성
- 정밀한 최적화 기술로 AI 추론 비용 절감, 간편한 연산 최적화와 메모리 관리 기능을 통해 운영 효율성 개선
연산 라이브러리
- 비전, 트랜스포머 등 다양한 AI 모델 추론에 필요한 필수 연산들 최적화
- CNN (Convolutional Neural Network) 및 최신 생성형 AI 모델을 지원
- 확장 가능한 Neural Engine 아키텍처를 기반으로 고도화된 연산 최적화
런타임 모듈
- 컴파일된 모델과 하드웨어 간의 실행을 중재하는 핵심 구성 요소
- 데이터 이동, 명령 실행, 성능 모니터링을 담당하여 최적의 AI 추론 환경을 제공
드라이버
- 운영체제와 NPU 간 최적의 인터페이스를 제공하여 하드웨어 활용도를 극대화
- 커널 드라이버 및 유저 드라이버로 구성되어 하드웨어와 소프트웨어 간 원활한 통신을 지원
- RBLN 컴파일러에서 생성된 커맨드 스트림을 ATOM™️ 디바이스로 전달하여 실행을 관리
펌웨어
- 소프트웨어와 하드웨어 간 최하위 인터페이스
- 메모리 계층 간 작업 조정 및 하드웨어 상태 모니터링 기능을 제공하여 안정적인 AI 추론을 보장
- 대규모 AI 모델을 실행하는 환경에서도 안정적인 워크로드 분배 및 예측 가능한 성능 유지를 지원
리벨리온 백엔드 & 리벨리온 하드웨어
- FP16 기준 32 TFLOPS, INT8 기준 128 TOPS의 강력한 연산 성능과 64 MB 온 칩 SRAM을 통해 최적의 메모리 대역폭과 지연 시간 단축을 실현
- 전력 효율성이 중요한 데이터센터, 클라우드 AI, 온프레미스 AI 워크로드에서 최상의 성능과 비용 효율성을 제공
리벨리온 소프트웨어 스택
하드웨어 성능을 극대화하도록 설계된 리벨리온 소프트웨어 스택을 알아보세요.
TapClick for more details.
머신러닝 프레임워크
컴파일러
연산 라이브러리
런타임 모듈
드라이버
펌웨어
리벨리온 백엔드
리벨리온 하드웨어
리벨리온 하드웨어
×
자주 묻는 질문
RBLN SDK를 시작하려면 어떻게 하나요?
RBLN SDK를 시작하기 위해, RBLN driver, compiler 와 Model Zoo를 다운로드해 주세요.
1. RBLN 드라이버 설치
2. RBLN 컴파일러 설치
3. 지원되는 모델 확인 및 Model Zoo에서 코드 확인
4. 샘플 코드 실행 후 정상 작동 여부 점검
자세한 설치 가이드는 [SDK 설치 가이드]를 참고하세요..
Llama 모델을 RBLN NPU에서 실행 할 수 있나요?
네, Llama3 및 Solar, EEVE 등 다양한 Llama 기반 모델을 지원합니다. 모델 크기와 버전에 따라 성능이 달라질 수 있으니, 각 모델의 샘플 코드 를 확인하세요.
코드 예제는 어디서 확인 할 수 있나요?
Rebellions Model Zoo에서 다양한 코드 예제를 확인하고 최적화 및 테스트할 수 있습니다. 아래 페이지들의 Task 열을 통해 찾으시는 모델의 예제 코드를 확인할 수 있습니다.
- HuggingFace
- Pytorch
- Tensorflow
모델 컴파일 중 오류가 발생합니다.
모든 HuggingFace 모델이 RBLN NPU에서 실행 되나요?
최대한 많은 최신 모델을 지원하려 노력하고 있지만, 모든 모델이 즉시 실행되는 것은 아닙니다.
일부 모델은 추가적인 최적화가 필요할 수 있습니다.
Optimum RBLN에 없는 모델 관련 문의는 [기술 지원팀]에 문의하세요.
C 언어 기반 프로젝트에서도 RBLN SDK 를 사용할 수 있나요?
네, RBLN SDK는 C/C++ 에서도 사용할 수 있습니다.
Python 런타임이 없는 환경에서도 최적의 실행 성능을 확보할 수 있습니다
1. APT 저장소 업데이트
2. RBLN SDK 패키지 설치
자세한 내용은 [C API 문서]를 참고하세요.
AI 서비스를 개발 중인데, ATOM에서 모델을 실행하면 어떤 프로세스로 동작하나요?
일반적인 AI 모델 추론 파이프라인은 다음과 같습니다
1. 사전 학습된 모델 준비
2. RBLN Compiler로 모델 컴파일 및 저장
3. RBLN Runtime 에서 모델 로드 후 추론 실행
4. 결과 출력(API 등)
Nvidia Triton Inference Server나 OpenAI API를 지원하나요?
네, RBLN SDK는 Triton Inference Server 및 OpenAI API를 지원합니다.
개발자는 모델 배포에 집중할 수 있도록 설계되었습니다.
다중 NPU에서 모델을 실행 할 수 있나요?
네, RBLN SDK는 여러 개의 NPU를 활용할 수 있습니다.
- 단일 ATOM NPU 에서 병렬 실행
- 대형 모델을 다수의 NPU 에 분산 실행
개발자 리소스 및 지원
