Primate Labs, 실제 AI 성능을 벤치마킹할 수 있는 Geekbench AI 1.0 출시
크로스 플랫폼 벤치마킹 소프트웨어의 개발사인 Primate Labs는 2024년 8월 15일에Geekbench AI 1.0을 공식 출시했습니다. 이 새로운 도구는 모바일과 데스크톱 플랫폼 모두에서 인공지능 워크로드의 실제 성능을 평가하도록 설계되었습니다.
이전에는 Geekbench ML로 알려졌던 이 소프트웨어는 업계 표준에 맞춰 브랜드가 변경되었지만, AI 외에도 머신 러닝과 딥 러닝 작업에 계속 초점을 맞추고 있습니다. 수년에 걸쳐 고객, 파트너, AI 엔지니어링 커뮤니티와의 협업을 통해 소프트웨어가 발전하여 이번 공식 출시에 이르렀습니다.
단일 성능 점수를 제공하는 기존 벤치마킹 도구와 달리 Geekbench AI 1.0은 세 가지 측정 시스템을 사용하여 AI 워크로드 전반의 성능을 평가합니다. 프라임 랩은 정확한 성능 측정의 어려움을 강조하며 “성능을 측정하는 것은 간단히 말해 정말 어려운 일”이라고 설명했습니다. 이 회사는 테스트를 실행하는 것이 아니라, 특히 다양한 플랫폼에서 성능을 평가하는 데 가장 중요한 테스트를 식별하는 것이 복잡하다고 지적했습니다.
세 가지 점수 시스템은 다양한 AI 작업에 대한 보다 정확한 인사이트를 제공하도록 설계되었습니다. 이 접근 방식을 통해 개발자와 엔지니어는 애플리케이션이 다양한 하드웨어에서 어떻게 작동하는지 더 잘 이해할 수 있으며, 단일 종합 점수가 제공하는 것보다 더 세분화된 정보를 얻을 수 있습니다. 프라임 랩은 “벤치마크를 통해 하드웨어 수준에서 다양한 접근 방식이 특정 작업에 어떻게 최적화되었는지 살펴볼 수 있습니다.”라고 설명합니다.
긱벤치Geekbench AI 1.0에는 성능 메트릭 외에도 테스트별 정확도 측정이 포함되어 있습니다. 이 기능은 속도만이 성공의 유일한 척도가 아닌 정확도 또한 중요한 AI에 특히 중요합니다. 예를 들어 고양이를 감지하도록 설계된 이미지 인식 모델이 빠르게 실행되지만 고양이를 식별하는 비율이 1%에 불과하다면 효과적인 성능을 발휘하지 못하는 것입니다. 개발자는 이 도구의 정확도 메트릭을 통해 다양한 기기에서 모델이 얼마나 잘 작동하는지 평가하여 성능을 개선하기 위한 미세 조정을 할 수 있습니다.
긱벤치Geekbench AI 1.0은 Linux 및 Windows용 OpenVINO는 물론 TensorFlow Lite와 Android의 Samsung ENN, ArmENN, Qualcomm ENN과 같은 공급업체별 델리게이트를 포함한 다양한 AI 프레임워크를 지원합니다. 이를 통해 개발자가 현재 애플리케이션을 구축하는 데 사용하는 소프트웨어 및 하드웨어와의 호환성을 보장합니다.
이 소프트웨어는 Windows, macOS, Linux에서 사용할 수 있으며 모바일 디바이스용 Google Play 스토어와 Apple 앱 스토어에서도 다운로드할 수 있습니다. 또한 Geekbench AI는 긱벤치 브라우저와 통합되어 사용자가 크로스 플랫폼 비교 및 컨텍스트를 위한 벤치마크를 제출할 수 있습니다.