AV1

AV1

인터넷 미디어 타입	video/AV1, video/webm; codecs="av01.*"
개발	Alliance for Open Media
발표일	2018년 3월 28일
최신 버전	1.0.0 Errata 1 (2019년 1월 8일(2019-01-08))
포맷 종류	비디오 코덱
웹사이트	https://aomediacodec.github.io/av1-spec/

AOMedia Video 1(AV1)은 오픈 포맷인 비디오 압축 포맷이다. Google, Facebook 등이 참여하는 Alliance for Open Media에서 만들었으며, 파일 포맷이 공개되어 있다. VP9, Daala, Thor 등을 계승한다. AV1 비트스트림 사양에는 참조 비디오 코덱이 포함되어 있다. 2018년 페이스북은 실제 조건에 근접한 테스트를 수행했으며 AV1 참조 인코더는 libvpx-vp9, x264 High profile 및 x264 Main profile보다 각각 34%, 46.2% 및 50.3% 더 높은 데이터 압축을 달성했다.

VP9와 비슷하지만 H.264(AVC) 및 H.265(HEVC)와 달리 AV1은 오픈 소스 프로젝트의 채택을 방해하지 않는 로열티 없는 라이선스 모델을 갖추고 있다.

AVIF는 AV1 압축 알고리즘을 사용하는 이미지 파일 형식이다.

역사

AV1을 개발하려는 얼라이언스의 동기에는 AVC의 뒤를 이을 것으로 예상되는 MPEG 설계 코덱인 HEVC의 특허 라이센스와 관련된 높은 비용과 불확실성이 포함되었다. 또한 얼라이언스의 7개 창립 회원인 아마존, 시스코, 구글, 인텔, 마이크로소프트, 모질라 및 넷플릭스는 비디오 형식의 초기 초점이 고품질 웹 비디오 제공이라고 발표했다. AV1의 공식 발표는 2015년 9월 1일 Alliance for Open Media 결성에 대한 보도 자료와 함께 나왔다. 불과 42일 전인 2015년 7월 21일, HEVC 어드밴스의 초기 라이선스 제안은 AV1의 로열티 수수료보다 인상된 것으로 발표되었다. HEVC에서는 비용 증가 외에도 라이선스 프로세스도 복잡해졌다. 표준에 포함된 기술이 단일 엔터티인 MPEG LA로부터 라이센스를 받을 수 있었던 이전 MPEG 표준과 달리, HEVC 표준이 완성되었을 때 두 개의 특허 풀이 형성되었고 세 번째 풀이 곧 탄생했다. 또한 다양한 특허 보유자가 두 풀을 통한 특허 라이센스를 거부하여 HEVC 라이센스에 대한 불확실성이 증가했다. 마이크로소프트의 이안 르그로(Ian LeGrow)에 따르면 로열티가 없는 오픈 소스 기술은 라이센스와 관련된 이러한 불확실성을 제거하는 가장 쉬운 방법으로 여겨졌다.

자유-오픈 소스 소프트웨어에 대한 특허 라이센스의 부정적인 영향도 AV1 생성 이유로 언급되었다. 예를 들어 H.264 구현을 파이어폭스에 구축하면 MPEG-LA에 라이센스 비용을 지불해야 하기 때문에 무료로 배포할 수 없다. 유럽 자유 소프트웨어 재단(Free Software Foundation Europe)은 FRAND 특허 라이센스 관행이 자유 소프트웨어 라이센스와의 다양한 비호환성으로 인해 표준의 자유 소프트웨어 구현을 불가능하게 한다고 주장했다.

AV1 프로젝트의 많은 구성요소는 얼라이언스 회원들의 이전 연구 노력에서 나온 것이다. 개별 기여자들은 몇 년 전에 실험적인 기술 플랫폼을 시작했다. Xiph/Mozilla의 달라는 2010년에 코드를 게시했고, 구글의 실험적인 VP9 진화 프로젝트 VP10은 2014년 9월 12일에 발표되었으며, 시스코의 토르 (영상 코덱)(Thor)는 2015년 8월 11일에 발표되었다. VP9의 코드 기반을 기반으로 구축 AV1에는 추가 기술이 통합되어 있으며 그 중 일부는 이러한 실험 형식으로 개발되었다. 삼성, 비메오, 마이크로소프트, 넷플릭스, 모질라, AMD, 엔비디아, 인텔, ARM, 구글, 페이스북, 시스코, 아마존, 훌루, VideoLAN, 어도비, 애플을 포함한 많은 회사가 Alliance for Open Media의 일부이다. 애플은 AOMedia 창립 이후에 합류했지만 AOMedia 운영 회원이다. AV1 스트림 관리는 코어미디어(Coremedia)에서 관리할 수 있는 유형별 비디오에 공식적으로 포함되었다.

AV1 참조 코덱의 첫 번째 버전 0.1.0은 2016년 4월 7일에 게시되었다. 2017년 10월 말에 소프트 기능 동결이 적용되었지만 몇 가지 중요한 기능에 대한 개발은 계속되었다. 그 중 하나인 비트스트림 형식은 2018년 1월에 동결될 예정이었으나 해결되지 않은 심각한 버그와 변환, 구문, 모션 벡터 예측 및 법적 분석 완료에 대한 추가 변경으로 인해 지연되었다. 얼라이언스는 2018년 3월 28일에 참조 소프트웨어 기반 인코더 및 디코더와 함께 AV1 비트스트림 사양의 출시를 발표했다. 2018년 6월 25일에 사양의 검증된 버전 1.0.0이 출시되었다. 2019년 1월 8일에 사양의 Errata 1이 포함된 검증된 버전 1.0.0이 출시되었다.

AOM 회원인 비트모빈(Bitmovin)의 마틴 스몰(Martin Smole)은 참조 인코더의 계산 효율성이 비트스트림 형식 동결이 완료된 후 남은 가장 큰 과제라고 말했다. 형식 작업을 하는 동안 인코더는 프로덕션 용도로 사용되지 않았으며 속도 최적화가 우선시되지 않았다. 결과적으로 AV1의 초기 버전은 기존 HEVC 인코더보다 훨씬 느렸다. 결과적으로 개발 노력의 대부분은 참조 인코더를 완성하는 쪽으로 옮겨졌다. 2019년 3월에는 참조 인코더의 속도가 크게 향상되었으며 다른 일반 형식의 인코더와 동일한 수준으로 향상되었다는 보고가 있었다.

2021년 1월 21일에 AV1의 MIME 유형이 video/AV1로 정의되었다. 이 MIME 유형을 사용하는 AV1의 사용은 실시간 전송 프로토콜 목적으로만 제한된다.

목적

AV1은 최첨단 기술과 로열티가 없는 웹용 비디오 형식을 목표로 한다. 구글 크롬 미디어 팀의 전략 및 파트너십 책임자인 매트 프로스트(Matt Frost)에 따르면 Alliance for Open Media의 사명은 WebM 프로젝트와 동일하게 유지된다.

특히 로열티가 없는 멀티미디어 형식의 표준 개발에서 반복되는 우려는 표준 작성자와 사용자가 알지 못했던 특허를 실수로 침해할 위험이 있다는 것이다. 이러한 우려는 AV1 및 이전 VP8, VP9, Theora 및 IVC와 관련하여 제기되었다. 이 문제는 로열티가 없는 형식에만 국한되는 것이 아니지만 로열티가 없는 형식의 지위를 위협하는 고유한 요소이다.

특허 라이선스	AV1, VP9, Theora, MPEG-5 Base profile	VVC, HEVC, AVC, MPEG-5 Main profile	GIF, MP3, MPEG-1, MPEG-2, MPEG-4 Part 2
알려진 특허 보유자	로열티 프리	로열티 영향	특허 만료
알려지지 않은 특허 보유자	특허가 만료될 만큼 형식이 오래될 때까지는 확인이 불가능 (WTO 국가에서는 최소 20년)

로열티가 없다는 목표를 달성하기 위해 개발 프로세스에서는 경쟁 회사의 특허를 침해하지 않는다는 두 당사자가 독립적으로 확인하기 전에는 어떤 기능도 채택할 수 없도록 요구한다. 특허로 보호되는 기술에 대한 대안을 사용할 수 없는 경우 관련 특허 소유자를 얼라이언스에 가입하도록 초대한다(이미 다른 특허 풀의 구성원인 경우에도 마찬가지). 예를 들어, 얼라이언스 회원사인 애플, 시스코, 구글 및 마이크로소프트는 MPEG-LA의 H.264 특허 풀에 대한 라이센스 제공자이기도 하다. AV1의 로열티가 없는 상태에 대한 추가 보호로서 얼라이언스는 소규모 얼라이언스 회원이나 AV1 라이센스 사용자가 특허 침해 혐의로 소송을 당할 경우 이를 지원하기 위한 법적 방어 기금을 보유하고 있다.

W3C(World Wide Web Consortium)에서 채택한 특허 규칙에 따라 기술 기여자는 호혜성을 기반으로(즉, 사용자가 특허 소송에 참여하지 않는 한) 언제 어디서나 누구에게나 AV1 관련 특허에 대한 라이선스를 부여한다. 방어 조건으로, 특허 소송에 참여하는 사람은 모든 특허 보유자의 특허에 대한 권리를 잃는다.

지적 재산권(IPR)에 대한 이러한 처리와 개발 중 절대적 우선 순위는 AVC 및 HEVC와 같은 기존 MPEG 형식에 위배된다. 이는 ITU-T의 개방형 표준 정의에 규정된 대로 표준화 기관의 IPR 비관여 정책에 따라 개발되었다. 그러나 MPEG 회장은 이러한 관행이 바뀌어야 한다고 주장했다. 즉, EVC는 또한 로열티가 없는 하위 집합을 갖도록 설정되었으며 향후 IPR 위협으로부터 보호하기 위해 비트스트림에 전환 가능한 기능을 갖게 될 것이다.

로열티가 없는 웹 표준을 만드는 것은 업계에서 오랫동안 추구해온 목표였다. 2007년 HTML5 비디오 제안에서는 Theora를 필수 구현으로 지정했다. 그 이유는 공개 콘텐츠는 "기본 형식"으로만 자유롭게 구현 가능한 형식으로 인코딩되어야 하며 나중에 이러한 기본 형식을 변경하는 것은 네트워크 효과로 인해 어려울 수 있기 때문이다.

Alliance for Open Media은 Theora가 AVC를 제치고 로열티 없는 경쟁을 재개한 WebM 프로젝트를 통한 Google의 노력의 연속이다. 무료 소프트웨어를 배포하는 Mozilla와 같은 회사의 경우, 무료 소프트웨어에서 이러한 지불을 지원할 수익원이 부족하기 때문에 복사본당 로열티가 지속 불가능하므로 AVC 지원이 어려울 수 있다. 마찬가지로, HEVC는 무료로 배포되는 소프트웨어에 대한 예외를 허용하도록 모든 라이센스 제공자를 성공적으로 설득하지 못했다.

성능 목표에는 복잡성 증가를 최소화하기 위한 효율성 "VP9 및 HEVC에서 한 단계 향상"이 포함된다. NETVC의 효율성 목표는 HEVC에 비해 25% 향상이다. 하드웨어 지원이 사용자에게 도달하는 데 시간이 걸리기 때문에 가장 복잡한 문제는 소프트웨어 디코딩이다. 그러나 WebRTC의 경우 라이브 인코딩 성능도 관련이 있으며 이는 시스코의 의제이다. 시스코는 화상 회의 장비 제조업체이며 Thor의 기여는 "단지 적당한 복잡성으로 합리적인 압축"을 목표로 한다.

기능 측면에서 AV1은 현재 세대(H.264) 비디오 형식의 일반적인 사용 시나리오보다 실시간 애플리케이션(특히 WebRTC) 및 더 높은 해상도(더 넓은 색 영역, 더 높은 프레임 속도, UHD)를 위해 특별히 설계되었다. 가장 큰 효율성 향상을 달성할 것으로 예상된다. 따라서 ITU-R 권장 사항 BT.2020의 색상 공간과 색상 구성 요소당 최대 12비트의 정밀도를 지원할 계획이다. AV1은 주로 손실 인코딩을 위해 고안되었지만 무손실 압축도 지원된다.

품질 및 효율성

2016년 6월 초의 첫 번째 비교에서는 AV1이 2017년 1월 말의 코드를 사용한 비교와 마찬가지로 HEVC와 거의 동등한 것으로 나타났다.

2017년 4월 당시 활성화된 8개의 실험 기능(총 77개)을 사용하여 비트모빈은 싱텔(Sintel) 및 티어스 오브 스틸(Tears of Steel) 단편 영화의 HEVC와 비교하여 시각적 결과뿐만 아니라 유리한 객관적 측정항목을 보여줄 수 있었다. 스트리밍 미디어 매거진의 잰 오저(Jan Ozer)의 후속 비교를 통해 이를 확인하고 "AV1은 적어도 현재 HEVC만큼 좋다"는 결론을 내렸다. 오저는 자신과 비트모빈의 결과가 AV1이 HEVC보다 65.7% 덜 효율적이며 10.5% 더 효율적이라고 결론을 내린 H.264/AVC조차 저조한 성능을 보인다는 2016년 말 프라운호퍼 통신연구소(Fraunhofer Institute for Telecommunications)의 비교와 모순된다고 지적했다. 오저는 각 인코더 공급업체가 보증하는 인코딩 매개변수를 사용하고 최신 AV1 인코더에 더 많은 기능을 추가함으로써 이러한 불일치를 정당화했다. 2017년 내부 측정에 따르면 디코딩 성능은 VP9 속도의 약 절반 수준이었다.

720p에서 PSNR 및 VMAF를 사용한 측정을 기반으로 한 2017년 넷플릭스의 테스트에서는 AV1이 VP9(libvpx)보다 약 25% 더 효율적인 것으로 나타났다. PSNR을 기반으로 2018년에 실시된 페이스북 테스트에서는 AV1 참조 인코더가 libvpx-vp9, x264 High 프로파일 및 x264 Main 프로파일보다 각각 34%, 46.2% 및 50.3% 더 높은 데이터 압축을 달성할 수 있는 것으로 나타났다.

2017년 모스크바 주립 대학의 테스트에 따르면 VP9는 비슷한 수준의 품질을 달성하기 위해 AV1보다 31%, HEVC는 22% 더 많은 비트 전송률이 필요했다. AV1 인코더는 최적화 부족(당시에는 불가능함)으로 인해 "경쟁사보다 2,500~3,500배 낮은" 속도로 작동하고 있었다.

2020년 워털루 대학의 테스트에 따르면 2160p(4K) 비디오에 대해 평균 의견 점수(MOS)를 사용할 때 AV1은 HEVC에 비해 9.5%, VP9에 비해 16.4%의 비트 전송률 절감 효과를 보였다. 그들은 또한 연구 당시 2160p에서 AV1 비디오 인코딩이 AVC 인코딩에 비해 평균 590배 더 오래 걸렸다는 결론을 내렸다. HEVC는 각각 AVC보다 평균 4.2배, VP9는 평균 5.2배 더 오래 걸렸다.

2020년 9월 현재 스트리밍 미디어 매거진에서 중간 정도의 인코딩 속도, VMAF 및 다양한 짧은 클립 세트를 사용한 최신 인코더 비교에 따르면 오픈 소스 libaom 및 SVT-AV1 인코더는 인코딩하는 데 약 2배의 시간이 걸리는 것으로 나타났다. "veryslow" 프리셋의 x265는 15-20% 더 낮은 비트 전송률을 사용하거나 x264 Veryslow보다 약 45% 더 낮은 비트 전송률을 사용한다. 테스트 중인 최고의 AV1 인코더인 Visionular의 Aurora1은 "느린" 프리셋에서 x265 매우 느림만큼 빨랐으며 x264 매우 느림보다 비트 전송률을 50% 절약했다.

CapFrameX는 AV1 디코딩을 통해 GPU 성능을 테스트했다. 2022년 10월 5일 클라우드플레어는 베타 플레이어를 출시했다고 발표했다.

프로파일과 레벨

프로파일

AV1 프로파일 간 비교

		Main (0)	High (1)	Professional (2)
비트 심도		8 또는 10비트	8 또는 10비트	8, 10 & 12비트
크로마 서브샘플링	4:0:0	예	예	예
	4:2:0	예	예	예
	4:2:2	아니요	아니요	예
	4:4:4	아니요	예	예

레벨

레벨	MaxPicSize (Samples)	MaxHSize (Samples)	MaxVSize (Samples)	MaxDisplayRate (Samples/sec)	MaxDecodeRate (Samples/sec)	MaxHeader Rate (/sec)	MainMbps (MBits/sec)	HighMbps (MBits/sec)	Min Comp Basis	Max Tiles	Max Tile Cols	예시
2.0	147456	2048	1152	4,423,680	5,529,600	150	1.5	-	2	8	4	426×240@30fps
2.1	278784	2816	1584	8,363,520	10,454,400	150	3.0	-	2	8	4	640×360@30fps
3.0	665856	4352	2448	19,975,680	24,969,600	150	6.0	-	2	16	6	854×480@30fps
3.1	1065024	5504	3096	31,950,720	39,938,400	150	10.0	-	2	16	6	1280×720@30fps
4.0	2359296	6144	3456	70,778,880	77,856,768	300	12.0	30.0	4	32	8	1920×1080@30fps
4.1	2359296	6144	3456	141,557,760	155,713,536	300	20.0	50.0	4	32	8	1920×1080@60fps
5.0	8912896	8192	4352	267,386,880	273,715,200	300	30.0	100.0	6	64	8	3840×2160@30fps
5.1	8912896	8192	4352	534,773,760	547,430,400	300	40.0	160.0	8	64	8	3840×2160@60fps
5.2	8912896	8192	4352	1,069,547,520	1,094,860,800	300	60.0	240.0	8	64	8	3840×2160@120fps
5.3	8912896	8192	4352	1,069,547,520	1,176,502,272	300	60.0	240.0	8	64	8	3840×2160@120fps
6.0	35651584	16384	8704	1,069,547,520	1,176,502,272	300	60.0	240.0	8	128	16	7680×4320@30fps
6.1	35651584	16384	8704	2,139,095,040	2,189,721,600	300	100.0	480.0	8	128	16	7680×4320@60fps
6.2	35651584	16384	8704	4,278,190,080	4,379,443,200	300	160.0	800.0	8	128	16	7680×4320@120fps
6.3	35651584	16384	8704	4,278,190,080	4,706,009,088	300	160.0	800.0	8	128	16	7680×4320@120fps

외부 링크

• AV1 - 공식 웹사이트