← 검색으로
한국어 웹은 얼마나 작은가
검색엔진을 만들려고 웹을 훑다가 알게 된 것: 한국어는 생각보다 훨씬 적다. Common Crawl 에서 5,354,171개 레코드를 훑어 한국어 문서 44,888건을 얻었습니다. 수율 0.84% — 120건을 훑어야 한국어 1건이 나옵니다.
측정값
| 지표 | 값 | 분모 |
|---|---|---|
| 훑은 Common Crawl 레코드 | 5,354,171 | — |
| 그중 한국어 문서 | 44,888 | 5,354,171 |
| 한국어 수율 | 0.84 % | 5,354,171 |
| 한국어 1건당 내려받은 바이트 | 372,578 B | 44,888 |
| 보유 코퍼스 문서 | 70,816 | — |
| 색인된 문서 ( 기준) | 54,793 | — |
| 색인의 고유 호스트 ( 기준) | 4,375 | 54,793 |
이 숫자가 뜻하는 것
한국어 문서 하나를 얻는 데 평균 373 kB를 내려받아야 합니다(1 kB = 1,000 B). 100만 건을 모으려면 대략 373 GB를 훑어야 한다는 뜻입니다. 한국어 검색엔진을 새로 만들기 어려운 이유가 알고리즘이 아니라 이 수율에 있다는 것이 우리가 얻은 결론입니다.
어떻게 쟀나
- 대상은 Common Crawl 의 WET(추출된 본문) 슬라이스입니다. 원본 HTML 이 아닙니다.
- 한국어 판정은 문서의 언어 표시를 따랐고, 표본이 아니라 훑은 레코드 전수에 대해 셌습니다.
- 수율의 분모는 측정 기록을 남긴 수집 실행만 포함합니다 — 우리의 전체 수집 이력이 아닙니다. 그래서 이 값은 “한국어 웹의 절대 비율”이 아니라 이 표본에서 관측된 비율입니다.
- 보유 코퍼스 문서 수는 정확 카운트와 표본 추정의 혼합입니다. 추정이 섞여 있으므로 정확값이 아닙니다.
한계를 먼저 적습니다.
이 수치는 Common Crawl 이 훑은 웹의 성질이지 웹 전체의 성질이 아닙니다. Common Crawl 이 덜 훑는 영역(로그인 뒤, 앱 안, 크롤을 막은 사이트)에 한국어가 몰려 있다면 실제 비율은 이보다 높습니다. 우리는 그것을 재지 못했고, 재지 못했다고 적습니다.
원자료
가공 없이 그대로 씁니다. 출처만 밝혀 주세요(CC BY 4.0).
왜 이걸 공개하나
XKATOR 는 한국어 웹을 직접 색인합니다. 그 과정에서 나온 숫자를 우리만 갖고 있을 이유가 없습니다. 같은 걸 만들려는 사람에게는 비용 추정치가 되고, 쓰는 사람에게는 우리가 무엇을 근거로 말하는지를 보여주는 자료가 됩니다.