포스트

GitHub 검색으로 오픈소스 생태계를 탐색할 때 생기는 문제

GitHub Topic만으로는 유명 플러그인이 빠지고 키워드 검색에는 다른 종류의 저장소가 섞이는 이유, 검색 범위와 랭킹 데이터의 한계를 정리한다.

GitHub 검색으로 오픈소스 생태계를 탐색할 때 생기는 문제

오픈소스 도구를 분야별로 탐색하는 Ecosystem 페이지를 만들면서 예상하지 못한 문제가 생겼다. tmux-plugin Topic으로 저장소를 검색했는데 널리 알려진 tmux 플러그인이 여러 개 빠졌다. 검색 범위를 넓히자 이번에는 플러그인이 아닌 주변 도구까지 섞였다.

이 문제는 GitHub API 호출 방식보다 검색 결과를 무엇의 목록으로 해석하는가에 가까웠다.

GitHub Topic은 분류 체계가 아니다

처음 수집기는 다음과 같은 검색을 사용했다.

1
topic:tmux-plugin

이 검색은 해당 Topic을 등록한 저장소를 찾는다. tmux 플러그인 전체 목록을 제공하는 것은 아니다. 저장소 관리자가 다른 Topic을 사용하거나 Topic 자체를 지정하지 않았다면 검색 결과에서 빠질 수 있다.

반대로 Topic을 등록했다고 해서 해당 저장소가 반드시 현재 찾는 유형의 프로젝트인 것도 아니다. 예를 들어 window-manager Topic에는 실제 윈도우 매니저뿐 아니라 관련 도구가 함께 나타날 수 있다.

1
2
3
4
실제 생태계
├─ Topic이 일치하는 프로젝트 ────── 검색됨
├─ Topic이 다른 유명 프로젝트 ──── 누락
└─ 주변 도구가 Topic을 공유 ─────── 혼입

Topic은 후보를 발견하는 단서이지 검증된 분류 결과가 아니다.

검색 범위를 넓히면 누락과 혼입이 함께 변한다

GitHub 저장소 검색에는 여러 조건을 사용할 수 있다.

검색 예시찾는 범위주의점
topic:tmux-pluginTopicTopic을 등록하지 않은 저장소 누락
tmux plugin in:name,description저장소 이름·설명설명에만 언급된 주변 도구 혼입
tmux plugin in:readmeREADMEREADME에서 다른 플러그인을 소개하는 저장소도 후보가 됨

README 검색은 현재 수집기에 적용한 기능이 아니라 확장 시 고려할 검색 범위다.

검색 품질에는 두 가지 상충하는 관점이 있다.

  • 재현율(Recall): 실제 대상 중 얼마나 많이 찾아냈는가. 검색 범위를 넓히면 개선될 수 있다.
  • 정밀도(Precision): 검색된 결과 중 실제 대상이 얼마나 되는가. 무관한 저장소가 늘면 떨어진다.

따라서 검색어를 추가하는 것만으로는 랭킹의 정확성을 보장할 수 없다.

검색 결과와 랭킹 대상은 구분해야 한다

처음에는 Topic 검색 결과를 그대로 Stars 순으로 정렬했다. 이후 누락을 보완하려고 유명 저장소를 직접 나열했고, 반대로 정확성을 높이려고 수동 목록만 수집하도록 바꿔보기도 했다.

하지만 수동 목록만으로는 새로운 프로젝트를 자동 발견한다는 목적을 달성하기 어렵다. 결국 수집 대상의 전체 목록을 유지하는 방식은 되돌렸다.

현재 수집기는 Topic과 이름·설명 검색을 병합하고 중복을 제거한다.

1
2
3
GitHub Topic 검색 ─────┐
                       ├─ 후보 병합 ─ 중복 제거 ─ 제외 규칙 ─ Stars 정렬
이름·설명 키워드 검색 ─┘

이 구조도 완성된 자동 분류기는 아니다. 검색 결과가 실제로 해당 생태계의 구성원인지 판단하는 별도의 검증이 부족하다. 특히 Neovim 플러그인과 Neovim 배포판, 윈도우 매니저와 상태 표시 도구처럼 인접한 종류가 섞이기 쉽다.

향후에는 자동 발견 결과를 후보로 취급하고, 분류 검증을 거친 뒤 공개 랭킹에 반영하는 구조가 필요하다. 현재 구현이 그 검증을 자동으로 수행한다고 해석해서는 안 된다.

Stars 순위가 말해주지 않는 것

GitHub Stars는 관심도의 한 지표지만 설치 수, 실제 사용량, 품질을 직접 나타내지 않는다.

  • 전체 순위: 현재 누적 Stars가 많은 저장소
  • 7일·30일 순위: 수집한 과거 스냅샷 대비 Stars 변화량
  • 수집 이력이 부족한 경우: 기간별 증가량을 아직 계산할 수 없음

GitHub 저장소 검색 API가 과거 7일·30일의 정확한 Stars 증가량을 직접 반환하는 것은 아니다. 그래서 수집기는 날짜별 Stars를 별도 저장한다. 또한 검색 결과에 포함되지 않은 저장소는 증가량 랭킹에서도 발견되지 않는다.

정리

GitHub 검색으로 생태계를 탐색할 때는 발견(Discovery), 분류(Classification), 순위 산정(Ranking)을 서로 다른 문제로 다뤄야 한다.

Topic과 키워드는 발견에 유용하지만 분류의 정답은 아니다. Stars는 순위 지표가 될 수 있지만 프로젝트의 우수성을 판정하지 않는다.

Ecosystem은 이 차이를 확인하면서 개선 중인 실험적 탐색 페이지다. 수집 구현은 ecosystem-rankings에 공개되어 있다.

이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.