AI 슬롭으로부터 레포를 지키세요

AI가 만든 PR과 이슈는 처음 30초는 진짜처럼 보이고, 그 다음 시간을 잡아먹습니다. SlopGuard가 들어오는 걸 전부 읽어서 기계가 만든 것에 근거와 함께 표시하고, 한 번에 정리하게 해줍니다. 절대 자동으로 닫지 않고, 결정은 당신이 합니다.

GitHub App 설치하기 동작 방식 보기

0–100슬롭 점수
사람최종 결정
소스공개직접 셀프호스팅

밀려오는 AI 슬롭의 파도36.23N / 139.02E

HOKUSAI × SLOPGUARD SlopGuard 실드: PR을 스캔하는 코드 브래킷 엠블럼

이런 적 있다면 SlopGuard가 필요합니다

가짜 PR에 시간 낭비

그럴듯해 보여서 열어봤는데 AI가 만든 헛것. 30초씩 일주일이면 하루가 날아갑니다.

알림이 두렵다

이슈·PR 알림을 열 때마다 진짜인지 슬롭인지 일일이 가려내야 합니다.

그렇다고 막 닫을 순 없다

패턴만 보고 닫으면 진짜 첫 기여자를 내칠 수 있어 불안합니다.

SlopGuard가 들어오는 걸 전부 읽어 기계가 만든 것에 근거와 함께 표시해주면, 진짜만 한번에 검토하면 됩니다. 결정은 여전히 당신이 합니다.

01라이브 데모

임계값은 당신이 정합니다

슬라이더를 끌어 슬롭 점수 기준을 바꾔보세요. PR이 실시간으로 격리와 통과로 나끗니다.

임계값을 드래그해 보세요임계값 50 / 100

격리 2조용히 통과 3

PR #218의존성 최신 버전으로 올림16통과
PR #241인증 콜백 리팩터43통과
#312재현 명확한 기능 요청28통과
PR #233이모지 헤더 문서 12개 추가79격리됨
PR #239README 통째로 재작성 (기계 생성)93격리됨

임계값 이상이면 라벨과 리뷰 코멘트를 답니다. 아래면 조용히 둡니다. 기준은 당신이 정하고, 최종 결정은 늘 사람 몫입니다.

02관리자 화면

관리자가 보는 화면

모든 기여는 0에서 100 사이의 슬롭 점수와 그 근거, 출처 추적 정보를 받습니다. SlopGuard는 라벨과 코멘트만 달고, 결정은 당신이 합니다.

pull_request #239점수 96 / 100

slopguardbot슬롭 가능성 높음

챗봇 보일러플레이트 문구 (3건)
누출된 문구 “Certainly! Here is the updated code”
뻔한 자동생성 제목과 빈 설명
출처: 프롬프트 지문 b01706d4, 기계생성

slop-quarantineslop-clearedslopguard-feedback

관리자가 댓글로 /slop approve, /slop reject, 또는 /slop false-positive

100%

정밀도 (골든셋)

92%

재현율 (휴리스틱만)

자동으로 닫은 PR 수

소스공개

자기 용도 셀프호스팅

03정의

AI 슬롭이 뭔가요?

AI 슬롭은 사람 검토가 거의 없이 LLM으로 찍어낸 저품질 기여입니다. 그럴듯해 보이지만 코드 맥락을 모르고, 보탬도 안 되며, 활동량이나 기여 횟수를 부풀리려고 올라오는 PR이나 이슈를 말합니다.

그럴듯해 보임
말끔한 문장, 깔끔한 제목, 자신감 있는 요약. 정작 코드베이스는 이해하지 못합니다.

검토 시간만 소모
관리자는 결국 읽고, 되묻고, 쓸모없다는 걸 확인해야 합니다.

대량으로 들어옴
프롬프트 하나가 레포 열 곳에 거의 똑같은 PR 열 개로 쏟아집니다.

04측정

감으로가 아니라, 측정합니다

매 커밋마다, 사람이 직접 라벨을 단 25개 골든셋(진짜 슬롭 13건 + 정상 기여 12건)으로 임계값 50에서 다시 채점합니다. LLM 키 없이 휴리스틱만으로요. 결과는 이렇습니다.

정밀도100%

슬롭이라고 표시한 건 전부 진짜 슬롭이었습니다. 오탐 0건.

재현율92%

실제 슬롭 13건 중 12건을 잡아냈습니다.

F196%

정밀도와 재현율을 하나로 합친 점수.

25개 케이스 전부, 어떻게 됐나

슬롭 정확히 잡음 12
정상 통과 12
놓침 1
잘못 막음 0

25건 중 24건 정확. 유일하게 놓친 1건도 빠져나간 슬롭이지, 진짜 기여자를 잘못 막은 게 아닙니다. 정상 PR을 막은 적은 한 번도 없습니다.

05설계 원칙

오픈소스 관리자를 위해

기여자를 존중하고, 절대 무리하게 닫지 않는 분류 도구.

$ gh app install

원클릭 GitHub App

레포나 조직에 클릭 한 번으로 설치. Action YAML도, CI 설정도, 연결할 시크릿도 없습니다.

/slop approve

사람이 최종 결정

격리 라벨과 리뷰 코멘트만 답니다. 관리자의 명시적 명령 없이는 아무것도 닫지 않습니다.

provenance:

출처 태깅

생성기 힌트, 프롬프트 지문, “As an AI model” 같은 누출 문구를 표시합니다.

SLOP_POLICY.yml

정책 코드화

임계값, 라벨, 허용 목록(allowlist), 코멘트 템플릿이 레포에 있고 다른 변경처럼 리뷰됩니다.

if no LLM key:

LLM 없이도 동작

휴리스틱 전용 모드는 API 키 없이 돌고, 골든셋에서 정밀도 100%를 냅니다.

db: null

DB 없음

상태는 GitHub 라벨과 이슈에 저장됩니다. 전체를 자기 용도로 셀프호스팅할 수 있고, 소스는 Commons Clause로 공개되어 있습니다.

노이즈는 거르고, 진짜 기여는 지키고

SlopGuard는 라벨과 코멘트만 달 뿐, 닫을지 말지는 언제나 당신이 정합니다.

slopguardMIT licensed자동으로 닫은 PR 0건