editpics.

EDITPICS · BETA · 개발 블로그

스마트 브러시에 MobileSAM을 선택한 이유

점 몇 개의 비교에서 실제 브러시 획 실험으로. 사용자의 수정 의도를 기준으로 모델을 고른 과정을 정리했습니다.

배경제거와 추가 보정은 다른 문제

EditPics의 초기 배경제거는 BiRefNet이 담당합니다. 사진 전체에서 남길 피사체를 추정하는 단계입니다. 하지만 사용자가 남기려던 물체가 빠지거나, 지우고 싶었던 부분이 남을 수 있습니다. 스마트 브러시는 그 결과를 사용자의 입력으로 고치는 별도 단계입니다.

이 글은 2026년 9월 24일 진행한 실험과 채택 결정을 정리한 개발 기록입니다. 초기 배경제거 모델을 MobileSAM으로 교체한 것은 아닙니다.

점을 찍는 비교에서 획을 그리는 비교로

처음에는 정해진 지점을 입력해 SAM 2.1 tiny와 MobileSAM의 결과를 비교했습니다. 그런데 몇 개의 점만으로는 실제 사용자가 브러시 두께와 칠하는 범위를 바꾸며 전달하는 의도를 충분히 평가하기 어려웠습니다.

그래서 같은 사진과 기준 마스크에 지우기·복원·보호 획을 직접 그리는 비교 환경을 만들었습니다. 획의 대표 지점과 면적 정보를 사용하고, 수정 허용 범위와 보호 영역을 함께 적용했습니다. 두 후보 모델 외에 수동 브러시도 대조군으로 남겨 모델이 무엇을 추가로 판단했는지 비교했습니다.

채택 기준은 실제 수정 의도

운영자가 두께와 모드를 바꾸며 반복 실험한 뒤 MobileSAM이 자신의 수정 의도를 더 잘 해석한다고 평가해 채택했습니다. 이것은 해당 실험과 사용자 평가에 따른 제품 결정입니다. 모든 사진에서 MobileSAM이 더 정확하다는 정량적 우열이나 일반 벤치마크 결과를 의미하지 않습니다.

반사되는 금속, 밝은 부분, 얇은 경계처럼 애매한 영역에서는 두 모델 모두 원치 않는 선택을 할 수 있습니다. 따라서 모델 점수만 보고 자동 확정하지 않고 윤곽 미리보기, 다시 칠하기, 보호 획, 수동 모드, 되돌리기를 함께 제공합니다.

없는 장면을 만들지 않는 보정

지우기는 해당 영역의 투명도를 낮추고, 복원은 원본에 있던 픽셀을 다시 드러냅니다. 생성형 채우기로 지운 물체 뒤의 배경을 그려 넣지는 않습니다. 편집 결과를 확인하고 적용한 뒤 파일로 저장하는 흐름을 유지합니다.

현재 스마트 브러시는 사진 편집기에서 사용할 수 있습니다. 두 후보 모델과 수동 대조군을 비교하는 별도 공개 실험실도 열었습니다. 공개용 작업자는 운영 편집기와 분리하고 방문자별 접근 검사, 요청·자원·처리시간 제한, 사진과 결과의 만료 처리를 적용했습니다. 이 글이나 공개 예제에는 사용자 원본 사진·비공개 실험 입력을 포함하지 않았습니다.

공개 실험의 조건과 한계

사진을 열기 전에 분석본·브러시 입력의 서버 전송과 임시 처리에 동의해야 합니다. 긴 변 최대 1024px로 비교하며 생성형 채우기는 하지 않습니다. 사진은 10분 미사용 또는 생성 후 30분에, 결과는 작업 시작 후 5분에 만료됩니다. 사진 닫기로 해당 자료와 실행 중 작업을 해제할 수 있습니다. 다운로드한 입력 JSON에는 사진이 들어 있으므로 공유에 주의해 주세요.

공개 실험은 매 비교마다 독립 작업자를 실행합니다. 사진 특징을 다음 비교에 재사용하지 않아 로컬 실험보다 느릴 수 있습니다. 동시 작업은 1건, 작업당 최대 90초이며 혼잡할 때는 재시도가 필요합니다. 모델이 계산한 점수는 정답 대비 정확도가 아니며 일부 사진에서 의도와 다른 선택을 할 수 있습니다.

직접 재현한 복원 동작 예시

문서용으로 직접 만든 캡슐 모양 fixture의 가운데 100×130px를 배경색으로 가린 뒤, 같은 원본의 해당 영역을 다시 합성했습니다. 이는 복원이 원본에 있던 픽셀을 드러내는 동작을 설명하기 위한 결정론적 예시입니다.

아래 결과는 MobileSAM의 선택 정확도나 모델 간 우열을 보여주는 출력이 아닙니다. 실제 스마트 브러시에서는 획과 사진을 모델이 해석하므로 선택 범위가 달라질 수 있습니다.

보라색 캡슐 모양 피사체 가운데가 직사각형으로 빠진 보정 전 상태적용 전
같은 원본의 가운데 영역을 다시 합성해 캡슐 모양이 이어진 복원 결과적용 후
자체 제작 원본에서 빠진 영역에 동일 원본 픽셀을 실제 합성한 복원 예시입니다.EditPics 문서용 자체 제작 fixture · 개인 사진과 제3자 저작물 없음

재현 설정

  • 가운데 100×130px 누락 상태 생성
  • 동일 좌표의 원본 픽셀 합성
  • 생성형 채우기 없음