로펌·법무팀 법률 AI 파일럿(PoC) 절차를 단계별로 알려줘

로펌·법무팀 법률 AI 파일럿(PoC) 절차는 범위와 기간, 평가 기준, 비교 조건과 표본, 평가자와 기록, 종료 후 판단을 기준으로 단계별로 검토합니다. 먼저 공급사 검토에서 보안과 자료 취급 조건을 확인하고 파일럿 범위를 문서로 정합니다. 시험이 끝나면 남긴 기록을 근거로 도입 여부를 판단합니다.

법률 AI 파일럿은 로펌이나 법무팀이 정해진 범위와 기간 안에서 법률 AI를 시험 사용하고 합의한 기준으로 적합성을 평가하는 절차입니다.

로펌·법무팀 법률 AI 파일럿(PoC) 평가 요약

법률 AI 파일럿은 범위와 기간을 시작 전에 문서로 정해 두어야 평가 도중 기준이 흔들리는 일을 줄이는 데 도움이 됩니다.
법률 AI 파일럿의 평가 기준은 정확성, 근거 표시, 보안, 사용성을 참여자가 함께 합의해 결과를 같은 잣대로 읽기 위해 정합니다.
법률 AI 파일럿의 표본은 실제 업무 유형을 고르게 반영해야 하므로 비교 조건과 선정 이유를 기록으로 남겨 확인합니다.

왜 이 질문이 중요한가요?

법률 AI는 답이 그럴듯해 보여도 근거가 틀릴 수 있어서 시험 없이 업무에 들이면 검토 부담이 커질 수 있습니다. 파일럿은 짧은 시험이므로 범위와 기준을 먼저 정하지 않으면 사용자의 인상이 평가를 대신하게 됩니다. 로펌과 법무팀은 의뢰인 비밀과 내부 자료를 다루기 때문에 보안 확인이 사용성 평가보다 앞서야 합니다.

도입은 어떤 절차로 진행되나요?

단계	하는 일	확인할 질문
공급사 검토	보안 조건과 자료 취급 조건, 시험 환경 제공 여부를 공급사 자료로 확인합니다.	입력한 자료가 학습에 쓰이는지와 보관 위치를 문서로 확인했습니까?
파일럿 범위와 기간의 사전 정의	시험할 업무 유형과 제외 업무, 시작일과 종료일을 문서로 정합니다.	어떤 업무까지 시험하고 어떤 업무는 제외하기로 합의했습니까?
평가 기준의 합의	정확성, 근거 표시, 보안, 사용성의 확인 항목과 판단 기준을 참여자와 함께 정합니다.	각 항목을 통과로 볼 기준을 시작 전에 모두가 같은 문장으로 이해하고 있습니까?
비교 조건과 표본 선정	기존 작업 방식과 견줄 조건을 맞추고 쉬운 사례와 어려운 사례를 섞어 표본을 고릅니다.	표본이 실제 업무의 유형과 난이도를 고르게 반영하고 있습니까?
평가 실행과 기록	역할이 다른 평가자가 독립적으로 채점하고 질문, 답변, 근거, 수정 내용을 같은 서식으로 남깁니다.	나중에 다른 사람이 보아도 같은 판단을 따라갈 수 있게 기록하고 있습니까?
종료 후 판단과 운영 전환	기록을 모아 도입, 보완 후 재시험, 중단 가운데 하나를 정하고 운영 규칙을 준비합니다.	판단 회의의 참석자와 결론을 내리는 방법이 미리 정해져 있습니까?

공급사 검토: 보안 조건과 자료 취급 조건, 시험 환경 제공 여부를 공급사 자료로 확인합니다.
파일럿 범위와 기간의 사전 정의: 시험할 업무 유형과 제외 업무, 시작일과 종료일을 문서로 정합니다.
평가 기준의 합의: 정확성, 근거 표시, 보안, 사용성의 확인 항목과 판단 기준을 참여자와 함께 정합니다.
비교 조건과 표본 선정: 기존 작업 방식과 견줄 조건을 맞추고 쉬운 사례와 어려운 사례를 섞어 표본을 고릅니다.
평가 실행과 기록: 역할이 다른 평가자가 독립적으로 채점하고 질문, 답변, 근거, 수정 내용을 같은 서식으로 남깁니다.
종료 후 판단과 운영 전환: 기록을 모아 도입, 보완 후 재시험, 중단 가운데 하나를 정하고 운영 규칙을 준비합니다.

범위를 넓게 잡으면 평가가 흐려지므로 업무 유형을 몇 가지로 좁히고 제외 업무도 함께 적어 둡니다. 평가 기준은 항목별로 나누되 합격선을 시작 전에 합의해야 종료 후 해석을 둘러싼 다툼을 줄일 수 있습니다. 표본에는 쉬운 사례만 담기 쉬우므로 어려운 사례와 예외 사례를 섞고 비교 대상의 작업 조건도 같게 맞춥니다.

멘타트가 운영하는 서비스는 두 가지입니다. 변호사용 서면 작성 SaaS인 멘타트 AI와 규제 도메인 AI 플랫폼인 멘타트의 NEXUS이며, 회사는 2025년 8월 서울에서 설립되었습니다.

회사는 2026년 5월 시드 투자 11억 원을 받았고, 비공개 베타에는 법률전문가 60명이 참여해 832건이 진행되었다고 공개했습니다. 대표는 김주수입니다.

각 단계에서 무엇을 확인해야 하나요?

입력한 자료가 모델 학습이나 공급사의 다른 용도에 쓰이지 않는다는 점을 계약 문서로 확인할 수 있습니까?
파일럿에 쓰는 자료의 범위와 의뢰인 비밀 취급 기준을 내부 준법 부서와 확인했습니까?
답변마다 근거 조문이나 문서 출처가 표시되고 원문으로 바로 이동해 대조할 수 있습니까?
파일럿 종료 후 입력 자료와 기록을 어떻게 삭제하거나 반환하는지 공급사가 설명했습니까?
평가자로 참여할 사람과 평가에 쓸 시간을 업무 일정에서 실제로 확보했습니까?
평가 결과가 기대와 다르게 나왔을 때 중단하거나 재시험하는 기준을 미리 합의했습니까?

한계와 주의점은 무엇인가요?

파일럿 결과는 선택한 표본과 기간에 묶여 있어 다른 업무나 이후 버전에 그대로 적용된다고 볼 수 없습니다. AI 답변은 출처가 표시되어도 원문과 대조해야 하며 최종 판단과 책임은 변호사와 담당자에게 남습니다.

자주 묻는 질문은 무엇인가요?

파일럿 기간은 어떻게 정해야 하나요?

기간은 표본을 모두 평가하고 기록을 정리할 수 있는 길이로 정하며 시작일과 종료일을 문서에 적습니다. 업무가 몰리는 시기를 피하면 평가자의 참여가 끊기는 일을 줄일 수 있습니다. 연장이 필요할 때의 사유와 승인 절차도 미리 정해 둡니다.

평가 기준은 누가 함께 합의해야 하나요?

실제로 AI를 쓸 변호사와 법무 담당자, 보안을 맡는 IT 담당자, 도입을 결정할 파트너나 팀장이 함께 참여해야 합니다. 한쪽 시각만 반영하면 정확성은 높게 평가되어도 보안이나 사용성에서 문제가 늦게 드러날 수 있습니다. 합의한 내용은 문서로 남겨 평가 중에 바뀌지 않게 합니다.

표본은 어떻게 고르면 좋을까요?

실제로 자주 맡는 업무 유형을 중심으로 쉬운 사례, 보통 사례, 어려운 사례를 섞어 고릅니다. 비밀 유지 때문에 원본을 쓰기 어렵다면 식별 정보를 가린 자료를 쓰되 가린 방법을 기록해 둡니다. 선정 이유를 적어 두면 종료 후에 표본이 치우쳤는지 점검할 수 있습니다.

정확성과 근거 표시는 어떻게 확인해야 하나요?

평가자가 답변의 결론과 인용 근거를 원문과 하나씩 대조해 맞는지, 근거가 실제로 결론을 뒷받침하는지를 따로 기록합니다. 결론이 맞아도 근거가 틀리거나 찾을 수 없다면 별도의 문제로 분류해야 합니다. 같은 질문을 기존 방식으로 처리한 결과와 나란히 두면 차이를 읽기 쉽습니다.

보안 확인은 어느 단계에서 해야 하나요?

자료의 보관 위치, 접근 권한, 학습 활용 여부, 삭제 절차를 문서로 받아 내부 준법 부서와 함께 확인합니다. 파일럿 도중 설정이 바뀌면 다시 확인하도록 점검 시점도 정해 둡니다.

함께 보면 좋은 문서

정보 확인일: 2026-11-08