Agent Skills를 추가했는데 왜 성능이 떨어질까? — Microsoft 연구와 엔터프라이즈 AX의 교훈
Microsoft 연구가 분석한 Agent Skills의 기능적 실패와 비용 퇴행을 기업 AX의 SME 지식·권한 문제에 연결하고, 재현 가능한 평가 방법을 제안한다.
Microsoft 연구가 분석한 Agent Skills의 기능적 실패와 비용 퇴행을 기업 AX의 SME 지식·권한 문제에 연결하고, 재현 가능한 평가 방법을 제안한다.
Agent Skills와 MCP의 차이, SKILL.md의 구조와 작동 방식, 기업 SME의 업무 노하우를 Agent 작업 지침으로 만드는 방법을 실무 사례로 살펴본다.
RAG, Voice Agent, 자동화 프로젝트를 직접 설계하며 반복해서 확인한 것은 기술보다 경계였다. 모호한 AI 요구를 Value·Decision·Authority·Execution·Adoption의 운영 계약으로 바꾸는 AX 컨설팅 방법을 실제 사례로 정리한다.
RFP의 키워드를 그대로 검색하는 대신 Deal Signal과 Canonical Market Lens를 교차해 전략 가설을 만들고, 필요한 evidence만 핀포인팅해 검증하는 Enterprise Web Search 구조를 살펴본다.
기업의 MI·경쟁사·고객·자사 역량을 매 요청마다 다시 넣는 대신 LLM Wiki로 지속적으로 LINT하고, Web Search Agent가 재사용할 Canonical Market Lens Skill로 만드는 방법을 살펴본다.
Enterprise RAG에서 semantic search보다 먼저 필요한 것은 현재 업무에 검색할 자격이 있는 데이터 범위를 정하는 일이다. Deal Context와 Retrieval Scope Contract로 candidate corpus를 제한한 실무 경험을 정리한다.
AI 분류 모델의 confidence를 곧바로 자동화 기준으로 써도 될까? JEV 이메일 분류 PoC 경험을 바탕으로 calibration, risk-coverage, AUTO·VERIFY·REVIEW 정책과 Human-in-the-loop를 실무 관점에서 설명합니다.
기업 PowerPoint 템플릿을 reusable mold로 만드는 관리자용 long-running 작업을 사례로, Agent Run과 Business Job을 분리하고 State·Retry·Resume·Replay·Idempotency를 설계하는 이유를 설명합니다.
JEV와 n8n으로 이메일 분류 PoC를 직접 만들며 확인한 것은 모델 성능보다 Decision Contract의 중요성이었다. L1/L2, score·margin, deterministic resolver와 AUTO/REVIEW 경계를 실제 코드로 풀어본다.
OpenAI Agents API가 managed Codex harness를 제공하기 시작했다. 직접 만든 self-hosted Agent Runtime에서 무엇을 버릴 수 있고, 어떤 application 책임은 끝까지 남겨야 하는지 교체 가능한 contract 관점에서 정리한다.