본문 바로가기

전체 글147

로컬 LLM이 어렵게 느껴졌다면: 언슬로스 데스크탑 사용기 로컬 LLM을 돌려보고 싶어 Ollama를 깔았다. 터미널에 ollama pull을 치는 순간 손이 멈췄다. 모델 이름 뒤에 붙은 8B, Q4_K_M, instruct가 뭔지 몰랐고, VRAM은 몇 GB를 비워야 하는지도 몰랐다. LM 스튜디오는 화면이 있으니 낫겠지 싶어 깔았는데, 같은 모델이 수십 개로 쪼개진 목록 앞에서 또 멈췄다. 두 번 미루다가 언슬로스 데스크탑으로 다시 시작했다. 이번엔 첫 채팅까지 갔다. 그 과정을 적는다.1. 시작에서 막히는 지점Ollama의 벽은 터미널이 아니라 선택지다. ollama run llama3.1:8b 같은 명령은 외우면 된다. 어려운 건 그 앞이다. Q4_K_M과 Q5 중에 뭘 받아야 하는지, 컨텍스트 길이는 얼마로 잡는지, 내 그래픽카드 메모리에 들어가는지... 2026. 9. 10.
메타의 뮤즈 스파크 1.3의 자리 9월 첫주 스포트라이트는 GPT-6 Astra와 클로드 Fable 5.1이 가져갔다. 둘 다 9월 3일 안팎에 나왔고, API 요금은 나란히 100만 토큰당 입력 10달러·출력 50달러다. 그런데 진짜 싸움은 그 아래에서 벌어진다. 같은 급끼리 붙는 가성비 대결이다. 뮤즈 스파크 1.3은 딥시크 V4 Pro와 같은 급이고, V4 Flash와 붙는 건 1.x 컨트리뷰터 라인이다. 급을 맞춰 놓고 보면 스파크의 자리가 보인다. 모델을 구분해서 쓰는 중상급 사용자 기준으로 정리한다.1. 9월 판도: 위는 Astra·Fable, 아래가 진짜 승부GPT-6 Astra는 OpenAI의 컴퓨터 사용 플래그십이다. 105만 컨텍스트, $10/$50 요금. Fable 5.1은 요금은 Fable 5와 같고 캐시 읽기만 7.. 2026. 9. 9.
깃허브에서 뜨는 AI 스킬 6개, 초보도 골라 쓰는 법 (9월 2주차) 같은 프롬프트를 세 번째 복붙하고 있다면, 그 프롬프트는 스킬이 될 차례다. 요즘 깃허브 트렌딩에는 모델이 아니라 스킬 저장소가 올라온다. 이번 주에만 스킬 저장소 몇 곳에 합쳐서 5만 개가 넘는 스타가 찍혔다. 뭐가 뜨는지, 뭘 깔아야 하는지 정리해본다.1. 스킬이 뭔지 30초로스킬은 폴더 하나다. 안에 SKILL.md라는 설명서가 들고, 필요할 때 모델이 꺼내 읽는다. 평소에는 제목만 스캔하고(약 100토큰), 쓸 때만 본문을 펼친다. 그래서 수십 개를 깔아둬도 컨텍스트가 터지지 않는다. 매번 치던 긴 프롬프트를 저장해둔 북마크라고 보면 된다. 스킬을 만드는 법도 단순하다. 폴더를 만들고 SKILL.md에 이름과 설명, 지시문을 적으면 끝이다. 설명이 짧을수록 모델이 찾기 쉽다. "같은 말을 반복하고.. 2026. 9. 9.
초보도 속지 않는 AI 모델 점수 읽는 법 벤치마크 1등 모델을 썼는데, 막상 내 질문에는 엉뚱한 답이 돌아온 적 있다. 점수가 높으면 다 좋은 줄 알았는데, 그 점수는 정해진 시험지에서 받은 점수일 뿐이다. 시험 범위가 내 일과 다르면 점수는 참고만 하는 게 낫다. 이 글은 점수표에 속지 않고 내 용도에 맞는 모델을 고르는 순서를 정리해본다. 거창한 이론보다는 직접 20개만 물어보고 고르는 방법을 다룬다.1. 벤치마크 점수는 시험지 점수다벤치마크는 모델들한테 같은 문제지를 풀게 해서 채점한 표다. 수학 문제, 코딩 문제, 상식 문제처럼 정답이 정해진 게 많다. 그래서 계산이나 코딩 순위는 대충 가늠할 수 있다. 다만 여기까지다. 점수는 "그 문제지에서의 등수"지, "내 질문을 잘하는 순위"는 아니다. 수능 1등이 요리를 잘한다는 보장은 없는 것.. 2026. 9. 9.
오마이파이(OMP)란? 터미널 AI 코딩 에이전트 설치부터 사용법까지 Claude Code, Codex, Cursor 다 써봤는데 뭔가 아쉽지 않으셨나요? 리팩토링은 문자열 치환 수준이고, 디버깅은 print 찍기가 전부고, 비싼 모델로 자잘한 작업까지 돌리니 토큰이 술술 나갑니다. 오마이파이(Oh My Pi, 명령어 omp)는 그 빈틈을 노린 터미널형 오픈소스 AI 코딩 에이전트다. 한마디로 "IDE를 통째로 이식한 코딩 에이전트"다. 언어서버(LSP)로 코드를 이해하고, 실제 디버거(DAP)로 실행 중인 프로그램을 들여다보고, 작업 난이도별로 모델을 갈아낍니다. 이 글에서 설치부터 첫 실행, 모델 설정, 실전 팁까지 한 번에 정리한다. 기준 버전: omp 18.1.14(2026-09-08 실측), GitHub 스타 약 3만(2026-09 기준).1. 오마이파이 한 줄 .. 2026. 9. 8.
로컬 LLM과 프론티어 모델로 부동산 경매 앱을 만든다 - 3화 https://myview7144.tistory.com/230 로컬 LLM과 프론티어 모델로 부동산 경매 앱을 만든다 - 2화https://myview7144.tistory.com/229 로컬 LLM과 프론티어 모델로 부동산 경매 앱을 만든다 - 1화https://myview7144.tistory.com/222 로컬 LLM과 프론티어 모델로 부동산 경매 앱을 만든다, 프롤로그프롤로그. 하나의myview7144.tistory.com리뷰를 거쳤는데 실제 자료는 다르게 들어왔습니다2화에서는 설계 문서를 작업 단위로 나누고, 로컬 모델이 구현한 뒤 프론티어 모델이 다시 확인하는 흐름을 적었습니다. 한 번 만든 코드를 완료된 결과로 보지 않고, 기준에 맞춰 다시 확인하는 과정이 이어졌습니다. 실제 자료를 화면에 .. 2026. 9. 8.

티스토리툴바