디지털 이노베이션 및 빅테크 AI Business 전략 (3) 허깅페이스, 멀티모달, 컴퓨터 비전

허깅페이스 트랜스포메이션 vs OpenAI Fine-tuning

PyTorch

허깅페이스의 트랜스포머를 가져와서 사용한다.

LLM 모델은 진짜 많다.

GPT 코드는 오픈되어 있다. 깃 사이트에서 다운받아서 사용할 수 있다. 자원(GPU..)의 한계때문에 못받는거다. 받아서 쓰면 좋은 이유가 토큰이 안든다.

어떤 기술 한 가지를 선택하게 된다면 왜 이 기술을 쓰게 되었는지 비교 차트를 보여주면서 거론해줘야 한다.

 

품질 확인을 위한 기본 체크리스트 - PM 업무

데이터 형식 확인 (JSON)

PM을 목표로 한다면 프로그래머들과 이야기 하기위해 하는 과정이라고 생각해라. 프로그래머들은 다 안된다고 할 것이다. 돈과 시간이 없으니까 안되는 것이다.

 

Chat GPT에 질문하여 답 얻기

• 랭체인에 없는 자료는 어떻게 할까? 부성순응 장고 강아지를 길러 와 같은...할머니에게 설명하듯
• 이런 과정을 뭐라고 해?
• 파인튜닝은?
• 2개를 나누어서 쉬운 예를 알려줘
• Rag까지 비교해줘
• 코렙에서 실행하는 코드. 제공해줘 랭체인이 가능한건 랭체인으로
• 평가방법은
• 파이썬 코드로
• 비용에대한 이슈는
• 프로그래머 능력은
• 파인튜닝에서 허깅페이스의.트랜스포머와 openai의 파인튠의 차이는?

 

위키독스 '랭체인 입문부터 응용까지'

 

아래 작업을 순서대로 합니다. (1),(2),(3)은 개념만 알아도 됨.

(1) 랭체인을 이용한 데이터 가져오기

2-2-2 텍스트 문서

https://wikidocs.net/231564

2-2-4 csv 문서

https://wikidocs.net/231566

(2) 랭체인에서 데이터 나누기 (2-3-1 ,2-3-2, 2-3-3 모두 알아두세요)

https://wikidocs.net/231430

(3) 랭체인 pdf 로더

https://wikidocs.net/232104

(4) 총실습 (pdf 문서를 읽어와서 RAG만들기)

https://wikidocs.net/231434 (2-6-1, 2-6-2, 2-6-3) 모두 실행