Live your life

허깅페이스 트랜스포메이션 vs OpenAI Fine-tuningPyTorch허깅페이스의 트랜스포머를 가져와서 사용한다.LLM 모델은 진짜 많다.GPT 코드는 오픈되어 있다. 깃 사이트에서 다운받아서 사용할 수 있다. 자원(GPU..)의 한계때문에 못받는거다. 받아서 쓰면 좋은 이유가 토큰이 안든다.어떤 기술 한 가지를 선택하게 된다면 왜 이 기술을 쓰게 되었는지 비교 차트를 보여주면서 거론해줘야 한다. 품질 확인을 위한 기본 체크리스트 - PM 업무데이터 형식 확인 (JSON)PM을 목표로 한다면 프로그래머들과 이야기 하기위해 하는 과정이라고 생각해라. 프로그래머들은 다 안된다고 할 것이다. 돈과 시간이 없으니까 안되는 것이다. Chat GPT에 질문하여 답 얻기랭체인에 없는 자료는 어떻게 할까? 부성순..

ESG 누구나 할 수 있는 것. 기술로도 특화된 것도 아니고, 데이터를 수집한 것도 아니다. ESG문서들은 문서자체에 들어가는 단어들이 전문적인 용어다. 중소기업 있는 사람들이 그 용어를 쓸 수 없다. ESG는 산업군별로 다르다. 이건 전처리가 아니라 데이터 싸움이다. 자동차 부품이라고 하면 현대차에 납품해야하는 중소기업이 ESG라는 환경에 맞추지 않고 납품해서 문제가 생겼다. 품질관리에서 가이드를 맞추면 된다. 자기네도 맞춰야하니까.기술 베이스를 끌고 가는 거니까.. 프로그래밍을 안해도 프로젝트를 하는 거니까.. 한번 스타트를 빠르게 하면 계속 한다.. 지금은 다같이 모르는 상황이고 기술은 새로운게 계속 나오고.. 작년은 LLM쪽 연구원, 전문가만 하라고 했다 형태소 분석과 기초적인 것만 해라고 가르쳤..

뉴스기사는 중요하게 쓰일 수 있다. 법제가 포함되어있거나, 식품같은 경우는 식약처 표준이 바뀐것도 기사에 뜬다. 각각의 카테고리가 있다. 그런 자료들을 요약해서 카드 뉴스를 만들 수도 있다. 바뀐 법령이 나오면 요약본이 필요하다. 기존의 정책과 어떤게 바뀌었고, 어떤게 남아있는지 (숫자가 아님)를 알아야 해서 요약본이 중요하다. 스페이스 하나도 다른 단어로 인지한다. 오픈 AI의 단어셋이 있어서 가능하지만, 예전에는 이거는 상상도 못한 일이었다. 하지만 지금도 고전적인 방식으로 문장 분석을 많이 한다. 고전적인 방식은 안녕, 나는, 산책 모두 형태소로 쪼갠다. 구글 ‘KONLPY 파이썬’ 검색, 형태소 단위로 글자를 쪼갤 수 있도록 모든 단어를 등록해놓은 패키지이다. 카이스트에서 이걸 했다. 일일이 단어..

API를 무조건 해야하는 시기이다.IT사람들이랑 함께 일하게 될텐데, 이 사람들은 모르는게 있으면 검색하라고 한다. 베이스가 전혀 없는 상태에서는 검색해도 뭔지 모르겠지만, 지피티나 구글에 검색해서 한번에 못알아듣더라도 용어를 설명을 보고보고본다면 점점 알게될 것이다. 현실적으로 IT사람들은 검색해서 보면 되는걸 자꾸 물어보는게 짜증난다고 한다.재미니는 속도가 빠르지만 그럼에도 불구하고 후발주자이기 때문에 LLM 부분은 지피티를 통해서 하는 경우가 많다. 지피티로 코딩을 해봐야하기 때문에 해봐야한다.지피티로 코딩하는 작업을 할거다.아나콘다 프롬프트에 그대로 작성한다.설치가 안되어있으면 없다고 뜬다.import openai print(openai.version) 0.28.0버전이 지금 아래 버전이라서 조금..

적은비용, 많은 기능, 최적화랭체인 쪽은 책, 인터넷 강의도 별로다. 이 책이 제일 좋다. - LangChain 한국어 튜토리얼 (위키독스)https://wikidocs.net/book/14314 - LangChain 한국어 튜토리얼🇰🇷" data-og-description="**추천**은 공유할 수 있는 무료 전자책을 집필하는데 정말 큰 힘이 됩니다. **"추천"** 한 번씩만 부탁 드리겠습니다🙏🙏 ✅ **랭체인 한국어 튜토리얼 강의** …" data-og-host="wikidocs.net" data-og-source-url="https://wikidocs.net/book/14314" data-og-url="https://wikidocs.net/book/14314" data-og-image="..

1112_가상환경의 이해.pptx구글에 “가상환경(Virtual Machine)” 검색오늘 작업환경 셋팅할 예정이고, 왜 클라우드를 해야하는지 알게 될 것이다.파이썬에서 가장 힘든 것은 의존도가 높아져서 뭔가가 바뀌면 덩달아서 내가 하는 것보다 바뀐거에 쫓아다녀야 한다. 하나가 바뀌는게 아니라 연관되어있는 릴레이션이 꽤 많다. 이런 릴레이션 의존성이 너무 높아서 하나를 설치하고 나머지 의존되어있는게 문제있으면 전체 프로그램이 안돌아가는게 생겨버린다. pandas, numpy, open cv 다 하다보면 몽땅 다 안되는 경우가 생긴다. 그러면 어떻게 하느냐? 구조를 잘 만들어야 한다. 그것을 가상환경이라고 한다. 내가 원하는 모듈만 버전별로 만들어 놓는다. 이거를 안 맞춰놓으면 잘되던 프로그램이 아예 안돌..

SQL에서 데이터베이스 테이블 만들고, 파이썬에서 Tkinter 패키지 사용해서 GUI 만들어서 정보 맞는지 연결한다.먼저 MYSQL Workbench에서 e-commerce라는 데이터베이스를 생성하고, users라는 테이블을 만들어서 id와 password를 입력했다. 다음으로 Visual Studio Code를 실행해서 Tkinter 패키지를 사용하여 GUI를 구현한다.mysql.connector는 MySQL 데이터베이스와 파이썬 프로그램 간의 연결을 가능하게 하는 라이브러리다. 이를 통해 Python 코드에서 MySQL 데이터베이스에 접근하고 SQL 쿼리를 실행할 수 있는 기능을 제공한다.데이터베이스와 연결하기 위해 connect() 함수를 사용하고, SQL 명령을 수행하기 위해 cursor()를 ..

파일 및 디렉토리의 이해 - 터미널, 파일탐색기, 파이썬 C드라이브 - 하드디스크 (물리적 저장)cd: change directory파일탐색 와일드카드란? ‘’ * “ 뒤에 모든 것을 찾아라.해시테이블은 파일 이름을 알고 있을 때 바로 그 파일을 빠르게 찾는 데 좋고, 인덱스는 특정 조건에 맞는 파일들을 빠르게 찾는 데 좋다.캐시메모리: CPU가 자주 사용하는 데이터를 저장하는 작고 빠른 메모리다. 컴퓨터가 더 빠르고 효율적으로 일할 수 있게 한다. 바로바로 꺼내 쓸 수 있다.  4개월 간의 세일즈 분석 위 내용들은 API, 크롤링 할때 필요하다. 파일과 데이터가 쌓여있고 한개로 합쳐서 봐야하기 때문에 폴더 관리는 계속 필요할 것이다. Path가 이런일을 한다.폴더 내의 파일을 가져오는 방법을 두 가지,..

gpt의 원리 - 질문, 응답 옵션구글 재미니 + 초간단 챗봇 (UI)다른 사용자가 쓰게 하려면 웹과 앱에 설치해서 인터넷이라는 연결로 구동해야한다. 그런데 웹,앱 개발까지 하라고 하니까 프로토타입을 만들어서 개발자에게 넘겨주는 식으로 한다.엡(그라디오), 웹(스트림잇) - 진짜 만드는 것은 아니고 프로토타입용이다. 기능이 많이 떨어지지만 굉장히 쉽다.1)API 허락받아서 JSON같은 걸로 가져올 수 있고,2)크롤링 (웹 스크래핑) 웹언어를 이해하고, 구조를 이해해서 내가 원하는 자료를 가져오는 기술이다. 이거 하려면 웹의 구조를 알아야 한다. 웹언어를 따로 공부해야한다. 우리가 입력하는 웹사이트 주소는 도메인 네임이고, 이거는 컴퓨터가 IP주소를 인식한다.DNS → 43.1.7.어쩌고저쩌고공간을 사놓는..

공유폴더 - eda관련 기초 파일 참조GPT 파이썬 코드 작성해줘데이터는 보험청구와 관련한 데이터 정보,  y값은 charges0   age       1338 non-null   int64   1   sex       1338 non-null   object  2   bmi       1338 non-null   float64 3   children  1338 non-null   int64   4   smoker    1338 non-null   object  5   region    1338 non-null   object  6   charges   1338 non-null   float64dtypes: float64(2), int64(2), object(3)데이터의 하단 5개 보기데이터의 전체 크기..