전체 글 썸네일형 리스트형 Instruction tuned model과 eos 토큰 인스트럭션 튜닝이 된 모델을 사용하다가 eos 토큰을 어떻게 써야하는지 탐색해보았다.사용한 모델은 CodeLlama-Instruct-7B, Temperature는 0.2, TopP 0.95, Max Tokens 64으로 생성하고, eos토큰 ()가 나오면 생성을 멈추도록 구성했다. 파이썬 문제를 구현하는 MBPP 테스크로 실험했다.싱글턴 실험 (제로샷)CodeLlama-Instruct에 맞는 인스트럭션 템플릿으로 구성하고, 인스트럭션을 가져와서 프롬프트를 만들어봤다.[INST] > Write Python function to complete the task and pass the assertion tests. >Task:These are the assertions for your function:asse.. 더보기 Github Private Repo로 Fork하기 때때로 깃허브에 있는 레포지토리를 포크해서 사용하고 싶을 때가 있다. 하지만 깃허브에서 포크를 하게되면 공개 레포지토리로 만들어지고 비공개로 돌릴 수도 없어 비공개로 개발하고 싶을 때 불편한 점이 있다. 이를 우회해 비공개 레포지토리로 포크하는 방법이 잘 알려져 있고 이를 간략하게 정리하고자 한다.출처: https://gist.github.com/0xjac/85097472043b697ab57ba1b1c7530274 Create a private fork of a public repositoryCreate a private fork of a public repository. GitHub Gist: instantly share code, notes, and snippets.gist.github.com먼저, .. 더보기 파이썬 문자열 함수 훑어보기 요즘 문자열 처리를 자주 하게 되는데 기본적인 함수도 똑바로 알고있지 않은 것 같아서 파이썬에서 제공하는 문자열 함수를 훑어보고 이해도를 높이기로 했다. 참고한 문서는 다음과 같다. Built-in TypesThe following sections describe the standard types that are built into the interpreter. The principal built-in types are numerics, sequences, mappings, classes, instances and exceptions. Some colle...docs.python.org관련있다고 생각되는 함수들끼리 그룹화했고, 내 기준으로 중요한 순서대로 함수를 하나씩 소개하겠다.문자열 검증 함수주어진 .. 더보기 허깅페이스 데이터셋 업로드하기 머신러닝 연구를 하다보면 다양한 데이터셋에 활용하게 된다. 예전에는 인터넷에서 크롤링을 하거나, 다른 논문의 저자가 업로드해둔 데이터셋을 다운로드 받아서 사용하는 등 데이터셋에 접근하는 방식이 각양각색이었다. 그런데, 어느 날 데이터셋에 통합적으로 접근할 수 있는 라이브러리가 생겼고 이것이 허깅페이스 데이터셋이다. 문득문득 이런걸 만들어서 배포해주는 허깅페이스를 비롯한 많은 오픈소스 개발자에게 감사하면서 살고 있다;; 어쨋든, 이렇게 통합된 라이브러리에 내가 새로운 데이터셋을 만들었을 때, 어떻게 이 새로운 데이터셋을 허깅페이스 라이브러리를 써서 접근할 수 있게 구성하는지 알아보고자 한다.csv 파일 준비하기주로 대부분의 정제된 데이터셋은 엑셀의 형태로 구성할 수 있다. 이미지나 비디오와 같은 멀티미디어.. 더보기 파이썬 비동기 프로그래밍에서 작업 큐 사용하기 이전 글에 이어서, 비동기 프로그래밍에서 작업 큐를 사용하는 방법에 대해 알아보려고 한다. 먼저, 작업 큐를 사용하는 이유에 대해서 생각해보기 위해 아래 예시를 살펴보자.import asyncioasync def perform_task(num: int): await asyncio.sleep(1) return num + 1 async def main(): tasks = [perform_task(num) for num in range(1000)] futures = asyncio.gather(tasks) return futures asyncio.run(main())위 코드는 1000개의 테스크를 동시에 처리하는 코드이다. 문제는, 1000개를 동시에 처리할 수 없는 제한 조건이 있는 경우가 많다는.. 더보기 비동기 파이썬 프로그래밍 해보기 (asyncio, aiohttp 사용해보기) 요즘들어 대형언어모델 추론 API 서버를 활용해 코딩하는 일이 잦아졌다. 이 때, API 서버에 병렬적으로 요청을 날리면 실험을 빠르게 수행할 수 있다. 파이썬에서 병렬적으로 요청을 날리는 2가지 방식이 있다.1. 파이썬 threading 패키지를 사용한 멀티스레드 프로그래밍2. 파이썬 asyncio 패키지를 사용한 비동기 프로그래밍예전에는 주로 멀티스레드를 사용했는데 요즘은 비동기 프로그래밍이 더 좋다고 해서 한번 어떻게 쓰는지 조사해보았다.기본 사용법먼저, 가장 간단한 비동기 프로그래밍 코드의 구조를 살펴보자.import asyncioasync def main(): print("Hello") await asyncio.sleep(1) print("World") asyncio.run(main()).. 더보기 나이키 스트릭플라이 샀다. 작년 3월 취미로 러닝을 시작하면서 러닝화를 구매했었다. 예전에는 나이키 프리 런이라는 러닝화를 사서 한 1년간 신었던 것 같다. 러닝화를 신었을 때랑 그냥 운동화를 신었을 때랑 뛸 때의 느낌 차이가 많이 났던 것 같아서 러닝화를 애용했다. 조금 오래 신는 것 같기도 하고.. 나이키 세일도 하고.. 좀더 좋은 러닝화가 탐이 나서 이번에 새로 러닝화를 구매했다. 새로 산 러닝화는 나이키 스트릭플라이. 사실 뭐 신기만 하면 기록이 단축된다는 나이키 베이퍼 맥스 이런걸 사고 싶었지만.. 세일도 안하는 것 같고 스트릭플라이 리뷰도 그렇게 나쁘지는 않은 것 같아서 이걸로 구매했다. 기대된다.. 쿠션감은 어느 정도 좋은 것 같고 다음주 수요일에 한번 뛰면서 편안한지 한번 느껴볼까 싶다. 그럼 이번주 러닝 기록을 업.. 더보기 GPT로 날짜 생성하기 (Prefix-Tuning 으로 학습) 이전 글에서는 GPT 모델의 모든 파라미터를 조정해서 날짜를 생성하게끔 하였다. 하지만, 이 방식은 새로운 테스크가 생길 때마다 모든 파라미터를 조정해야한다는 단점이 있다. 그래서 입력 시퀀스에 추가적인 Prefix Embedding을 결합하여 추가된 임베딩만 학습하는 이른바 Prefix-Tuning이라는 학습 방법이 제안되었다. 학습 코드는 다음과 같다.import torchimport torch.nn as nnfrom torch.utils.data import DataLoaderimport torch.optim as optimfrom transformers import GPT2Tokenizer, GPT2LMHeadModeldef generate(model: GPT2LMHeadModel, inputs_.. 더보기 이전 1 2 3 4 5 ··· 7 다음
