본문 바로가기

👩🏻‍💻 🌮 💬

🛠️9

AttributeError: 'DisabledBackend' object has no attribute '_get_task_meta_for' Celery를 이용한 크롤링 예제개요Airflow와 Celery를 비교했다. 크롤링 관리 Airflow vs Celery개요기존 프로젝트의 크롤링 시스템을 Airflow로 관리했다.Airflow 운영 중이던 서버에 문제가 많았는 데, 그 중에서 제일 큰 문제는 cpu 점bonory.tistory.com크롤링 예제를 진행하며 생겼던 오류 기록 개요celery app을 활성화 시키고, Fastapi app도 활성화했다.celery_tasks.pyimport requestsfrom bs4 import BeautifulSoupfrom celery import Celeryimport timecelery_app = Celery( "tasks", broker="redis://localhost:6379/0".. 2025. 2. 11.

[systemd] 서버 reboot 시 서비스 자동 실행 개요원격 서버에 문제가 발생해서 reboot 진행했는데, 원격 서버에서 운영 중인 서비스들이 다 내려가서 수동으로 실행시켜야 했다.이 번거로움을 없애고자, 원격 서버 reboot 되었을 때 자동적으로 서비스가 실행되도록 추가하려고 한다.방법1. systemd에 추가2. crontab에 추가방법 1️⃣ systemd1. 서비스 파일 생성sudo vim /etc/systemd/system/my_service.service 2. 서비스 파일 작성[Unit]Description=Activate service automatically when rebooting this server.After=network.target[Service]ExecStart=/bin/bash -c "source /home/my_name/.. 2025. 1. 6.

docker: Error response from daemon: Unknown runtime specified nvidia. NVIDIA의 Jetson 플랫폼에서 Ollama LLM 패키지를 Docker를 통해 실행할 수 있도록 환경을 구축하는 과정에서아래의 명령어로 container를 run하려고 하니까docker run --runtime nvidia -it --rm \ --network=host \ -v ~/ollama:/ollama \ -e OLLAMA_MODELS=/ollama \ dustynv/ollama:r36.2.0 아래와 같은 에러메세지를 확인할 수 있었다.docker: Error response from daemon: Unknown runtime specified nvidia.See 'docker run --help'. 이 오류는 Docker가 nvidia 런타임을 인식하지 못할 때 발생하는데, 이는 NVIDI.. 2024. 11. 14.

[pip] ERROR: Could not build wheels for greenlet which use PEP 517 and cannot be installed directly pip3 install sqlalchemy 시도하니까Collecting greenlet Using cached greenlet-3.1.1.tar.gz (186 kB) Installing build dependencies ... done Getting requirements to build wheel ... done Preparing wheel metadata ... doneBuilding wheels for collected packages: greenlet Building wheel for greenlet (PEP 517) ... error ERROR: Command errored out with exit status 1: command: /Users/hyery95/Desktop/pr.. 2024. 10. 31.

[EC2 Instance] file descriptor leak issue 개요Docker로 Airflow를 띄운 ec2 instance가 한,두달에 한번씩 ssh 접근이 불가능한 상태가 반복되었다.AWS ec2 instance 상태는 running 상태인데 airflow가 내려가있고 ssh 접근이 안되는 것이 서버가 무겁게 돌아가고 있어서, cpu 문제이거나 memory 문제라고 판단하여서주기적으로 memory 사용량도 log로 기록하고, ec2 instance monitoring으로 CPU 사용률을 확인해도 뚜렷한 원인을 찾지 못했다. 확인 airflow가 내려간 시점의 log를 하나하나 찾아보니[ERR] Connection could not be made due to the following error: (pymysql.err.OperationalError) (2003,.. 2024. 8. 6.

[SSH] 접속 오류 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! 개요ssh 접속 시도시 아래와 같은 에러 메세지가 출력되었다.@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host key has just been changed.. 2024. 7. 22.

[Safari] http 요청을 https로 강제 전환해버리는 문제 | fastapi, uvicorn 기존에 진행되어서 배포된 프로젝트에서 safari로 접속시 버그가 있다는 제보에 local에서 실행시키고 localhost로 접속을 시도했다. WARNING: Invalid HTTP request received. Traceback (most recent call last): File "/Users/{myname}/Desktop/project/{projectname}/venv/lib/python3.8/site-packages/uvicorn/protocols/http/httptools_impl.py", line 131, in data_received self.parser.feed_data(data) File "httptools/parser/parser.pyx", line 212, in httptools.p.. 2024. 3. 27.

[docker] docker.errors.APIError: 500 Server Error for http+docker://~/start: Internal Server Error ("write /home/~/tmpfile: no space left on device) 잘 운영되던 docker가 down 되면서 서비스가 중지되었다. docker가 떨어뜨린 에러 메세지는 다음과 같다 docker.errors.APIError: 500 Server Error for http+docker://localhost/v1.42/containers/11f76378c2673eed151a57ac10227a419decbbee234c52c9afe74c7643754ad8/start: Internal Server Error ("write /home/ubuntu/.local/share/docker/containers/11f76378c2673eed151a57ac10227a419decbbee234c52c9afe74c7643754ad8/.tmp-hostconfig.json1581200925: no sp.. 2024. 3. 4.

[linux] E: Package 'python3-pip' has no installation candidate AWS에서 ec2 instance를 생성하고 pip을 설치하려고 하니까 다음과 같은 에러가 발생했다. $ sudo apt install python3-pip E: Package 'python3-pip' has no installation candidate pip이 후보군에 없다는 것이다. 이렇게 되면 apt update를 진행한다. sudo apt update sudo apt install python3-pip 이젠 pip이 잘 설치된다. 설치가 다 될때 쯤에 처음보는 게 나왔다. 개발인생 중에 처음 보는 광경 default로 지정하고 넘어감 2024. 2. 28.

이전 1 다음

티스토리툴바