오늘의 이야기

파이썬 및 데이터 계약으로 웹 스크래핑 파이프라인 구축

스크래핑

• 이 기사에서는 데이터 계약을 통합한 실용적인 종단 간 데이터 파이프라인 시연을 제시한다. 목표는 2023/24 시즌 프리미어리그 테이블 순위를 긁어내고 여러 단계를 거쳐 AWS S3 버킷에 데이터를 업로드하는 것이다.

• 파이프라인은 웹 스크래핑이 허용되는지 확인하고 스크래핑 봇을 사용하여 데이터를 추출하고 데이터를 변환하여 AWS S3에 로드하는 것을 포함한다. 데이터 계약은 데이터가 데이터 소비자의 기대에 부합하도록 하기 위해 활용된다.

• 데이터 출처는 프리미어리그 홈페이지이며, 셀레늄을 사용하여 데이터를 스크래핑한다. 데이터 계약은 추출 및 변환된 데이터에 대한 예상 스키마 및 데이터 품질 검사를 정의하는 데 사용된다.

• 파이프라인은 파이썬과 소다, 보토3, 판다, 요청 등 다양한 라이브러리를 사용하여 구현된다. 코드는 모듈로 구성되며 명확한 구조를 따릅니다.

• 결과는 데이터가 성공적으로 스크래핑, 변환 및 AWS S3에 로드됨을 보여준다. 파이프라인은 데이터 거버넌스를 개선하고 데이터 품질을 보장하는 데 데이터 계약을 사용하는 이점을 보여준다.

• 이 기사는 또한 웹사이트의 서비스 조건을 존중하는 것의 중요성과 추가 도구와 고려 사항이 있는 생산 환경에서 데이터 계약을 사용할 수 있는 가능성에 대해 논의한다.

https://levelup.gitconnected.com/create-a-web-scraping-pipeline-with-python-using-data-contracts-281a30440442

Create a web scraping pipeline with Python using data contracts

Add data quality to each source layer for quality in, quality out

levelup.gitconnected.com

오늘의 이야기

#billcorea #운동동아리관리앱
🏸スチーニーたち、バドミントン同好会必須アプリ登場！
👉マッチプレイ - スコア記録＆試合相手を探す🎉
一人で、友達、同好会どこでもぴったりです！ 🤝
バドミントン好きならぜひ使ってみてください

アプリショートカット👉 https://play.google.com/store/apps/details?id=com.billcorea.matchplay

오늘의 이야기

코틀린 코루틴 플로우와 안드로이드 서비스

천사표

• 이 글에서는 클라이언트 구성 요소(활동, 뷰 모델 등)와 서비스 간의 양방향 통신 메커니즘에 대한 구현을 제시합니다.

• 구현은 명령 패러다임과 달리 반응적 접근 방식을 취할 것입니다.

• 현대 응용 프로그램은 여러 가지 이유로 명령형 구현 대신 반응형 구현을 사용하는 경향이 있습니다.

• 구성 요소 간의 느슨한 결합: 구성 요소는 다른 구성 요소가 소비할 데이터를 생성할 뿐이며 데이터 소스는 소비자에 대한 지식이 없으며 그 반대의 경우도 마찬가지입니다.

• 구성 요소 간의 유일한 계약은 데이터 정의입니다.

• 구성 요소는 서로의 인스턴스가 필요하지 않으며 이상적으로는 다른 구성 요소 인터페이스에 의해 노출된 방법을 호출할 필요가 없습니다.

• 역방향 호환성에 대한 문제는 거의 없습니다.

https://blog.stackademic.com/kotlin-coroutine-flows-and-android-services-af665f2a9f8f

Kotlin Coroutine Flows and Android Services

A reactive approach to service communication

blog.stackademic.com

오늘의 이야기

Compose에서 스핀 휠 만들기

spin wheel

• 블리츠위에서 빙고, 솔리테어, 매치3, 풀 등의 클래식 게임을 플레이할 수 있는 애플리케이션을 개발하고 있습니다. 또한 무작위 보너스 금액과 같은 무작위 아이템이 있으므로 사용자에게 일종의 행운의 바퀴를 표시하고 싶었습니다.

• 안드로이드 앱은 전체 구성으로 되어 있습니다. 바퀴를 재창조하기 위해 라이브러리를 찾았지만 디자인이나 기술적인 측면에서 나에게 맞는 라이브러리는 없었습니다.

• https://github.com/commandiron/SpinWheelCompose에서 약간의 영감을 얻었지만 거의 모든 것을 다시 작업했습니다. 내 물레바퀴는 매개변수로 섹션 목록을 받아들여야 합니다. 각 섹션에는 브러시 배경이 있으며 섹션에는 컴포저블 그림이 있습니다. 이 구성 가능한 것은 섹션의 회전을 따라야 합니다. 단면이 거꾸로 되어 있으면 컴포지트도 거꾸로 되어 있어야 합니다.

• 내 물레바퀴는 다음과 같은 기능을 할 수 있어야 합니다.

• - 애니메이션 없이 특정 섹션으로 이동

• - 무기한 회전

• - 특정 섹션에서 부드럽게 멈출 수 있어야 합니다.

• 섹션을 만들어야 합니다. 구성에서는 끌어올리기라는 수식어 덕분에 호를 그리는 것이 쉽습니다(sweepAngle은 도 단위의 호 크기입니다). 그리고 함수 끌어올리기 아크: 박스(수식어 = 수식어.크기(200.dp).drawBehind {드로아크(브러시 = 브러시.수직 구배(listOf(color.Red, color.Yellow)startAngle = 0f, sweepAngle = 30f, useCenter = true,)}) {}} 좋아요, 이제 섹션을 상단으로 옮기고 중앙으로 이동해야 브러시를 올바르게 바르고 섹션 내용을 쉽게 배치할 수 있습니다.

• 시작각 = -90f - (sweepAngle / 2) 더 좋은데 제 붓이 전체 원에 적용되어 있어서 노란색이 보이지 않아요. 그래서 브러시를 반쯤 멈추라고 말해야 합니다. 이에 대한 파라미터가 있습니다. endY = 200.dp.toPx() /2f 야, 기대되는 결과가 있어.

• 이제 콘텐츠로 넘어갈 수 있습니다. 먼저 데이터 클래스에서 섹션을 설정합니다.

https://medium.com/voodoo-engineering/creating-a-spin-wheel-in-compose-b71d1b0c7b77

Creating a spin-wheel in Compose

Introduction

medium.com

오늘의 이야기

#스하리1000명프로젝트,
한국에서 길을 잃었나요? 한국어를 못하더라도 이 앱을 사용하면 쉽게 돌아다닐 수 있습니다.
귀하의 언어로 말하면 귀하의 언어로 번역, 검색 및 결과가 표시됩니다.
여행자에게 좋습니다! 영어, 일본어, 중국어, 베트남어 등 10개 이상의 언어를 지원합니다.
지금 사용해 보세요!
https://play.google.com/store/apps/details?id=com.billcoreatech.opdgang1127