データエンジニア

職務概要

元上場スタートアップCOOが仕掛ける急成長不動産テック企業がコアメンバーを募集

【当社の概要】 元クックパッド(2005-2015)副社長兼COOが代表を務めるスタートアップです。 20億件以上という膨大なデータを活用して、賃貸物件の最適な家賃を算出したり、瞬時に豊富なレポートを作成できるSaaSを開発・提供しています。 日本には1500万以上の賃貸物件がありますが、それら1部屋1部屋に家賃という値段がついており、それを決めるための業務がありますが、手間がかかり、属人的で人によって家賃価格が異なるといったペインが発生しています。 膨大なデータと高度なアルゴリズム、使いやすいデザインで、賃料決定や資料作成の業務が一瞬で完結するサービスとして、不動産業界で圧倒的なシェアを誇っています。 導入社数4200社以上、解約率も0.5％と圧倒的に低いレートとなっており、既に黒字化している盤石な事業です。

主な業務内容

【業務概要】 スマサテのプロダクトの心臓部である「データ基盤」の開発・運用を担うポジションです。世の中に散らばる膨大かつ雑多な不動産情報を収集し、誰もが使える「綺麗なデータ」へとクレンジング・構造化していくのがメインミッションです。データサイエンティストの高度な分析や、アプリケーションの高速処理に耐えうる「綺麗で構造化されたデータ」へと継続的に変換・蓄積するため、スケーラブルなデータパイプラインの設計・運用をリードしていただきます。

具体的には....

• データ基盤（DWHやデータレイク等）のアーキテクチャの選定、設計、構築
• Web上からの継続的な不動産データ収集（クローリングやスクレイピング）、クレンジングおよび整形プログラムの実装
• バッチ処理やストリーミング処理のデータパイプラインの構築と最適化
• データ品質の担保、インフラ基盤やパイプラインの監視、パフォーマンスチューニング
• アプリチームやデータサイエンティストとの要件定義、データスキーマのすり合わせ 【開発スタイル】

1. 難易度やメンバーのスキルに応じて、タスクをアサイン
2. そのメンバーが主体的に設計・開発・テストまでを行ってプルリクエストまで担当
3. 他メンバーがレビュー・動作確認を経てリリース が基本的な流れになります。 まだ若い会社ですが、次のような文化・スタイルが醸成されてきています。

品質第一　リリース前に複数人でテスト。バグ発生時は全員で初動対応します。

高速サイクル　週2,3回アップデートをリリースできる体制を構築。

【開発環境】

• 開発言語：Ruby, PHP, Python, JavaScript, Node.js, TypeScript
• フレームワーク：Ruby on Rails, Django, React, Vue.js
• OS：Linux
• DB：MySQL8.x , BigQuery
• インフラ：AWS, GCP
• テスト: Autify, RSpec, Vitest
• CI/CD: CircleCI
• ソースコード管理：GitHub
• ローカル開発環境：Docker 【最近の技術的取り組み事例】
• Autifyを使用してテストの自動化
• AWSCloudWatchを導入し、監視を強化
• ElasticSearchとKibanaでのデータ分析、ログ監視
• Reactを導入することで開発速度を向上
• AwsAmplifyを導入することでスケーラビリティを向上 【今後計画している技術的取り組み事例】
• 現在のモノリシックアーキテクチャーからマイクロサービス化を推進
• Refineを導入することで開発プロセスを改善
• CI/CDパイプラインを構築して、開発とデプロイの効率を高める
• TypeScriptベースのReact/Next.jsへの完全な移行

応募条件

【必須要件】

Pythonを用いたデータパイプライン（ETL/ELT）またはデータ処理バッチの開発経験

AWSやGCP等クラウドインフラを利用したデータ基盤（DWH、データレイク等）の構築・運用経験

SQLを用いた複雑なデータ抽出・集計の実務経験

RDBMSおよびNoSQLデータベースの設計・運用経験

※どれか1つでも該当する方

【歓迎要件】

大規模データ（数億〜10億レコード超）を扱う処理基盤の最適化経験

大規模なWebクローラー/スクレイピングシステムの構築・運用経験

dbt/Airflow等のオーケストレーションツールを用いた開発・運用経験

BIツール（Tableau、Metabase等）のデータマート構築・運用経験

Elasticsearch等を用いた検索システムの構築・チューニング経験

生成AI×データ活用の経験（RAG/LLM連携等）

マイクロサービス化・データメッシュ設計の経験

データセキュリティやガバナンスに関する知見

不動産・金融領域のデータ業務経験

※どれか1つでも該当する方

【求める人物像】

インターネットサービスやプロダクトが好きな方

技術、テクノロジー、ものづくりが好きなかた

ユーザーの気持ちを考え誠実に対応できる方

まわりの人との調和を大事にできる方

仕事の期限を意識しつつアジャイルな柔軟性もある方

TRY&ERRORでくじけない方

得意で自信のある分野をお持ちの方