一、如何建立自己的算法交易

一、传统方法

在某些假设下的显式最优策略

【Bertsimas, Dimitris, and Andrew W. Lo."Optimal control of execution costs."Journal of Financial Markets1.1(1998): 1-50.】这里假设了不同的价格冲击函数，然后求解得到最优的交易执行方案。根据参数的不同，最优的策略要么是全部开头卖掉、均匀减仓、或者全部最后卖掉。

【Almgren, Robert, and Neil Chriss."Optimal execution of portfolio transactions." Journal of Risk 3(2001): 5-40.】这篇文章我们专栏前面有讲过，很著名的 Almgren-Chriss模型。张楚珩：【交易执行】Almgren-Chriss Model

【Guéant O, Lehalle C A, Fernandez-Tapia J. Optimal portfolio liquidation with limit orders[J]. SIAM Journal on Financial Mathematics, 2012, 3(1):740-764.】这篇文章我们专栏前面也有讲过；前面的 Almgren-Chriss其实考虑的是使用市价单，而这里考虑使用限价单进行交易。张楚珩：【交易执行】限价单交易执行

【Guéant, Olivier, and Charles‐Albert Lehalle."General intensity shapes in optimal liquidation." Mathematical Finance 25.3(2015): 457-495.】这里也是考虑限价单进行交易，但是与前面不同的是：前一个假设限价单考虑的成交概率随着价格指数衰减，而这里考虑了一个更加一般的形式。

【Cartea A, Jaimungal S. Optimal execution with limit and market orders[J]. Quantitative Finance, 2015, 15(8): 1279-1291.】这里考虑同时使用限价单和市价单进行交易，从而能够完成 Almgren-Chriss模型所规定的方案，或者找到一个更有的交易方案。

【Bulthuis, Brian, et al."Optimal execution of limit and market orders with trade director, speed limiter, and fill uncertainty." International Journal of Financial Engineering 4.02n03(2017): 1750020.】也是考虑使用限价单和市价单一起交易。张楚珩：【交易执行】市价单+限价单最优执行

【Cartea A, Jaimungal S. Incorporating order-flow into optimal execution[J]. Mathematics and Financial Economics, 2016, 10(3): 339-364.】这里考虑市场所有交易者的订单都会产生线性的短期/长期市场冲击，因此可以估计未来一段时间的订单流向（买单总量和卖单总量的差），从而能够在 Almgren-Chriss模型的基础上进行一定的调整，使得策略更优。

图书

【CarteaÁ, Jaimungal S, Penalva J. Algorithmic and high-frequency trading[M]. Cambridge University Press, 2015.】讲交易执行的基础上，更侧重讲了一些数学工具。

【Guéant O. The Financial Mathematics of Market Liquidity: From optimal execution to market making[M]. CRC Press, 2016.】从 Almgren-Chriss模型开始讲，一直到相应的拓展和实际的问题，十分推荐。

融合对于市场环境隐变量的估计

【Casgrain P, Jaimungal S. Trading algorithms with learning in latent alpha models[J]. Mathematical Finance, 2019, 29(3): 735-772.】市场交易者会根据不同的市场挂单和价格走势而采取不同的反映，因此我们也可以根据历史数据学习到各种情况下的价格后验分布，从而更好地帮助我们进行交易执行或者套利。最后的结果可以看做在 Almgren-Chriss模型的基础上外加了一个调控项，反映我们对于未来的预期。

如何实现以按量加权平均价格（VWAP）交易

【Kakade, Sham M., et al."Competitive algorithms for VWAP and limit order trading." Proceedings of the 5th ACM conference on Electronic commerce. 2004.】从在线学习的角度提出了几个用于使得我们交易到 VWAP价格的模型。为什么会关注 VWAP的交易执行？当大的流通股股东需要减持的时候，为了避免直接出售引起的价格波动，一般是把需要减持的股票卖给券商，然后由券商来拆单出售，而交易价格一般为未来一段时间的 VWAP，因此券商需要尽量以 VWAP来交易执行。

【Białkowski, Jędrzej, Serge Darolles, and Gaëlle Le Fol."Improving VWAP strategies: A dynamic volume approach." Journal of Banking& Finance 32.9(2008): 1709-1722.】改进对于交易量的建模，从而得到更好的 VWAP交易算法。把交易量拆分为两个部分，一部分是市场整体的交易量变动，另一部分是特定股票上的交易量模式。

以按时间加权平均价格（TWAP）交易

为了对称，可以介绍一下另一种加权平均的情形 TWAP，这种情形实现起来相对比较简单；如果不考虑市场冲击，就拆分到每个时间步上均匀出售即可实现。

可以证明 TWAP交易在以下两种情形下最优：市场价格为布朗运动并且价格冲击为常数；对于晚交易没有惩罚（其实更晚交易意味着面临更大的风险），但是对于最后未完成交易的惩罚较大。

二、强化学习方法

基于传统模型的强化学习方法

【Hendricks D, Wilcox D. A reinforcement learning extension to the Almgren-Chriss framework for optimal trade execution[C]//2014 IEEE Conference on Computational Intelligence for Financial Engineering& Economics(CIFEr). IEEE, 2014: 457-464.】本专栏有讲。

强化学习+交易执行（Paper/Article）

【Nevmyvaka Y, Feng Y, Kearns M. Reinforcement learning for optimized trade execution[C]//Proceedings of the 23rd international conference on Machine learning. 2006: 673-680.】比较经典的一篇，发在 ICML上，本专栏前面有讲。使用 DQN方法，实现形式接近 DP。

【Dabérius K, Granat E, Karlsson P. Deep Execution-Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks[J]. Available at SSRN 3374766, 2019.】使用了 DDQN和 PPO方法，基于生成的价格序列来进行实验，使用特定的模型考虑短期和长期市场冲击。

【Ning B, Lin F H T, Jaimungal S. Double deep q-learning for optimal execution[J]. arXiv preprint arXiv:1812.06600, 2018.】DDQN的强化学习解法，在美股上实验。

【Lin S, Beling P A. An End-to-End Optimal Trade Execution Framework based on Proximal Policy Optimization[C]//IJCAI. 2020: 4548-4554.】使用 PPO的解法，比较有意思的是这里面的实验结果显示，使用 LSTM和把历史数据全部堆叠起来用 MLP效果差距不大。也是在美股上实验。

【Fang Y, Ren K, Liu W, et al. Universal Trading for Order Execution with Oracle Policy Distillation[J]. arXiv preprint arXiv:2103.10860, 2021.】在使用强化学习的基础上，引入了一个教师网络，教师网络学习一个基于未来数据的策略，并且用于训练学生网络。本专栏前面有讲。

【Vyetrenko S, Xu S. Risk-sensitive compact decision trees for autonomous execution in presence of simulated market response[J]. arXiv preprint arXiv:1906.02312, 2019.】ICML-19的文章。构造了一个可以反映市价单市场冲击的模拟器；使用 tabular Q-learning来学习基于决策树的模型；使用特征选择的方法来筛选特征。通过以上方式，能够学习到一个模型帮助决策什么时候应该下市价单、什么时候应该下限价单。

【Akbarzadeh N, Tekin C, van der Schaar M. Online learning in limit order book trade execution[J]. IEEE Transactions on Signal Processing, 2018, 66(17): 4626-4641.】从 online learning的视角来解决这个问题，使用 DP类的方法，分析 regret。

【Wei H, Wang Y, Mangu L, et al. Model-based reinforcement learning for predictions and control for limit order books[J]. arXiv preprint arXiv:1910.03743, 2019.】专栏刚刚讲了的一篇文章，使用 model-based类的强化学习算法，直接学习一个世界模型，然后让强化学习策略通过和世界模型的交互进行学习。

【Karpe M, Fang J, Ma Z, et al. Multi-agent reinforcement learning in a realistic limit order book market simulation[J]. arXiv preprint arXiv:2006.05574, 2020.】这里的多智能体似乎适用于结合历史数据生成其他市场参与者的动作，而最优策略的学习仍然是使用单智能体 DDQN方法来做。他们开源了一个考虑多智能体的模拟环境 ABIDES。

【Schnaubelt M. Deep reinforcement learning for the optimal placement of cryptocurrency limit orders[J]. European Journal of Operational Research, 2022, 296(3): 993-1006.】研究数字货币上如何下限价单。对比了 PPO和 DDQN，发现 PPO更好。探索出了一些重要的因子，比如 current liquidity cost，queue imbalance等。

强化学习+交易执行（Thesis）

【Hu R. Optimal Order Execution using Stochastic Control and Reinforcement Learning[J]. 2016.】KTH（瑞典）工程学院硕士论文。算法直接是基于价值函数的动态规划。不过提供了比较详细的模拟环境和算法伪代码。

【Rockwell B. Optimal Order Execution with Deep Reinforcement Learning[J]. 2019.】加拿大蒙特利尔高等商学院硕士论文。使用 TD3和 DDPG算法，不过实验是基于人工生成的数据的（skew-normal Brownian motion）。

【Reiter M B. An Application of Deep Reinforcement Learning for Order Execution[D]. School of Engineering Science, Osaka University, 2020.】多伦多大学本科毕业论文。在使用 A3C算法的基础上，考虑了使用教师学生网络的方式进行迁移学习，并且考虑了短期市场冲击。

强化学习+风险偏好

Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets

Deep equal risk pricing of financial derivatives with non-translation invariant risk measures

强化学习+做市策略

Optimal Market Making by Reinforcement Learning

Optimizing Market Making using Multi-Agent Reinforcement Learning

Deep Reinforcement Learning for Market Making

Deep Recurrent Q-Networks for Market Making

Robust Market Making via Adversarial Reinforcement Learning

Market making via reinforcement learning

强化学习+资产组合

Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution

Robo-Advising: Enhancing Investment with Inverse Optimization and Deep Reinforcement Learning

Large Scale Continuous-Time Mean-Variance Portfolio Allocation via Reinforcement Learning

二、pⅰ币上派链交易所了吗

PI币（派币）的详细介绍：PCHAINNetwork(PI)是一种新型的原生多链系统，使得区块链智能合约的大规模行业应用成为可能。PCHAINNetwork的主要技术创新包括：世界上第一个支持EVM的原生多链、多层次分治(Sharding)共识流水线、智能数据(SmartData)的智能合约以及跨链调用和交易。

温馨提示：

1、以上解释仅供参考，不作任何建议。

2、入市有风险，投资需谨慎。

应答时间：2021-10-27，最新业务变化请以平安银行官网公布为准。

三、pi币什么时候可以交易派币在外国现在是多少钱一个

p时间也不确定，pi的实际价值可能在120-150美元之间，迫临200美元。

交易有两种情况：1、可能会有某种投资限制PI币的释放量，也就是说不会让大量的PI上所交易。

2、可能会用PI币作为质押币挖项目方另外发型的币种，估计也不会是全质押，应该还会配合一定比例的USDT，或者配合项目方新发型的币种。无论是哪一种情况，也不可能让你把免费撸来了币直接在交易所变现卖掉，让你空手套白狼。换句话说这些白来的币，没人会认为它有价值，没人会去接盘买。

具体价值也在随市场变化，及时关注就行了。

四、什么时候基金买入最好

1、交易日购买：基金的交易时间是周一至周五，上午9点-11点30，下午1点-3点，周六、周日和国家法定节假日不能交易。

2、下午3点前后购买：下午3点前成交，会按照当天收盘的净值计算，不管是高点买的或低点买的。3点以后购买，按照T+1日的净值计算。实际上你买基金时，是不知道以什么价格成交的，需要等基金公司公布当天的净值。

五、金银是什么时候开始当做货币使用的

中国利用金银作为货币可以上溯到商朝甚至更早，不过那时候使用不广泛。在战国时期，金银作为货币使用范围更加扩大，在目前考古发掘中就有统一质量的楚国金爱。但这都只作为贵重货币使用，是财富的象征。广泛使用的是铜质货币。一直到宋朝才有银元和金元的出现。在明朝，白银获得了价值尺度的地位，原因在于社会经济得到了飞跃的发展，铜钱作为普通货币已经不能满足经济发展的需要。但在此时，白银黄金只是作为称量货币。

温馨提示：以上内容仅供参考。

应答时间：2021-06-03，最新业务变化请以平安银行官网公布为准。

[平安银行我知道]想要知道更多？快来看“平安银行我知道”吧~